Hadoop

HueからHiveやImpalaの実行時にリソースプールを変更したい問題

分析用のクラスタでの運用の話。 クラスタへのデータ投入やETLなどのジョブと分析用のジョブを共存共栄したいという要望がある。 基本的に分析系のジョブは重たくなりやすいので、他に影響与えないように隔離したい。 beelineを使う場合は、以下のようにする…

Rancher Meetup #06 in Osakaでデータ分析基盤とk8s・Rancher絡めてLTしました

活動拠点は京都なのですが、大阪のコアメンバ不在もあって、神戸方面のメンバと一緒になって大阪で開催しました。 一緒にやってくれる人募集してます。 rancherjp.connpass.com 最初は、 去年のアドカレネタを膨らまして発表する予定だったんですが、どうし…

HiveとImpalaのネストしたカラムのpushdown(行や列方向のフィルタ)に関するまとめ

結論 きっかけ Pushdownについて HiveでのネストしたカラムのPushdwonについて ~Complex型(Struct型)の要素のPushdown~ ImpalaでのネストしたカラムのPushdwonについて ~Complex型(Struct型)の要素のPushdown~ まとめ 結論 2019/01/07時点で Hive ま…