cdh

Cloudera Hue をCDHから切り離してDockerで運用出来ないか検討してみる

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 (´-`).。oO(EmbulkはHiveやHDFS系のプラグインがアップデートある…

お手軽・簡単?!Cloud Storage Connectorを使ってHadoopクラスタからGCS・S3にデータを移動する

qiita.com この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の3日目の記事です。 昨日は Kotlin大好き? wrongwrong の以下のGitHub ActionsでJava/Kotlin製ライブラリ(ビルドツールはgradle)のCI環境構築する話でした。 qiita.com 3日目…

HueからHiveやImpalaの実行時にリソースプールを変更したい問題

分析用のクラスタでの運用の話。 クラスタへのデータ投入やETLなどのジョブと分析用のジョブを共存共栄したいという要望がある。 基本的に分析系のジョブは重たくなりやすいので、他に影響与えないように隔離したい。 beelineを使う場合は、以下のようにする…

Cloudera Manager APIってAmbariと比較してどうなんだろ?

社内ブログがあるのでそっちには毎日書いてるんだけど、せっかくなんでこっちにも書いてみることにした。 もともとメモなんだし、もっと雑に描いてもいいかなぁと。 Cloudera Manager API の話 Cloudera Manager API Client というのがあるなぁってのは分か…