2020-12-01から1ヶ月間の記事一覧

やっさん的Ansible role開発をmolecule使って始めるテンプレ

adventar.org この記事は、上記の6日目の記事です。 ロールを追加する際に、 molecule を使うと非常に便利です。テスト(verify)を書かないにしても、テストドライバーを使ってdockerやvagrantなどの仮想環境にroleを適用してみて途中でエラーになったり、te…

Cloudera Hue をCDHから切り離してDockerで運用出来ないか検討してみる

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 (´-`).。oO(EmbulkはHiveやHDFS系のプラグインがアップデートある…

所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使う…

お手軽・簡単?!Cloud Storage Connectorを使ってHadoopクラスタからGCS・S3にデータを移動する

qiita.com この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の3日目の記事です。 昨日は Kotlin大好き? wrongwrong の以下のGitHub ActionsでJava/Kotlin製ライブラリ(ビルドツールはgradle)のCI環境構築する話でした。 qiita.com 3日目…