2020-12-11から1日間の記事一覧

所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使う…