kubeflow/spark-operator v2.4.0 と Apache Spark 4.0.1 を使い、k3d 上にマルチノードクラスタを構築して SparkApplication を動かす手順を解説します。S3 互換ストレージと History Server 連携、PySpark＋PostgreSQL、Spark Operator の本番運用ポイント…

今年、2025年に国内で刊行された『Apache Iceberg活用入門』『実践 Apache Iceberg』を比較紹介。Icebergテーブルの本番運用の経験を踏まえ、この2冊の読み分けと、“今"、"両方"読む理由をデータエンジニア視点で要点整理しました。

Spark Kubernetes Operator の前提になる Spark / Spark on Kubernetes の実行モデルや Driver / Executor のリソース設計、DRA・シャッフルの考え方を、本番運用を意識して整理した「理解編」です。

この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 qiita.com qiita.com 12/25は終わってしまっていますが、、25日目の記事です。25日目といったら25日目な…

この記事は、MicroAdと分散コンピューティングに関するAdvent Calendarの初日を飾る内容で、DuckDBとIcebergの組み合わせを試した経験を共有しています。記事では以下のポイントを紹介： DuckDB: 軽量で多機能なデータベース。JSONやParquetファイルの簡単な…

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 アドカレも今日で最後になりました。会社の方は全部埋まって記事も投稿出来てるので一安心ですが、Distr…

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 qiita.com qiita.com 今年もアドカレの季節がやってきました 今回は、ここ数年でデータ界隈で盛り上がっ…

この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方は…

この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの…