kubeflow/spark-operator v2.4.0 と Apache Spark 4.0.1 を使い、k3d 上にマルチノードクラスタを構築して SparkApplication を動かす手順を解説します。S3 互換ストレージと History Server 連携、PySpark＋PostgreSQL、Spark Operator の本番運用ポイント…

今年、2025年に国内で刊行された『Apache Iceberg活用入門』『実践 Apache Iceberg』を比較紹介。Icebergテーブルの本番運用の経験を踏まえ、この2冊の読み分けと、“今"、"両方"読む理由をデータエンジニア視点で要点整理しました。

Spark Kubernetes Operator の前提になる Spark / Spark on Kubernetes の実行モデルや Driver / Executor のリソース設計、DRA・シャッフルの考え方を、本番運用を意識して整理した「理解編」です。