kubeflow/spark-operator v2.4.0 と Apache Spark 4.0.1 を使い、k3d 上にマルチノードクラスタを構築して SparkApplication を動かす手順を解説します。S3 互換ストレージと History Server 連携、PySpark＋PostgreSQL、Spark Operator の本番運用ポイント…

今年、2025年に国内で刊行された『Apache Iceberg活用入門』『実践 Apache Iceberg』を比較紹介。Icebergテーブルの本番運用の経験を踏まえ、この2冊の読み分けと、“今"、"両方"読む理由をデータエンジニア視点で要点整理しました。

Spark Kubernetes Operator の前提になる Spark / Spark on Kubernetes の実行モデルや Driver / Executor のリソース設計、DRA・シャッフルの考え方を、本番運用を意識して整理した「理解編」です。

この記事は MicroAd Advent Calendar 2024 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 qiita.com qiita.com 12/25は終わってしまっていますが、、25日目の記事です。25日目といったら25日目な…

Advent Calendar Day 4: Overcoming Proxies with K3d and K3s! この記事では、CI向きな軽量Kubernetesディストリビューション「K3s」と、Docker上で簡単にクラスタを作れる「K3d」を使った構築方法と、Proxy環境でのハマりポイント解消法を解説します！ …

この記事は、MicroAdと分散コンピューティングに関するAdvent Calendarの初日を飾る内容で、DuckDBとIcebergの組み合わせを試した経験を共有しています。記事では以下のポイントを紹介： DuckDB: 軽量で多機能なデータベース。JSONやParquetファイルの簡単な…

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 アドカレも今日で最後になりました。会社の方は全部埋まって記事も投稿出来てるので一安心ですが、Distr…

この記事は MicroAd Advent Calendar 2023 と Kubernetes Advent Calendar 2023 の5日目の記事です。 オンプレあるあるな悩みとして、データセンターと外の通信にはインターネットを経由する都合、１つのアプリで契約している帯域を専有してしまいインターネ…

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 qiita.com qiita.com 今年もアドカレの季節がやってきました 今回は、ここ数年でデータ界隈で盛り上がっ…

この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方は…

この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの…

MicroAd Advent Calendar 2022 https://qiita.com/advent-calendar/2022/microad の4日目の記事です。 本番でUnmanagedなKubernetesクラスタを構築しようとした際にどうやって構築するか悩みますよね。 今回はKubernetesのディストリビューションのRKE2を用…

この記事は MicroAd Advent Calendar 2021 の20日目 と Ansible Advent Calendar 2021 - Adventarの 7日目の記事です（空いててもったいないので埋めました）。 qiita.com adventar.org はじめに 環境 概要 前準備 Playbookの作成 AWX側の設定 CI側のフロー…

この記事は Ansible Advent Calendar 2021 の６日目の記事です。 adventar.org はじめに Grafanaダッシュボードを更新する際に利用するAnsibleモジュールの紹介 今回作成するロールについて import_datasource（データソースをGrafanaに反映する） グループ…

GrafanaとAnsibleネタで12/5分のアドカレ記事書きました。 ダッシュボードをCIOpsしていく話です。 #はてなブログ #grafana #ansible #advent-calendar

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 （´-`）.｡oO（EmbulkはHiveやHDFS系のプラグインがアップデートある…

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使う…

qiita.com この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の3日目の記事です。 昨日は Kotlin大好き？ wrongwrong の以下のGitHub ActionsでJava/Kotlin製ライブラリ（ビルドツールはgradle）のCI環境構築する話でした。 qiita.com 3日目…

adventar.org この記事は、 日本酒 Advent Calendar 2019 - Adventar の 24日目の記事です。 毎年、恒例なのにウッカリしてた。。。 さぁ、今年も日本の井戸水を振り返ります。 今年飲んで美味しかったTop５を挙げて行きます。 大信州 秋の純吟 長野：大信州…

qiita.com qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2019 及び Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019 - Qiita の20日目の記事です。 公式ドキュメント より TL;DR Apache Hadoop O…

qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2018 の16日目の記事です。 はじめに Rioって何？ コンセプト 実際にお試ししてみる GCEでインスタンスの用意 Rioのインストール Rio Serverの起動 Rio Serverに接続 カナリアリリー…

2018年に飲んだ酒一覧 日本酒 Advent Calendar 2018 - Adventar の10本目（１０日目）の記事です。 nowinowi822さん に続き、出来るなら酔わずに美味しい日本酒だけを無限に飲みたい id:yassan0627 でお送りします。 陸奥八仙 新春祝酒 純米吟醸＠八戸酒造 …

adventar.org adventar.org この記事は #CloudGarage Advent Calendar 2018 - Adventar の 9日目 及び Redmine Advent Calendar 2018 の 10日目 の記事です！ 実行環境 Opalのテーマの用意 Project Opal について 特徴 Sticky Navigationへ変更 現行のテーマ…

むっちゃ遅れましたが、 Rancher Advent Calendar 2017 の 20日目の記事です。 TLDR Pros Cons なんでカタログ化したいん？ 前提条件 プライベートカタログの作成 Redashのカタログの工夫ポイント その１：docker-compose.ymlの条件分岐 その２：pgAdmin4の…

Rancher Advent Calendar 2017 の 13日目の記事です。 20日目に「 redashのプライベートカタログ化」を紹介するのですが、あれこれ欲張りすぎて記事が長くなったのと、まだ、カレンダーが埋まってないので埋めてみました。 目次 使い方 条件式用の変数の定義 <rancher-compose.yml></rancher-compose.yml>…

Rancher Advent Calendar 2017 の 12日目の記事です。 20日目に「 redashのプライベートカタログ化」を紹介するのですが、あれこれ欲張りすぎて記事が長くなったのと、まだ、カレンダーが埋まってないので埋めてみました。 プライベートカタログジェネレータ…

※redashの権限指定に誤りがあったので修正（2018/01/18）※ Redash Advent Calendar 2017 の 22日目の記事です！ redashを使って可視化したら今度は、色々な人に公開したくなりますよね？ ただ、会社によっては、「あのデータを全員に見せるのは如何なものか…

Beer Advent Calendar 2017 Adventar の18日目の記事です。 ビール好きですか？ ワタシ、ビールチョットスキデス。 上の絵は今年飲んだビールの一部をタイル状にしてみました。 そして、日本の井戸水 日本酒も大好きです。 日本酒 Advent Calendar 2017 でも…

日本酒 Advent Calendar 2017 の17日目の記事です。 上の画像は、今年飲んだ日本酒の一部です。 ビールも美味しいのだけど、やっぱり日本酒が一番美味しい。 居酒屋で飲むとどうしても高くなるので、家飲みが多くなりますね。 では、その中でも特に美味しか…

PostgreSQL Advent Calendar 2017 の過ぎてしまった14日目の記事です。 データ分析や集計処理で使っている（＆使えそうな？）クエリについて紹介しようとしていたのですが、色々アレヤコレヤがあって、察してくれという事で、路線変更。 うちの部署ではデー…