advent-calendar

Icebergのデータ層にs3a使わずにOzoneでデータ分析に最適なofs/FSOを使いたい話

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 アドカレも今日で最後になりました。会社の方は全部埋まって記事も投稿出来てるので一安心ですが、Distr…

RKE2ノードのCiliumを使ったeBPFな帯域制限をする話

この記事は MicroAd Advent Calendar 2023 と Kubernetes Advent Calendar 2023 の5日目の記事です。 オンプレあるあるな悩みとして、データセンターと外の通信にはインターネットを経由する都合、1つのアプリで契約している帯域を専有してしまいインターネ…

Icebergテーブルの内部構造について

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 qiita.com qiita.com 今年もアドカレの季節がやってきました 今回は、ここ数年でデータ界隈で盛り上がっ…

TiDBをHadoop管理者視点でデータ基盤としての使い所を考えてみる

この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方は…

BigData向けワークロード(Spark/Flink)に適したKubernetesカスタムスケジューラ Apache YuniKorn について

この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの…

Production-ReadyなK8s(RKE2)クラスタを構築する際のあれこれ

MicroAd Advent Calendar 2022 https://qiita.com/advent-calendar/2022/microad の4日目の記事です。 本番でUnmanagedなKubernetesクラスタを構築しようとした際にどうやって構築するか悩みますよね。 今回はKubernetesのディストリビューションのRKE2を用…

AWXサーバの外からansibleでジョブを実行する

この記事は MicroAd Advent Calendar 2021 の20日目 と Ansible Advent Calendar 2021 - Adventarの 7日目の記事です(空いててもったいないので埋めました)。 qiita.com adventar.org はじめに 環境 概要 前準備 Playbookの作成 AWX側の設定 CI側のフロー…

CIOpsでGrafanaダッシュボードを運用していく~ansible実装編~

この記事は Ansible Advent Calendar 2021 の6日目の記事です。 adventar.org はじめに Grafanaダッシュボードを更新する際に利用するAnsibleモジュールの紹介 今回作成するロールについて import_datasource(データソースをGrafanaに反映する) グループ…

CIOpsでGrafanaダッシュボードを運用していく

GrafanaとAnsibleネタで12/5分のアドカレ記事書きました。 ダッシュボードをCIOpsしていく話です。 #はてなブログ #grafana #ansible #advent-calendar

Cloudera Hue をCDHから切り離してDockerで運用出来ないか検討してみる

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 (´-`).。oO(EmbulkはHiveやHDFS系のプラグインがアップデートある…

所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使う…

お手軽・簡単?!Cloud Storage Connectorを使ってHadoopクラスタからGCS・S3にデータを移動する

qiita.com この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の3日目の記事です。 昨日は Kotlin大好き? wrongwrong の以下のGitHub ActionsでJava/Kotlin製ライブラリ(ビルドツールはgradle)のCI環境構築する話でした。 qiita.com 3日目…

2019年の日本の井戸水を振り返る

adventar.org この記事は、 日本酒 Advent Calendar 2019 - Adventar の 24日目の記事です。 毎年、恒例なのにウッカリしてた。。。 さぁ、今年も日本の井戸水を振り返ります。 今年飲んで美味しかったTop5を挙げて行きます。 大信州 秋の純吟 長野:大信州…

Apache Hadoop OzoneがCSIに対応(=Kubernetesでも使える)してたのでお試してみる

qiita.com qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2019 及び Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019 - Qiita の20日目の記事です。 公式ドキュメント より TL;DR Apache Hadoop O…

DockerライクなUXでCloud Nativeな体験が出来るらしいRioを試してみる

qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2018 の16日目の記事です。 はじめに Rioって何? コンセプト 実際にお試ししてみる GCEでインスタンスの用意 Rioのインストール Rio Serverの起動 Rio Serverに接続 カナリアリリー…

今年飲んで印象に残っている日本酒を挙げていく〜2018年編〜

2018年に飲んだ酒一覧 日本酒 Advent Calendar 2018 - Adventar の10本目(10日目)の記事です。 nowinowi822さん に続き、出来るなら酔わずに美味しい日本酒だけを無限に飲みたい id:yassan0627 でお送りします。 陸奥八仙 新春祝酒 純米吟醸@八戸酒造 …

CloudGarageを使ってお手軽にRedmineのModern UX化プロジェクト「Project Opal」を試してみる

adventar.org adventar.org この記事は #CloudGarage Advent Calendar 2018 - Adventar の 9日目 及び Redmine Advent Calendar 2018 の 10日目 の記事です! 実行環境 Opalのテーマの用意 Project Opal について 特徴 Sticky Navigationへ変更 現行のテーマ…

redash on Rancher

むっちゃ遅れましたが、 Rancher Advent Calendar 2017 の 20日目の記事です。 TLDR Pros Cons なんでカタログ化したいん? 前提条件 プライベートカタログの作成 Redashのカタログの工夫ポイント その1:docker-compose.ymlの条件分岐 その2:pgAdmin4の…

Rancherでdocker-compose.ymlの条件分岐を試す

Rancher Advent Calendar 2017 の 13日目の記事です。 20日目に「 redashのプライベートカタログ化」を紹介するのですが、あれこれ欲張りすぎて記事が長くなったのと、まだ、カレンダーが埋まってないので埋めてみました。 目次 使い方 条件式用の変数の定義 <rancher-compose.yml></rancher-compose.yml>…

カタログジェネレータを試してみた

Rancher Advent Calendar 2017 の 12日目の記事です。 20日目に「 redashのプライベートカタログ化」を紹介するのですが、あれこれ欲張りすぎて記事が長くなったのと、まだ、カレンダーが埋まってないので埋めてみました。 プライベートカタログジェネレータ…

redashでのアクセス制御について

※redashの権限指定に誤りがあったので修正(2018/01/18)※ Redash Advent Calendar 2017 の 22日目の記事です! redashを使って可視化したら今度は、色々な人に公開したくなりますよね? ただ、会社によっては、「あのデータを全員に見せるのは如何なものか…

今年のビールを振り返る

Beer Advent Calendar 2017 Adventar の18日目の記事です。 ビール好きですか? ワタシ、ビールチョットスキデス。 上の絵は今年飲んだビールの一部をタイル状にしてみました。 そして、日本の井戸水 日本酒も大好きです。 日本酒 Advent Calendar 2017 でも…

今年飲んで美味しかった日本酒を挙げていく

日本酒 Advent Calendar 2017 の17日目の記事です。 上の画像は、今年飲んだ日本酒の一部です。 ビールも美味しいのだけど、やっぱり日本酒が一番美味しい。 居酒屋で飲むとどうしても高くなるので、家飲みが多くなりますね。 では、その中でも特に美味しか…

新米データエンジニアがPGConf.ASIA に初参加してきた

PostgreSQL Advent Calendar 2017 の過ぎてしまった14日目の記事です。 データ分析や集計処理で使っている(&使えそうな?)クエリについて紹介しようとしていたのですが、色々アレヤコレヤがあって、察してくれという事で、路線変更。 うちの部署ではデー…

プロジェクト管理 on Redmine on Dockerで運用含めて考えてみる~環境構築編~

Redmine Advent Calendar 2017 の 11日目です! redmine.tokyo という、Redmine勉強会でコアスタッフをしている やっさん(@yassan168) です。 今回は、RedmineをDocker使って環境を構築し、運用面まで考えてみます。 、、、のつもりでしたが、ボリュームがで…

やっさん的美味しい酒に出会える酒屋

日本酒 Advent Calendar 2017 の4日目の記事です。 カレンダーに余裕があるので、せっかくなので他にも何か書いてみるって事で、 わたしが考える「美味しいお酒に出会える酒屋」について書きたいと思います。 冷蔵庫がちゃんとしている 日本酒と言うかお酒は…

今年飲んで美味しかった日本酒リスト

日本酒アドベントカレンダー19日目の記事担当の @yassan168 です。www.adventar.org 今年も美味しいお酒に沢山出会えました。 毎年毎年、色々なお酒が出会えているのだけど、まだまだ美味しい酒があるので、来年も楽しみです。何でも飲みますが、私の好きな…