Icebergのデータ層にs3a使わずにOzoneでデータ分析に最適なofs/FSOを使いたい話

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の25日目の記事です。 アドカレも今日で最後になりました。会社の方は全部埋まって記事も投稿出来てるので一安心ですが、Distr…

RKE2ノードのCiliumを使ったeBPFな帯域制限をする話

この記事は MicroAd Advent Calendar 2023 と Kubernetes Advent Calendar 2023 の5日目の記事です。 オンプレあるあるな悩みとして、データセンターと外の通信にはインターネットを経由する都合、1つのアプリで契約している帯域を専有してしまいインターネ…

Icebergテーブルの内部構造について

この記事は MicroAd Advent Calendar 2023 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2023 の1日目の記事です。 qiita.com qiita.com 今年もアドカレの季節がやってきました 今回は、ここ数年でデータ界隈で盛り上がっ…

株式会社はてなに入社しました

株式会社はてなに入社しました 株式会社はてなに入社しました - hitode909の日記

TiDBをHadoop管理者視点でデータ基盤としての使い所を考えてみる

この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方は…

BigData向けワークロード(Spark/Flink)に適したKubernetesカスタムスケジューラ Apache YuniKorn について

この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの…

Production-ReadyなK8s(RKE2)クラスタを構築する際のあれこれ

MicroAd Advent Calendar 2022 https://qiita.com/advent-calendar/2022/microad の4日目の記事です。 本番でUnmanagedなKubernetesクラスタを構築しようとした際にどうやって構築するか悩みますよね。 今回はKubernetesのディストリビューションのRKE2を用…

AWXサーバの外からansibleでジョブを実行する

この記事は MicroAd Advent Calendar 2021 の20日目 と Ansible Advent Calendar 2021 - Adventarの 7日目の記事です(空いててもったいないので埋めました)。 qiita.com adventar.org はじめに 環境 概要 前準備 Playbookの作成 AWX側の設定 CI側のフロー…

CIOpsでGrafanaダッシュボードを運用していく~ansible実装編~

この記事は Ansible Advent Calendar 2021 の6日目の記事です。 adventar.org はじめに Grafanaダッシュボードを更新する際に利用するAnsibleモジュールの紹介 今回作成するロールについて import_datasource(データソースをGrafanaに反映する) グループ…

CIOpsでGrafanaダッシュボードを運用していく

GrafanaとAnsibleネタで12/5分のアドカレ記事書きました。 ダッシュボードをCIOpsしていく話です。 #はてなブログ #grafana #ansible #advent-calendar

Win10でネイティブにAnsibleを実行したかった件

結論 Windows Frequently Asked Questions · ansible/ansible にある通り、現状、Windowsから直接Ansibleは実行出来ない(但し、WSL経由ならいける)。 Can Ansible run on Windows? No, Ansible can only manage Windows hosts. Ansible cannot run on a Wi…

スマイルゼミタブレット3をAndroidタブレット化&ファミリーリンク対象にする話

子供がスマイルゼミをやってたのだけど、4月から辞めることにしたので、Androidタブレット化して使おうって事でやってみたがハマりどころがあったのでメモ。 前提 型番: SZJ-JS201 のスマイルゼミタブレット3 Androidタブレット化する Androidタブレット化…

KVMスイッチ サンワサプライ 400-SW032 の使用メモ

在宅勤務が今後も続くって事で、以下の状態だったので、 自宅と会社用キーボード2台が邪魔でしか無いので、キーボード・マウス用切替器どうかなぁと思って探してるけど、キーボードの特定のキーから切り替え可能でLinuxに対応してるのないなぁ。良さそうなの…

やっさん的Ansible role開発をmolecule使って始めるテンプレ

adventar.org この記事は、上記の6日目の記事です。 ロールを追加する際に、 molecule を使うと非常に便利です。テスト(verify)を書かないにしても、テストドライバーを使ってdockerやvagrantなどの仮想環境にroleを適用してみて途中でエラーになったり、te…

Cloudera Hue をCDHから切り離してDockerで運用出来ないか検討してみる

qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 (´-`).。oO(EmbulkはHiveやHDFS系のプラグインがアップデートある…

所属していないクラスタに対してDispCpやhdfs dfsを使う場合のTips

この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使う…

お手軽・簡単?!Cloud Storage Connectorを使ってHadoopクラスタからGCS・S3にデータを移動する

qiita.com この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の3日目の記事です。 昨日は Kotlin大好き? wrongwrong の以下のGitHub ActionsでJava/Kotlin製ライブラリ(ビルドツールはgradle)のCI環境構築する話でした。 qiita.com 3日目…

AWXで複数バージョンのAnsibleを実行出来るようカスタム仮想環境を用意する

前ふり yassan.hatenablog.jp これの続き。 よこちさんに教えてもらったのでやってみた。 カスタムvirtualenvの作成なんですが、インストール時の inventory の custom_venv_dir って設定を有効にすると、コンテナにマウントしてくれるので、コンテナ内に直…

踏み台経由してWebUIにローカルからアクセスするメモ

たまにやりたい時に忘れてて探すのがだるいのでメモ。 あるサーバで稼働しているWebシステムにアクセスする際、 踏み台(jump host、jump server)を経由しなければならない場合のTips。 前提条件 実行イメージ やり方 ~/.ssh/config の設定追加 踏み台経由…

AWXの環境構築をもうちょい良い感じにしたいところ

公式の方法+αくらいで、Docker Composeで稼働するAWXのセットアップ方法をまとめてみた。 qiita.com コンテナのログ見たら、公式そのままだとちらほらエラーが出てたので、色々対策をしてある。 後、AWXって長時間稼働するので、コンテナログが膨大になるの…

Why Should I write good commit messages? ~なんでコミットメッセージが大事なん?~

私は、SVNとかGitとか関係なしに、コミットメッセージは開発していく上でとても大事だと考えています。 昨今は、ソフトウェアエンジニアだけでなく、ITインフラエンジニアもコードを書く時代なのでその重要さはもっと上がっているとすら考えています。 ただ…

Google ChromeからFirefoxに浮気中だけどGoogle Chromeに戻りそうな件

Ubuntu 18.04 LTSを会社と私用で使っているのだけど、ブラウザのタブを大量に開く派閥の人なので、Google Chromeのメモリどか食い問題が深刻。 現在、Firefoxもどうかなぁと、浮気中なのだけど、より戻しそう。。。 私のブラウザの使い方 会社と私用でブック…

ミヨシのUSBタッチパッド( TTP-US01 )を半年使ってみて

www.mco.co.jp こっちの長期利用メモ。 その昔、会社のMacを使っていたがどうしても体が受け付けず、Ubuntu Desktopに戻ったのだけど、その際、Macの体験で最高に良い体験だったのがTrackpadだった。 んで、UbuntuやWindowsマシンでもTrackpad使えないかなぁ…

2019年の日本の井戸水を振り返る

adventar.org この記事は、 日本酒 Advent Calendar 2019 - Adventar の 24日目の記事です。 毎年、恒例なのにウッカリしてた。。。 さぁ、今年も日本の井戸水を振り返ります。 今年飲んで美味しかったTop5を挙げて行きます。 大信州 秋の純吟 長野:大信州…

Apache Hadoop OzoneがCSIに対応(=Kubernetesでも使える)してたのでお試してみる

qiita.com qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2019 及び Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019 - Qiita の20日目の記事です。 公式ドキュメント より TL;DR Apache Hadoop O…

VBA のコードだけをimport/export出来る ariawase の紹介

vba

VBAってExcelブックにコードが埋まっちゃうので、読みにくい、、、 そこで、変更したらマクロだけをexportして、GitなりSvnなりにコミットしておけば、共有も出来るしレビューも出来るし、良いことづくめ。 終わったら、元のExcelブックにimportするだけ。超…

Kubernetesの学習環境としてsnapのmicrok8sは良さそう

MacとかWindowsとかでminikube動かすよりも、Linuxでmicrok8s動かすほうが100倍快適だと思うのでk8sいじり倒したい人は普段使いのLaptopをLinuxにするべき https://t.co/I3PG8ukd9s— junichi yoshise (@jyoshise) April 23, 2019 って @jyoshise さんがつぶ…

HueからHiveやImpalaの実行時にリソースプールを変更したい問題

分析用のクラスタでの運用の話。 クラスタへのデータ投入やETLなどのジョブと分析用のジョブを共存共栄したいという要望がある。 基本的に分析系のジョブは重たくなりやすいので、他に影響与えないように隔離したい。 beelineを使う場合は、以下のようにする…

Cloudera Manager APIってAmbariと比較してどうなんだろ?

社内ブログがあるのでそっちには毎日書いてるんだけど、せっかくなんでこっちにも書いてみることにした。 もともとメモなんだし、もっと雑に描いてもいいかなぁと。 Cloudera Manager API の話 Cloudera Manager API Client というのがあるなぁってのは分か…

Rancher Meetup #06 in Osakaでデータ分析基盤とk8s・Rancher絡めてLTしました

活動拠点は京都なのですが、大阪のコアメンバ不在もあって、神戸方面のメンバと一緒になって大阪で開催しました。 一緒にやってくれる人募集してます。 rancherjp.connpass.com 最初は、 去年のアドカレネタを膨らまして発表する予定だったんですが、どうし…