この記事は MicroAd Advent Calendar 2022 と Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2022 の25日目の記事です。 今年のアドカレも最終日になりました。 とは言え、Distributed computing Advent Calendar 2022 の方は…
この記事は Distributed computing Advent Calendar 2022 の5日目の記事です1。 qiita.com 今回は、今年の5月にApache Software Foundation (ASF)のTop-Level Project (TLP)2になった Apache YuniKorn について紹介します。 yunikorn.apache.org YuniKornの…
MicroAd Advent Calendar 2022 https://qiita.com/advent-calendar/2022/microad の4日目の記事です。 本番でUnmanagedなKubernetesクラスタを構築しようとした際にどうやって構築するか悩みますよね。 今回はKubernetesのディストリビューションのRKE2を用…
この記事は MicroAd Advent Calendar 2021 の20日目 と Ansible Advent Calendar 2021 - Adventarの 7日目の記事です（空いててもったいないので埋めました）。 qiita.com adventar.org はじめに 環境 概要 前準備 Playbookの作成 AWX側の設定 CI側のフロー…
この記事は Ansible Advent Calendar 2021 の６日目の記事です。 adventar.org はじめに Grafanaダッシュボードを更新する際に利用するAnsibleモジュールの紹介 今回作成するロールについて import_datasource（データソースをGrafanaに反映する） グループ…
GrafanaとAnsibleネタで12/5分のアドカレ記事書きました。 ダッシュボードをCIOpsしていく話です。 #はてなブログ #grafana #ansible #advent-calendar
結論 Windows Frequently Asked Questions · ansible/ansible にある通り、現状、Windowsから直接Ansibleは実行出来ない（但し、WSL経由ならいける）。 Can Ansible run on Windows? No, Ansible can only manage Windows hosts. Ansible cannot run on a Wi…
子供がスマイルゼミをやってたのだけど、4月から辞めることにしたので、Androidタブレット化して使おうって事でやってみたがハマりどころがあったのでメモ。 前提 型番： SZJ-JS201 のスマイルゼミタブレット3 Androidタブレット化する Androidタブレット化…
在宅勤務が今後も続くって事で、以下の状態だったので、 自宅と会社用キーボード2台が邪魔でしか無いので、キーボード・マウス用切替器どうかなぁと思って探してるけど、キーボードの特定のキーから切り替え可能でLinuxに対応してるのないなぁ。良さそうなの…
adventar.org この記事は、上記の６日目の記事です。 ロールを追加する際に、 molecule を使うと非常に便利です。テスト(verify)を書かないにしても、テストドライバーを使ってdockerやvagrantなどの仮想環境にroleを適用してみて途中でエラーになったり、te…
qiita.com 1日遅れになってしまいましたが、、、 この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の20日目の記事です。 昨日は dai08srhg - Qiita のEmbulkの話でした。 （´-`）.｡oO（EmbulkはHiveやHDFS系のプラグインがアップデートある…
この記事は Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2020 の11日目の記事です。 qiita.com クラスタ間でHDFSファイルを移動したいというのは割とよくある話です。 そこでHDFSファイルを大量に移動する際は、DistCpを使う…
qiita.com この記事は MicroAd (マイクロアド) Advent Calendar 2020 - Qiita の3日目の記事です。 昨日は Kotlin大好き？ wrongwrong の以下のGitHub ActionsでJava/Kotlin製ライブラリ（ビルドツールはgradle）のCI環境構築する話でした。 qiita.com 3日目…
前ふり yassan.hatenablog.jp これの続き。 よこちさんに教えてもらったのでやってみた。 カスタムvirtualenvの作成なんですが、インストール時の inventory の custom_venv_dir って設定を有効にすると、コンテナにマウントしてくれるので、コンテナ内に直…
たまにやりたい時に忘れてて探すのがだるいのでメモ。 あるサーバで稼働しているWebシステムにアクセスする際、 踏み台（jump host、jump server）を経由しなければならない場合のTips。 前提条件 実行イメージ やり方 ~/.ssh/config の設定追加 踏み台経由…
公式の方法＋αくらいで、Docker Composeで稼働するAWXのセットアップ方法をまとめてみた。 qiita.com コンテナのログ見たら、公式そのままだとちらほらエラーが出てたので、色々対策をしてある。 後、AWXって長時間稼働するので、コンテナログが膨大になるの…
私は、SVNとかGitとか関係なしに、コミットメッセージは開発していく上でとても大事だと考えています。 昨今は、ソフトウェアエンジニアだけでなく、ITインフラエンジニアもコードを書く時代なのでその重要さはもっと上がっているとすら考えています。 ただ…
Ubuntu 18.04 LTSを会社と私用で使っているのだけど、ブラウザのタブを大量に開く派閥の人なので、Google Chromeのメモリどか食い問題が深刻。 現在、Firefoxもどうかなぁと、浮気中なのだけど、より戻しそう。。。 私のブラウザの使い方 会社と私用でブック…
www.mco.co.jp こっちの長期利用メモ。 その昔、会社のMacを使っていたがどうしても体が受け付けず、Ubuntu Desktopに戻ったのだけど、その際、Macの体験で最高に良い体験だったのがTrackpadだった。 んで、UbuntuやWindowsマシンでもTrackpad使えないかなぁ…
adventar.org この記事は、 日本酒 Advent Calendar 2019 - Adventar の 24日目の記事です。 毎年、恒例なのにウッカリしてた。。。 さぁ、今年も日本の井戸水を振り返ります。 今年飲んで美味しかったTop５を挙げて行きます。 大信州 秋の純吟 長野：大信州…
qiita.com qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2019 及び Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019 - Qiita の20日目の記事です。 公式ドキュメント より TL;DR Apache Hadoop O…
VBAってExcelブックにコードが埋まっちゃうので、読みにくい、、、 そこで、変更したらマクロだけをexportして、GitなりSvnなりにコミットしておけば、共有も出来るしレビューも出来るし、良いことづくめ。 終わったら、元のExcelブックにimportするだけ。超…
MacとかWindowsとかでminikube動かすよりも、Linuxでmicrok8s動かすほうが100倍快適だと思うのでk8sいじり倒したい人は普段使いのLaptopをLinuxにするべき https://t.co/I3PG8ukd9s— junichi yoshise (@jyoshise) April 23, 2019 って @jyoshise さんがつぶ…
分析用のクラスタでの運用の話。 クラスタへのデータ投入やETLなどのジョブと分析用のジョブを共存共栄したいという要望がある。 基本的に分析系のジョブは重たくなりやすいので、他に影響与えないように隔離したい。 beelineを使う場合は、以下のようにする…
社内ブログがあるのでそっちには毎日書いてるんだけど、せっかくなんでこっちにも書いてみることにした。 もともとメモなんだし、もっと雑に描いてもいいかなぁと。 Cloudera Manager API の話 Cloudera Manager API Client というのがあるなぁってのは分か…
活動拠点は京都なのですが、大阪のコアメンバ不在もあって、神戸方面のメンバと一緒になって大阪で開催しました。 一緒にやってくれる人募集してます。 rancherjp.connpass.com 最初は、 去年のアドカレネタを膨らまして発表する予定だったんですが、どうし…
結論 きっかけ Pushdownについて HiveでのネストしたカラムのPushdwonについて ～Complex型（Struct型）の要素のPushdown～ ImpalaでのネストしたカラムのPushdwonについて ～Complex型（Struct型）の要素のPushdown～ まとめ 結論 2019/01/07時点で Hive ま…
qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2018 の16日目の記事です。 はじめに Rioって何？ コンセプト 実際にお試ししてみる GCEでインスタンスの用意 Rioのインストール Rio Serverの起動 Rio Serverに接続 カナリアリリー…
adventar.org adventar.org この記事は #CloudGarage Advent Calendar 2018 - Adventar の 9日目 及び Redmine Advent Calendar 2018 の 10日目 の記事です！ 実行環境 Opalのテーマの用意 Project Opal について 特徴 Sticky Navigationへ変更 現行のテーマ…
2018年に飲んだ酒一覧 日本酒 Advent Calendar 2018 - Adventar の10本目（１０日目）の記事です。 nowinowi822さん に続き、出来るなら酔わずに美味しい日本酒だけを無限に飲みたい id:yassan0627 でお送りします。 陸奥八仙 新春祝酒 純米吟醸＠八戸酒造 …
