2019-01-01から1年間の記事一覧

2019年の日本の井戸水を振り返る

adventar.org この記事は、 日本酒 Advent Calendar 2019 - Adventar の 24日目の記事です。 毎年、恒例なのにウッカリしてた。。。 さぁ、今年も日本の井戸水を振り返ります。 今年飲んで美味しかったTop5を挙げて行きます。 大信州 秋の純吟 長野:大信州…

Apache Hadoop OzoneがCSIに対応(=Kubernetesでも使える)してたのでお試してみる

qiita.com qiita.com 遅れてしまいましたが、この記事は、 MicroAd Advent Calendar 2019 及び Distributed computing (Apache Spark, Hadoop, Kafka, ...) Advent Calendar 2019 - Qiita の20日目の記事です。 公式ドキュメント より TL;DR Apache Hadoop O…

VBA のコードだけをimport/export出来る ariawase の紹介

vba

VBAってExcelブックにコードが埋まっちゃうので、読みにくい、、、 そこで、変更したらマクロだけをexportして、GitなりSvnなりにコミットしておけば、共有も出来るしレビューも出来るし、良いことづくめ。 終わったら、元のExcelブックにimportするだけ。超…

Kubernetesの学習環境としてsnapのmicrok8sは良さそう

MacとかWindowsとかでminikube動かすよりも、Linuxでmicrok8s動かすほうが100倍快適だと思うのでk8sいじり倒したい人は普段使いのLaptopをLinuxにするべき https://t.co/I3PG8ukd9s— junichi yoshise (@jyoshise) April 23, 2019 って @jyoshise さんがつぶ…

HueからHiveやImpalaの実行時にリソースプールを変更したい問題

分析用のクラスタでの運用の話。 クラスタへのデータ投入やETLなどのジョブと分析用のジョブを共存共栄したいという要望がある。 基本的に分析系のジョブは重たくなりやすいので、他に影響与えないように隔離したい。 beelineを使う場合は、以下のようにする…

Cloudera Manager APIってAmbariと比較してどうなんだろ?

社内ブログがあるのでそっちには毎日書いてるんだけど、せっかくなんでこっちにも書いてみることにした。 もともとメモなんだし、もっと雑に描いてもいいかなぁと。 Cloudera Manager API の話 Cloudera Manager API Client というのがあるなぁってのは分か…

Rancher Meetup #06 in Osakaでデータ分析基盤とk8s・Rancher絡めてLTしました

活動拠点は京都なのですが、大阪のコアメンバ不在もあって、神戸方面のメンバと一緒になって大阪で開催しました。 一緒にやってくれる人募集してます。 rancherjp.connpass.com 最初は、 去年のアドカレネタを膨らまして発表する予定だったんですが、どうし…

HiveとImpalaのネストしたカラムのpushdown(行や列方向のフィルタ)に関するまとめ

結論 きっかけ Pushdownについて HiveでのネストしたカラムのPushdwonについて ~Complex型(Struct型)の要素のPushdown~ ImpalaでのネストしたカラムのPushdwonについて ~Complex型(Struct型)の要素のPushdown~ まとめ 結論 2019/01/07時点で Hive ま…