koyama's blog

Apache SparkのK8sサポート

Cassandraのサポートも見たので，これからはクラウドネイティブを意識したサポートがステートフルなコンポーネントでも増えると思った．ただし，パフォーマンスやバックアップ，モニタリング周りは課題が生まれてきそう．

Apache Spark 3.1 Release: Spark on Kubernetes is now Generally Available | by Jean Yves | Mar, 2021 | Towards Data Science

sudoをTouchIDで

前のアルバイト先で知って実践したことなかったのでトライしてみた．良い．

[Mac] sudoコマンドの認証をTouch IDにする | エンジニアもどきの技術メモ

timeよりmultitime

kazuhoさんがLinuxでベンチマークに使えるコマンドとしてmultitimeをおすすめしていた．これはパフォーマンス測定するときに有用そう．研究で早速使ってみる．

そういえばだけど、linuxでコマンドのベンチマーク取るときに使うコマンドは time(1) ではなく multitime(1) がオススメ。指定回数試行してくれて、平均以外に標準偏差や中央値も教えてくれるよ！ https://t.co/8X82Ag0opy pic.twitter.com/z7H4fSiv4p

— Kazuho Oku (@kazuho) April 9, 2021

Interopのログ

Interop Tokyo 2021のログのスケールが出ていたのでメモ．これくらいのデータが欲しいよね．

モニタリングチームが各種機器のlogを吸い込み始めました。昨日1日のsyslog量は、15,289,055行とのこと。データサイズ3.4GB。NOCの阿部さん曰く「まだセキュリティ装置が本気だしてないし、本気出すと、1時間でこれくらいの量になるはず。」だそうです。前回2019年開催の時のログとトラップの資料を掘り出してくれました。

ShowNet – 投稿 | Facebook

学歴と収入の関係性

あくまで相関関係であって因果関係ではないので注意は必要．

令和２年賃金構造基本統計調査　結果の概況｜厚生労働省

データサイエンスのebook

日本語訳を無償で公開されていた先生がいたので共有．これは素晴らしい．

OpenIntro Statistics

余談

• 論文書いているのだけど終わらない〜😇
• 貪欲法を知った．
• 任意の社会人が博士号取得者な気がしてくる…
• DMM Booksで70%のクーポンを配布していたので，書籍をポチった
  • エンジニアリング組織論への招待 ～不確実性に向き合う思考と組織のリファクタリング：書籍案内｜技術評論社