はじめに

こんにちは。re:invent2015@ラスベガスに初参加の古渡(@f_prg)です。
re:invent2015のセッションレポートです。
BDT318 – Netflix Keystone: How Netflix Handles Data Streams Up to 8 Million Events Per Second
「Netflixのキーストン:Netflixが１秒あたり最大800万イベントのデータストリームを処理する方法」
のセッションを聞いてきました。

セッション内容

なんともうスライドがアップロードされてました。
はい、読んでくださいねでお終いというわけにもいかないので
スライド内容を見ていきたいと思います。

いままでどうしていたのか

Chukwa,
Chukwa/Suro + Real-Time
だったとのことです。
https://chukwa.apache.org/

今は

• Kafka
• Samza
• Spark Streaming
• Auditor
• Winston
• Kaffee

うーん。Hadoopはしってるんですが、
そこで使われるapacheプロジェクトが勉強できていないので
まだまだ私には理解できていない状況です。(>_<)

次の展開ポイントは

• パフォーマンスチューニング＋最適化
• self service
• Schemas + registry
• Event Discovery + visualization
• OpenSource Auditor/Kaffee
  とのことです。パフォーマンスチューニングはぜひともおさえておきたいですね。

さいごに

リアルタイム処理の進展は素晴らしいですね。
ちょっとHadoop関連の内容が多いので、私もそちらを頑張ってみたいと思いました。