Stream Processing

Apache Kafkaはメッセージブローカーであると同時にストレージの役割も果たす、それまでのMQの世界観とは少し異なった機能性を有しています。またデータのグループとなるTopicの構成やKafkaを利用するクライアントの設定如何によって全く異なるワークロードを同一クラスタ上で処理する事が可能です。本セッションでは、Kafkaのデータデータモデルとそれを扱う論理構成、Stream-Table Duality、そしてデータ整合性の考え方についてご説明します。

ネットワーク機器のログをSplunkのUniversal Forwarderを利用してConfluentに転送し、ストリーム処理後にSplunkのHECに転送するサンドボックス環境。Splunk Universal Forwarderから送られるログを、Confluent内で機器ログ (CISCO ASA) とUniversal Forwarder自身のログ (SPLUNKD) にストリーム処理で分類。ストリーム処理にはksqlDBを利用。

イベント駆動アーキテクチャを、ストリーム処理というより包括的なアプローチで解決する手法についての本です。イベントの種類やイベント駆動におけるアーキテクチャ概論、CQRSやステートフル処理まで踏み込んで解説しています。 (英語)

Kafka コミッター/PMCメンバーによる初めてのKafkaをメインに扱った書籍です。Kafkaのアーキテクチャからアプリケーションの設定、運用観点におけるベストプラクティス等、幅広い領域をカバーしています。 (英語)

『データ指向アプリケーションデザイン』の著者であるクレップマン博士によるストリーム処理、中でもKafkaを利用した新たなイベント駆動モデルの概要についての入門書です。『Database Inside Out (データベースの内部構造を広く展開する)』の概念とその可能性について詳しく説明されています。 (英語)

Confluent CEOであるJay Krepsによる、Kafkaの背景にある概念とログやストリーム処理アーキテクチャに関する考察です。 (英語)