Kafka Core

Apache Kafkaの最新バージョンが公開されました。Tiered Storageがアーリーアクセスとして登場した他、Zookeeperのアップデート、KRaft Metadata Transaction等様々な新機能が追加されました。

KafkaにおけるトランザクションはリレーショナルDBにおけるそれとどう違うのか？KafkaトランザクションとExactly Onceとの関係は？

分散ストリーミング基盤に起こるカオスを水際で抑えるController Brokerの仕組み by Kafkaコミッタ。

単純にストレージを分割するだけでない、Tiered Storageが見据える新しいKafkaと将来について。

KafkaのAcksを完全に理解する by Kafkaコミッタ。

Anna McDonaldによるKafkaのヤバいバグに関するトークです。日本語字幕でどうぞ。

Exactly Once Deliveryに関わる重要な変更がKIP-95にて対応されて暫く経ちます。仕組み上Producer側の並列送信数は1に設定する必要がありましたが、後日のエンハンスメントで最大5まで対応出来る事になっています。

KIP-932として登録されているQueues for Kafka。「Kafkaはメッセージキューなのに何を今更？」という疑問も伺いますが、Kafkaは本質的にはメッセージキューではありません。そのKafkaにとってKIP-932はどういう変更なのかについて説明します。