Confluent Platform 7.5リリース

Confluent Platform 7.5がリリースされました。 Confluent Blog 内包されるApache Kafkaのバージョンは3.5となります。

コアエンジンであるApache Kafkaのアップグレードだけでなく、エンタープライズ ソリューションとしてのConfluent Platformとしての機能追加や改善も含まれています。

SSO for Control Center (C3) for Confluent Platform

Confluent Control CenterはConfluent Platformにおける管理ポータルとしての役割から、ごく一部のSREメンバーからのみアクセスされるという特殊なコンポーネントです。この為これまではアクセス制御のアプローチについては少し限定的でしたが、Broker等と同様OAuth2ベースの認証/認可の方法でアクセスする事が可能となりました。

OIDC SSO to Conntrol Center

Confluent REST Proxy Produce API v3

Confluent REST ProxyはKafka BrokerへのRESTベースのアクセスを可能としており、Confluent Platform/Cloudの双方で幅広く活用されています。一方、通常のKafkaプロトコルベースのアクセスに比べると制限もあり、これまでも段階的に改善がなされています。今回のProduce API v3では:

  • カスタムヘッダーの追加 (トレーシングID、等)
  • KeyとValueで異なるシリアライザの設定

が可能となります。

REST Proxy Produce API v3

Bidirectional Cluster Linking

双方向のCluster Linkingの設定が可能となりました。これまでも一方向のリンクを2本貼れば実際のレプリケーションを双方向にすることは可能でした。Consuemr観点ではローカルのTopicとMirror Topicそれぞれ個別のTopicを同時にConsumeするモデルであり、それぞれへのOffset Commitを実行します。この際、Mirror TopicへのOffset CommitはソースとなるTopicには反映されないので、障害時には部分的なConsumer Offset情報しか連携されていない状況となります。

2 Unidirectional Cluster Linking
双方向のCluster Linkingは双方向へのリンクが1セットとして扱われる為、双方のクラスタでのOffset Commit情報も合わせて同期されます。
Bidirectional Cluster Linking

参考

hashi
hashi
Admin - Manager, Solutions Engineering, Korea/Japan

畑Noob