データストリーミングの「現在」とは？

Current 2022は、Kafka Summitシリーズの後継カンファレンスとして今年開催されました。Aivenの同僚がこの新しいイベントをどう思ったか（ヒント：とても良かった！）、読んでみてください。

Aivenチームは先週、オースティンで開催されたCurrent 2022イベントに参加し、多くの人々やスピーカー、イベントストリーミングコミュニティに加わりました。このイベントは2022年10月4～5日に開催され、有名で多くの人に愛されているKafka Summitの敷地を拡大するという野心的な目標を掲げていました。Current 2022は、かつてのKafka Summitイベントのスコープを広げ、リアルタイムデータ処理、ストリーミングストレージ、ストリーミングデータベース、その他多くの技術領域を含むが、これらに限定されないイベントストリーミング技術やフレームワークの数々を含むようになった。

Current 2022の期間中、Apache Kafka®がカンファレンスのアジェンダで十分な注目を集められないのではないかと心配していた参加者は、プログラム委員会が今年、Apache Kafkaのコンテンツを50％増やすことに成功したのを見て、驚きを隠せなかった！それにもかかわらず、Current 2022の聴衆は、リアルタイム分析、データガバナンス、ストリーミングなどのさまざまなトピックについて、より大規模で幅広いセッションを受けることができた。今年のセッションの質は非常に高く、唯一の課題は、いかにして同時に複数の場所にいるかということでした。私たちを代表して、2日間に渡って素晴らしいコンテンツを提供してくださったカンファレンスのオーガナイザーとプログラム委員会の皆様にお祝いと感謝を申し上げます！

ネットワーキングを優先した人たちは、それも十分に楽しむことができた。このイベントには、データテクノロジーの全領域にわたるさまざまな業界のリーダーや専門家が集まった。ダイバーシティとインクルージョンに特別な配慮がなされ、カレント2022は、様々な人々が学び、経験や専門知識を共有し、支え合い励まし合う環境の中でネットワークを築くことができるようになりました。

以下の段落では、イベントの雰囲気をお伝えし、カンファレンスの両日にわたる基調講演と分科会セッションから私たちが得た主な気づきをお伝えします。

基調講演Apache Kafka®とストリーミングの時代

2022年現在、リアルタイムデータストリーミング、その歴史、進化、そしてApache Kafka®が長年にわたって果たしてきた役割に焦点を当て、また今後のKafkaの展望を垣間見ることのできる刺激的な基調講演が行われました。

ConfluentのCEOであるジェイ・クレップス氏は、カンファレンスの最初の基調講演の冒頭で、データの取り扱いにおける重要な転換点と、主要なデータ・プラットフォームの台頭について語った。このデータ・プラットフォームは、あらゆる組織における中枢神経系のようなもので、データの保存、接続、処理、管理、共有を行う首尾一貫した環境へと、さまざまな拠点を接続するのに役立つだろう。このストリーミング・データ・プラットフォームの出現は、業務用データベース、SaaSアプリケーション、分析システムを単一のエコシステムに統合し、イノベーションを促進し、さらに幅広いユースケースを解き放つ。

これを説明するために、Imply社の共同設立者兼CTOであるGlan Merlino氏とExpedia社の技術担当副社長であるAnush Kumar氏が登壇し、データストリーミングがどのように自社の製品やビジネスに影響を及ぼしているかというストーリーを披露した。ストリーミング・データは絶え間ない変化であり、それは人生をよりリアルに反映する。

この日の2番目の基調講演は、Confluentの共同創設者であるJun Rao氏によって行われ、Apache Kafka®の歴史や創設の動機、どのように進化してきたか、そしてApache Kafka®が今後どのような道を歩んでいくのか、といったApache Kafka®の歩みを紹介した。

特にJunは、この1年間でApache Kafka®とそのエコシステムに加えられた改善に焦点を当てました。その多くは、パフォーマンス、セキュリティ、信頼性に焦点を当てたものだ。より多くのコネクタ、クライアント・ライブラリ、豊富なストリーム処理エンジンが導入された。

Kafkaで最近実施された注目すべき変更の1つは、KafkaのコントロールパネルとしてApache Zookeeper®をKRaftに置き換えたことだ。Ismael Juma氏は、Kafkaのスケールを向上させ、数百万のパーティションで実行できるようにする新しいコントロールパネル、KRaftのストーリーを共有した。KRaftを構築する旅は3年前に始まり、Kafka 3.3でようやく本番環境に対応できるようになりました。

ジュンはその後、米国郵政公社（United States Postal Service）の最高情報責任者（CIO）であるプリタ・メーラ（Pritha Mehra）氏とともに登壇し、2020年にパンデミックが発生した際に、イベント・ストリーミング・アーキテクチャを使用して米国郵政公社（USPS）が全米で数百万個のCOVID-19検査キットを管理するためにApache Kafka®をどのように利用したかを紹介した。

2022年現在の共通トピック

Current 2022のセッションは今年、複数のテーマを扱ったが、セッション、パネルディスカッション、コミュニティでの会話から、いくつかの共通したトピックを特定することができた。そのいくつかを紹介しよう：

データ・ガバナンスはイベント・ストリーミングにとって最も重要である。

イベントストリーミングの採用が組織全体（および組織内）で拡大するにつれ、Kafka を安全かつコンプライアンスに準拠した方法で管理・運用する複雑さも増しています。複数のチームやシステムによってKafkaクラスタやトピックが作成され、これらのトピックからデータが生成・消費されるため、適切なチームが適切なストリーミング・データにアクセスできるようにする統一された一元的な方法を持つことが、運用チームのボトルネックになりがちです。

Current 2022では、このテーマがディスカッションやセッションで何度も出てきた。特に、Social Security AdministrationのVanessa Burckard氏は、社内のチームに対するData Governance as a Serviceのアプローチと、これが組織の新しいユースケースに対するKafkaの採用をどのように効率化するかについて議論した。その他のディスカッションでは、クラウド・サービスの統合されたセキュリティとガバナンス・コントロールを活用して、Kafka環境に適切なガバナンス・ツールを設定する方法について議論した。

Aiven側からは、Kafkaを中心としたデータガバナンスツールに対する需要が高まっていることを嬉しく思っています。これは、当社が最近買収したKlaw（旧Kafkawise）と、Kafkaワークロードを管理・構築するチーム間で適切なガバナンスを確保するためにKlawを中心としたオープンソースコミュニティを構築するという当社の意向に直接合致するものだからです。Klawについての詳細はこちらをご覧ください。

バッチとストリーミング：バッチは消えるのか？両者の未来は？

カンファレンス全体を通して、バッチ vs. ストリーミングというテーマは明らかだった。両者をどのように統一するか、リアルタイム・アプリケーションのためにバッチ処理のパフォーマンスをどのように改善できるか、あるいは改善しなければならないか、などが議論された。Adi Polak氏、Amy Chen氏、Eric Sammer氏、Tyler Akidau氏によるパネルディスカッションも行われ、今日のストリーミングの採用状況や、ストリーミングがバッチに完全に取って代わるかどうかについての議論が交わされた。パネルディスカッションの興味深い点は、Robin MoffattのTwitterスレッドで見ることができる。

パフォーマンスを正しくするのは簡単ではない

パフォーマンスはどの技術カンファレンスでも常にホットな話題だが、Current 2022も例外ではなかった。Gunnar Morling氏の “Keep the Cache always fresh “ではCDCとキャッシングメカニズムについて、Olena Kutsenko氏の “Beginners Guide to Balance Your Data Across Apache Kafka Partitions “ではパーティショニングの正しい使い方についてなど、いくつかの講演がこのテーマに沿って行われた。

また、Ben Gamble氏の “Going Multiplayer with Apache Kafka “では、Kafkaとストリーム処理を使ってどのようにリアルタイムのマルチプレイヤーインタラクションやマルチユーザインタラクションを実現できるかを詳しく説明した。ライブチャット、ドキュメントの同時編集、さらにはMinecraftなどの例が紹介された。ベンはクールなデモを見せただけでなく、それらをサポートするために必要なストリーミング・データ・トポロジーのいくつかをレビューし、議論した。

同様のトピックとして、Francesco Tisiot氏の “Breathe in and breathe out: get Kafka Connect configs right “は、Kafka Connectを始める際の苦労を定義し、コネクタを開始し、適切に動作させ続けるための魔法のようなヒントを共有した。必要なリソースの作成による現場の準備から、要件とネットワーク経路の検証を経て、バージョン管理と自動デプロイで締めくくるまで、フランチェスコはKafka Connectの体験をよりスムーズで信頼性の高いものにするための多くの情報を共有した。

多様性とインクルージョン

Current 2022では、データストリーミングにおける多様で包括的なコミュニティを構築することを目標に、社会的地位の低いグループからのメンバーの支援に特別な位置づけが与えられた。

特に、グーグルが主催したパネル「#IamRemarkable」では、パネリストたちが、文化的規範やジェンダー規範が、私たちが自分の功績を話したり、成果を共有したりすることをいかに妨げているかについて話した。リーダーたちは、自己アピールを向上させるために、そのような課題を克服する方法についてアドバイスを共有した。

さらに、同日開催された「インターセクショナル・ハッピーアワー」では、社会的地位の低いグループやアライの参加者たちが、インフォーマルな雰囲気の中で、互いに顔を合わせ、ネットワークを作り、おしゃべりをする機会が設けられた。インターセクショナル・ハッピー・アワーに来る機会がなかった人たちは、会議2日目の「インターセクショナル・スピード・ネットワーキング・アワー」に参加した。

おわりに

Current2022で明らかになったことが1つある。ストリーミングデータの採用が、規模や業種を問わず、組織全体で最新のデータシステムを構築・維持する際の事実上のパラダイムとなり、Apache Kafka®がかつてないペースで成長していることだ。そして、Apache Kafka®のコミュニティがなければ、このようなことは不可能でした。Kafkaにコードを提供し、専門知識を共有することでコミュニティ体験を向上させるために時間とエネルギーを共有しているすべての人々が、Kafkaがエコシステムとして繁栄し続けることを保証しているのです。

私たちAivenは、このような活気に満ちた包括的なコミュニティの一員になれたことを大変嬉しく思っており、近いうちに開催されるイベントストリーミングに関するカンファレンスで彼らに会えることを待ちきれません！

Aivenと私たちのサービスに関する最新ニュースや、オープンソースに関するちょっとした情報を入手するには、月刊ニュースレターを購読してください！LinkedInとTwitterでは、Aivenに関する日々のニュースを配信しています。