回顾2022年伦敦卡夫卡峰会
回顾一下2022年伦敦的卡夫卡峰会。
2022年5月5日
回顾2022年在伦敦举行的卡夫卡峰会
让我们回顾一下今年伦敦的卡夫卡峰会。
卡夫卡峰会2022伦敦:回顾
Apache Kafka®社区所期待已久的活动再次回归!Kafka Summit 2022 在伦敦东部的O2聚集了1500多名参与者,通过讲习班、讲座和社交活动,整个活动嗨翻了天。Aiven公司参展,并由资深软件工程师Olena Babenko和开发者倡导者Francesco Tisiot进行演讲。
基調演講:Apache Kafka®和最新的數據流動
在Jay Kreps先生的主题演讲中,他提到了Apache Kafka如何适应现代数据流,包括它是流式的(没有人想回到批处理)、分布式的、声明性的(出现了Apache Flink® SQL!)、面向开发者、可管理和可观测等有趣的要点。看到不同的公司以不同的方式在相同的概念上发展是令人振奋的事情,我们Aiven也不例外。
我们始终是流媒体的忠实粉丝。夜间批处理时代已经过去,现在开发者们可以通过Apache Kafka、不断增加的Kafka Connect连接器以及MirrorMaker 2,获得在流媒体模式下移动数据所需的一切。
当谈到分散化时,杰伊确切地指出了企业内独有的数据管道时代已经结束。重要的是让开发者自由选择最适合他们需求的数据平台,并提供快速可靠的服务间连接。如果需要关系型数据库,可以选择PostgreSQL®或MySQL。如果是时序数据库,可以选择M3。需要搜索引擎?OpenSearch®在这里!需要与服务连接?可以选择使用Kafka Connect建立线性的数据管道,或者使用Apache Flink®添加转换功能。
開発者は、何を達成したいのかを伝えるためのコードを書くことに注力すべきであり、どのように実現するかではありません。SQLはこの目的に最適な言語であり、広範な開発者たちが出力データの形式を気にすることなく記述することを可能にします。私たちは、Aiven for Apache Flink®でSQLインターフェースを提供し、データの専門家が好きな言語でストリーミングパイプラインを定義できるようにしています。
杰伊提出的第四点是,工具应该是面向开发者的,因此应该在开发者所在的地方与开发者会面。这基本上是开发者可以无限制地接受并将其喜爱的工具与开源软件集成的口号。此外,通过构建托管服务或预先打包的集成,开发者可以减少时间用于管道工程,从而更专注于开发。
在基调演讲中提到的最后一个概念是关于受管理和可观察的数据资产。因此,开发人员需要具备监测数据情况的工具。因此,预先构建的内部和外部服务的整合以及可访问的控制台将产生差异。我们正在进一步研究这个问题,敬请期待!
学科会议
技术系会议最精彩的部分就是演讲,Kafka Summit也不例外!从Apache Kafka在太空中的应用到如何为Apache Kafka做贡献的详细方法,演讲内容涵盖了令人惊叹的多样主题,使与会者能够更深入地了解Kafka的世界。
我们参加了几个会议,并且特别享受其中的一些:
- Debeziumでキャッシュを常に新鮮に!
用Infinispan为基础的详细示例,使用Kafka和Debezium连接器来保持缓存始终更新!Gunnar Morling成功地在45分钟内涵盖了非常多的信息,这是令人难以置信的,无疑是一场应该多次回顾以掌握所有片段的会议!
Zookeeperを使わないKafkaを本番に持ち込む Colin McCabe氏による、Zookeperを使わないKafkaで今後ますます増えていくであろうトピックを扱ったもの。
Danica Fine氏によるPractical Pipelines: A Houseplant Soil Alerting System with ksqlDB 植物の命を救うストリーミング・アプリケーションの実例。IoTデバイスとRaspberry PIの配管から、アラートしきい値の定義とストリーミング計算まで、Danicaはエンド・ツー・エンドのストリーミング・データ・パイプラインの完全な例を示した。
Aiven以Aiven为例,Olena Babenko提供了一些有关如何优化基于Kafka的Apache Flink应用程序的提示。 Olena提到了选择Flink和Kafka连接器的时机,管理不平衡的主题的方法,以及了解Flink运行状况的重要话题。
我使用了马里奥这个朋友的真实故事,以讲述理解JDBC连接器的局限性,以及Debezium连接器如何摆脱困境的主题进行了演讲。
在活动中,我们的展位非常热闹,有很多人对Aiven以及Apache Kafka的讲解表现出浓厚的兴趣。此外,我们的袜子和贴纸看起来非常酷,就像是“卡尼卡玛FTW(蟹肉杆子万岁)”一样!
社区
在每个会议的最后阶段发生了一些魔法。提问、交流、一对一、建立网络……所有在面对面会议上错过的东西都回来了。我能够与在社交媒体上多年互动的人们实际见面,并与一些有趣的新朋友建立联系。
与那些有着相同兴趣的人(无论是关于卡夫卡还是其他任何事)相遇,可以建立起强大而持久的桥梁!
卡夫卡未来峰会
未来会变成什么样呢?如弗朗茨·卡夫卡所写,“事物有时会改变形态。” 下一次会议将命名为”Current”,计划使其在数据流领域更开放于各种广泛的技术!论文征集已经开始了,我非常期待!