Aiven正在将流数据与Google BigQuery生态系统连接起来。

2023年8月30日 ‘èr’ling bā yuè rì)

将流媒体数据与Google BigQuery生态系统连接的Aiven

Aiven宣布了与Google Cloud Ready – BigQuery认可的新的Apache Flink® to BigQuery Sync Connector，通过紧密连接流式数据和BigQuery生态系统。

当下的组织需要实时分析，收集即时反馈来改善产品和服务。根据调查，维持客户在网站上的时间仅需3秒。在这短暂的时间内，为了了解客户的洞察，并在几秒钟内提供定制的优惠，必须实时地对数据进行处理。为了更好地理解客户需求，数据仓库技术目前正在以全然不同的方式被利用，开发团队正利用实时数据的力量，提供低延迟的分析能力。

像Apache Flink®这样的流处理技术作为实时数据计算的重要工具出现，使得组织能够更好地理解数据并在毫秒级的延迟下为用户提供响应。例如，Pinterest利用诸如Apache Kafka®和Apache Flink的流技术的强大之处来进行实时的实验分析。利用强大的流式基础设施和可扩展的数据仓库的组合，可以实际上缩短客户响应时间从几小时或几天到几秒的时间。

今天我们将介绍两个令人兴奋的消息，即Aiven的流媒体技术与Google的数据仓库BigQuery生态系统紧密合作。

首先，Aiven已经取得了Google Cloud Ready – BigQuery认证。这一认证确保了我们的客户可以更加确信他们目前使用的产品与BigQuery可以完美集成。

另外，通过提供Apache Flink®开源连接器到BigQuery的早期支持，我们可以在Google Cloud上直接使用流式数据来进行更低延迟的分析工作！

参加Google Cloud Ready – BigQuery计划。

我們很榮幸地成為Google Cloud Ready – BigQuery認證的夥伴。這個認證使得我們的客戶能夠輕鬆在BigQuery合作夥伴中心尋找到Aiven的技術。

通过获取此指定证明了Aiven产品在与BigQuery集成时满足核心功能和互操作性要求。此外，参与该计划将更多地确保Aiven、Google Cloud的合作工程团队和BigQuery团队之间的紧密协作机会。

“Aiven for Apache Kafka被认证为Google Cloud Ready – BigQuery计划的合作伙伴，证明了与Google Cloud及其生态系统之间的持续协作与合作伙伴关系。”

「Google Cloud Ready-BigQueryの認定」は、ソリューションが厳格な認定プロセスを経ており、顧客に最高のパフォーマンスを提供できることを保証するものです。Aivenを使用することで、顧客はすべてのデータとメトリクスをBigQueryに連携し、ビジネスパフォーマンスをより簡単に最適化することができます。

Swift是使用公司的仓库管理系统2.0的客户之一。他们使用Aiven for Apache Kafka和Apache Kafka Connect将仓库数据流式传输到BigQuery。通过使用Aiven for Apache Kafka和BigQuery，他们能够实现与母公司庞大生态系统之间的高级水平物流协作(HLC)。Swift Solutions的CTO，Alfi Zainuddin先生表示：“得益于Aiven出色的支持和服务，我们能够稳定基础架构、快速扩展业务并掌控数据。”

与谷歌云合作的共同客户Hookdeck成功地使用Aiven for Apache Kafka以及其高可用性数据流解决方案，将PostgreSQL的数据传输至BigQuery。Hookdeck的CTO兼创始人Maurice Kherlakian先生表示：“我们能够利用可用的出色工具，经过一段时间的集成微调，最终实现了令人惊讶的性能水平。我们能够每秒处理60000条消息。”

使用Flink和BigQuery的连接器来填补流式数据和分析工作负载之间的差距。

谷歌云已准备就绪 – 除了引入针对BigQuery的设定之外，我们还介绍了Flink和BigQuery的开源连接器。Aiven是一个可信任的开源数据平台，我们的目标是通过尽可能简便和合理地将我们的平台与常见技术整合，不仅为我们的客户，也为希望将Apache Flink和BigQuery等常见技术与我们的平台整合的广大开源社区提供更大的灵活性。

为此，我们提供了在Apache-2.0软件许可下获得许可的Flink to BigQuery Sink Connector。这使得开发者无论是使用开源的Apache Flink，还是使用像Aiven for Apache Flink这样的全托管服务，都可以使用该连接器。

新的Flink和BigQuery连接器用户可以从包括Apache Kafka®在内的多个数据流技术源中读取数据，通过利用Change Data Capture (CDC)记录来自运营数据库（如PostgreSQL）的行级变更，从而开发可扩展的流数据管道和流应用程序。使用像Apache Flink这样的流处理技术，开发团队可以实时对数据进行简单转换，并将转换后的事件传递给BigQuery，以实现更多的分析和数据仓库应用程序及用例。

该连接器目前支持Apache Flink的SQL和Table API，但未来将支持Flink的DataStream API和BigQuery的新Storage API，以实现更高效和经济效益的分析工作负载的扩展能力。

价格和购买方式

您可以从今天开始使用Apache Flink和BigQuery之间的同步连接器作为Aiven控制台的一部分进行集成。只需访问Aiven for Apache Flink应用程序，然后从Aiven控制台或Aiven CLI中选择BigQuery集成即可。用户现在可以在Google Cloud的全球各个区域中将流数据与BigQuery生态系统无缝集成。请查看价格页面。

可以直接从 GitHub 访问连接器。 我们期待连接器的用户和更广泛的 Flink 和 BigQuery 社区能够提供更多的贡献和想法。

开始使用Aiven for Apache Flink

Aiven for Apache Flink和BigQuery的无缝集成只需点击几次Aiven控制台或Aiven CLI的命令即可实现。如果您是第一次使用Aiven，请注册30天的免费试用或预约演示，考虑一下Flink和BigQuery的协作方式。