介绍Aiven for Apache Kafka®的分层存储：解锁更好的成本效益和扩展性。

2023年12月7日 -> 2023年12月7日

Aiven for Apache Kafka®引入分层存储：实现成本效益和可扩展性的提升。

Tiered Storage for Apache Kafka提供给客户成本效益、运营灵活性和可扩展性的改进。

Apache Kafka®已经成为数据架构中不可或缺的组件，用于实时流式传输数据和事件。在Aiven，我们亲眼目睹了客户对于在越来越多的应用场景中使用Apache Kafka，并处理更大量的数据的需求增加。因此，客户正在寻找一种经济高效的方法来存储大量数据到Apache Kafka，并同时探索如何维持不断增加的工作负载的稳定性和生产级别的处理能力。

Aiven与Apache Kafka社区合作，在数据和事件流系统中支持大规模数据存储所带来的挑战，并为Apache Kafka增加了Tiered Storage的支持。从Kafka 3.6的公共预览开始，Tiered Storage使Kafka用户可以将旧数据或访问频率较低的数据无缝地保存到低成本的存储中。因此，本地存储层将继续用于在Kafka代理节点上存储日志段，而远程存储层将使用云对象存储，如Amazon S3、Azure Blob Storage和Google Cloud Storage等，从而实现两层存储的设置。这将缩小代理节点的存储大小并降低成本，同时由于不再需要进行大规模数据复制操作，还将提高升级和迁移的性能。

我很高兴地宣布，我们将通过发布面向Aiven for Apache Kafka的分层存储功能，为客户提供大幅降低 Apache Kafka 存储成本的服务。此功能将从现在开始，为正在使用 Kafka 3.6 的现有和新客户提供早期接入。

如果您想在早期可用期间尝试Aiven for Apache Kafka的层级存储，请与Aiven账户团队联系。我们将为您提供设置支持和指导，以满足您所需的Kafka主题。由于早期可用服务处于测试版阶段，Aiven不建议在生产工作负载中使用。与所有早期可用服务一样，Aiven团队将收集反馈并监控Tiered Storage for Aiven for Apache Kafka的稳定性和性能，随后将在不久的将来宣布General Availability，并支持生产工作负载。请与Aiven账户团队联系。

你能节省多少？

让我们以一个零售企业为例，该企业正在准备应对从11月到12月期间的全球零售购物活动（光棍节、黑色星期五、假日购物季节）导致的数据量增加。该零售商在google-europe-central2地区运营Aiven Business-4 Kafka服务，并预计需要增加990GB的磁盘存储。如果使用节点存储，每月将需要支付859美元。相比之下，如果使用Aiven for Apache Kafka的分层存储，只需支付每月85.50美元即可获得相同的容量。此外，该零售企业的技术团队不再需要基于存在低估或高估所带来的风险来运营，因为他们可以根据需要灵活调整容量。

Apache Kafka通过分层存储带来了许多好处。

使用Aiven for Apache Kafka的Tiered Storage，可以获得以下优势：

• Aiven for Apache Kafkaの無制限ストレージ:** 従来、Kafkaは通常、ローカルディスクのサイズによって制限された保持期間（通常、数日または1週間程度）で構成されていました。保持期間より古いデータは、期限切れ（削除）か、サードパーティのシステム（多くの場合、外部ストレージ）に移動して長期的に保持されていました。前者の場合、古いデータは失われ、後者の場合、アプリケーションはデータの年齢に応じて2つの異なる検索メカニズムをサポートする必要がある。Aiven for Apache Kafkaは、Tiered Storageを利用することで、リアルタイムデータと履歴データを容易に処理できる包括的なストレージ・ソリューションとなり、顧客のアプリケーション・アーキテクチャを簡素化し、時間的な制約を取り除きます。

• Aiven for Apache Kafkaクラスタの弾力性向上： **すべてのデータをローカルに保存していた場合、スケーリングやノードの交換処理では、データセット全体を古いノードから新しいノードにコピーする必要がありました。その結果、Kafkaクラスタのリバランシングに時間がかかることになります。Tiered Storageでは、ノードの複製はノード自体のデータをコピーするだけで済みます。これは、アップグレード時間の短縮やクラウドプロバイダー間の迅速な移行が可能になることを意味します。

クラウド・インフラ・コストの最適化：Tiered Storage for Apache Kafkaを使用することで、お客様は計算とデータ・ストレージのニーズを切り離すことができ、総運用コストを最大50%削減できます。お客様は、データ保持量を増やすために新しいKafkaノードを追加する必要がなくなりました。必要なのは、パフォーマンスや耐久性の理由で水平スケーリングが必要になったときだけです。

价格和购买途径

Tiered Storage的价格取决于所使用的对象存储系统，价格从每月每GB 0.09美元起。Tiered Storage的成本取决于所使用的远程存储量，以GB/小时为单位进行测量。在Aiven控制台上启用Tiered Storage即可确认。有关Tiered Storage价格的详细信息，请查阅文档。Tiered Storage支持三个超大规模云存储服务，包括Amazon S3、Google Cloud Storage和Azure Blob Storage。

Aiven在其其他服务中的层次化存储

我们正在对整个平台添加分层存储功能。使用Aiven for Clickhouse®的客户可以立即在Clickhouse实例中试用Tiered Storage。目前，Clickhouse的Tiered Storage使用有限，但如果您对早期访问感兴趣，请立即与我们的团队联系。

在Aiven for Apache Kafka中启用分层存储的方法。

要在非生产工作负载中启用Aiven for Apache Kafka的分层存储功能，请与Aiven账户团队联系，并请求启用Aiven for Apache Kafka的分层存储支持。一旦分层存储功能已启用，请按照以下步骤进行操作：

我来到了Aiven控制台。

从控制台的右上方访问“用户信息”。

从下拉菜单中选择“功能预览”。

在「功能预览」部分的「Aiven for Apache Kafka®层级存储」部分，点击「启用」来完成。

回到Aiven Console的主页。

创建一个新的Kafka服务。

选择使用Apache Kafka。

要在Aiven for Apache Kafka中使用Tiered Storage功能，请选择Kafka版本3.6。

请按照通常的惯例选择云服务提供商、服务区域和服务计划。

为了这项新服务，已经增加了启用阶梯存储功能的选项。一旦启用，阶梯存储费用将自动显示在Aiven控制台的右侧列中。

点击「创建服务」即完成准备工作。

如果禁用了一次有效的分层存储，云存储层中的所有数据都将丢失。如果要在早期可用性期间停止分层存储，需要联系Aiven支持。

今天试用本功能的客户可以在Kafka实例中选择按主题层次结构组织的数据，将旧数据转储到Amazon S3、Google Cloud Storage或Azure Blob Storage。有关Aiven for Apache Kafka的分层存储工作原理，请参阅相应的文件。

如果您是第一次使用Aiven，请务必注册免费试用，亲自体验Aiven for Apache Kafka的分层存储功能。有关Aiven平台的更新和将来的分层存储增加，请参阅更新日志！