尝试演示Confluent平台【第1篇】

首先

最近我听说了Confluent Platform对Kafka的功能扩展，然后我发现只是听说而已并不能完全理解其中的细节，所以我决定尝试使用Confluent公司提供的cp-demo内容，在GitHub上发现了它，以此来实际试用每一项功能。

请将以下内容用中文进行同义转述，只需要一种选择：

– Can you help me with this task?
– Could you lend me a hand with this assignment?
– Would you be able to assist me in completing this project?
– Do you mind helping me out with this job?
– Is it possible for you to support me in getting this task done?

以下是示例场景：

维基百科事件流是在实际维基页面上发生的实时编辑连续流的公开。Kafka源连接器kafka-connect-sse通过https://stream.wikimedia.org/v2/stream/recentchange从服务器向流式传输服务器发送事件（SSE），而自定义连接转换器kafka-connect-json-schema则提取JSON数据。

然后，这些消息被写入Kafka集群。在此演示中，我们将使用ksqlDB和Kafka Stream进行数据处理。接下来，Kafka Sink连接器kafka-connect-elasticsearch从Kafka中流式传输数据并将其连接到Elasticsearch以进行分析，并在Kibana中可视化。所有数据都使用ConfluentSchema Registry和Avro，并使用CCC（Confluent Control Center）进行管理和监视。

在本地構建集群

我們現在希望實際在本地構建。
這次我們將使用名為cp-demo的Docker環境來進行各個功能的確認。
所使用的Docker環境需要至少8GB的內存和分配給它的2個或多個CPU核心。

设定

在github上克隆confluentinc/cp-demo仓库。

git clone https://github.com/confluentinc/cp-demo

前往2.cp-demo文件夹，检出最新发布的分支。

cd cp-demo
git checkout 6.2.0-post

设置环境

在cp-demo目录中，有一个脚本可用于在端到端流程中执行工作流。使用该脚本可以启动Docker容器并配置环境。此外，该脚本还可以进行可选配置。
– CLEAN：可以控制是否重新生成已建立的证书和在本地建立的Connect映像。
– C3_KSQLDB_HTTPS：可以控制Confluent Control Center和ksqlDB服务器使用HTTP还是HTTPS。
– VIZ：可以控制是否启用Elasticsearch和Kibana。
本次运行将不使用选项来运行脚本。

./scripts/start.sh

根据环境的不同情况，在第一次执行时需要下载所有必要的Docker镜像，大约需要15分钟左右的时间。

确认

我們將檢查這裡的環境是否正確設定。
1. 我們將檢查Docker容器的狀態。

docker-compose ps

3. 在cp-demo目录中的docker-compose.yml文件配置了这个Confluent平台。
https://github.com/confluentinc/cp-demo/blob/6.2.0-post/docker-compose.yml

下次，我們希望基於這個環境，來逐一檢視各自的功能。