创建一个运行Apache Kafka的环境

1 年 ago

文, 翔

1 minute

因为工作需要使用Kafka，所以我想在我的个人电脑上安装Kafka的环境。
首先，我将以目标为使得CLI能够进行Kafka消息的发送和接收来进行操作。

安装

在使用Kafka之前，可以通过下载压缩文件来尝试使用。然而，这需要使用Docker作为前提条件。因此，需要使用Docker来进行环境设置。对于Windows用户，需要进行以下安装步骤。

Docker Desktop

WSL2 的中文释义：Windows 子系统 Linux 2

以管理员身份运行PowerShell，并执行以下命令。
wsl –install

如回复中所述，安装完成后需要重新启动。

Docker桌面版

请从下面的链接中进行安装。
https://docs.docker.com/desktop/install/windows-install/

只要不需要改变默认设置，就可以直接继续前进。

重启后

使用Docker镜像创建Kafka环境。

通过使用yml文件，使用docker-compose命令创建环境。

请确认已安装Docker和Docker Compose。

yml 文件

version: "3"
services:
  kafka:
    image: confluentinc/cp-kafka
    environment:
      KAFKA_ZOOKEEPER_CONNECT: zookeeper:32181
      KAFKA_LISTENERS: EXTERNAL_SAME_HOST://:29092,INTERNAL://:9092
      KAFKA_ADVERTISED_LISTENERS: INTERNAL://kafka:9092,EXTERNAL_SAME_HOST://localhost:29092
      KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INTERNAL:PLAINTEXT,EXTERNAL_SAME_HOST:PLAINTEXT
      KAFKA_INTER_BROKER_LISTENER_NAME: INTERNAL
      KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1
    ports:
      - 29092:29092
    depends_on:
      - zookeeper
  zookeeper:
    image: confluentinc/cp-zookeeper
    environment:
      ZOOKEEPER_CLIENT_PORT: 32181

启动指令

docker-compose -p test -f "ymlファイルのパス" -d

确认可以创建并发送和接收主题。

创建一个话题

sh-4.4$ kafka-topics --bootstrap-server localhost:9092 --create --replication-factor 1 --partitions 1 --topic sample1
Created topic sample1.

让主题发送消息

sh-4.4$ kafka-console-producer --bootstrap-server=localhost:9092 --topic sample1
>testmessage
>
>;
>^C

确认是否发送了主题信息

sh-4.4$ kafka-consoconsumer --bootstrap-server localhost:9092 -topic sample1 --from-beginning
testmessage

;

我现在可以使用Kafka了。
接下来我想要实现debezium和Kafka的协作。