在CentOS上运行Apache Kafka
首先
本手順是在CentOS上下载Kafka,并创建主题以发送和接收消息。
环境
CentOS 7.2.1511
※我正在使用MacOS上的CentOS运行
在macOS上使用Vagrant(CentOS)来运行pyspark
下载和解压Kafka
$ sudo su -
# wget -O /tmp/kafka_2.12-2.3.0.tgz http://ftp.jaist.ac.jp/pub/apache/kafka/2.3.0/kafka_2.12-2.3.0.tgz
# tar -xzf /tmp/kafka_2.12-2.3.0.tgz -C /opt
# mv /opt/kafka_2.12-2.3.0 /opt/kafka
让管理员在后台启动Zookeeper。
# nohup /opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties &
在后台启动 Kafka
# nohup /opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties &
创建主题
# /opt/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic sample-topic
Created topic sample-topic.
确认话题
# /opt/kafka/bin/kafka-topics.sh --list --zookeeper localhost:2181 sample-topic
发送消息到主题。
由于控制台启动,请输入消息(任意内容)。
# /opt/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic sample-topic
>value1
>value2
>value3
收到消息
如果收到了信号,之前输入的消息将显示出来。
# /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic sample-topic --from-beginning
value1
value2
value3