且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Kafka 的安装及测试_1

更新时间:2022-09-02 15:35:25

开发者学堂课程【大数据实时计算框架 Spark 快速入门Kafka 的安装及测试_1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址https://developer.aliyun.com/learning/course/100/detail/1727


Kafka的安装及测试_1


1.[root@node21 Kafka_2.10-0.8.2.1]# 11 进入 Kafka 目录。

2.[root@node21 Kafka_2.10-0.8.2.1]# 11 config/ 展开目录。

3.[root@node21 Kafka_2.10-0.8.2.1]# 11 config/server.properties。

4.Kafka 是一个集群,Broker 是节点,port 是端口,一个集群下有很多和节点。

5.log.dirs=/kafka-logs,需要放入 kafka 的数据。

6.Kafka 是一个分布式的消息队列。

7.topic 抽象概念,由多个 partition 组成,partition 是一个节点里面一片连续的数据。

8.num.partitions=1,默认每个 topic 只有一个 partition。

9.log.retention.hours=168,kafka 日志进来168个小时之后会被删除。

10.zookeeper.connection=spark21:2181,spark22:2181,spark23:2181 没有 zookeeper 的话,kafka 是运行不起来的。

11.[root@node21 Kafka_2.10-0.8.2.1]# mkdir /kafka-logs 创建目录。

12.[root@node21 Kafka_2.10-0.8.2.1]# chmod +x,/bin/* 加执行权限。

13.[root@node21 hadoopsoft]# scp -r kafka_2.10-0.8.2.1/[root@node22:/usr/hadoopsoft/ 换地址。

14.[root@node21 hadoopsoft]# cd zookeeper-3.4.8。

[root@node21 zookeeper-3.4.8]#.bin/zkServer.sh status 查看 zookeerer 状态。

15.[root@node21 kafka_2.10-0.8.2.1]# cat startkafka.sh  

Nohup bin/kafka-server-start.sh   config/server.properties > kafka.log(哪启动脚本哪创建) 2>&]  &[root@node21 kafka_2.10-0.8.2.1]# 启动 kafka