且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Kafka 数据源、Receiver 和 Direcet 方式接收数据_1|学习笔记

更新时间:2021-12-24 03:30:43

开发者学堂课程【大数据实时计算框架 Spark 快速入门:Kafka 数据源、Receiver 和 Direcet 方式接收数据_1】学习笔记,与课程紧密联系,让用户快速学习知识。

课程地址:https://developer.aliyun.com/learning/course/100/detail/1729


Kafka 数据源、Receiver 和 Direcet 方式接收数据_1


Receiver 接收数据,local[2] 说明需要占用独立的线程资源,seconds(5) 说明每隔5 秒切割一个 RDD,每隔 5 秒提交一个 JOB,该 JOB 需要在 5 秒内算完,故需控制数据量。

线程数量为 1,由一个线程当 receiver 来接收 kafka 的数据。

Receiver 机制创建 DStream,zklist 是 zookeeper 的位置,WordcountConsumerGroup 是当前应用程序的名称,KafkaParams 是 kafka 的相关内容。

flatmap 接收到一句话,由 tuple 转化,split 切割后转化为一个具体的值返回到words。