且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

如何将 JavaPairDStream 的结果写入 Spark Streaming 上的输出 kafka 主题?

更新时间:2023-10-15 11:05:16

如果 dStream 包含要发送到 Kafka 的数据:

if dStream contains data that you want to send to Kafka:

dStream.foreachRDD(rdd -> {
    rdd.foreachPartition(iter ->{
        Producer producer = createKafkaProducer();  
        while (iter.hasNext()){
               sendToKafka(producer, iter.next())
        }
    }

});

因此,您为每个 RDD 分区创建一个生产者.

So, you create one producer per each RDD partition.