分享程序员开发的那些事...
更新时间：2022-09-09 23:06:17
批处理 & 流处理
为什么需要流处理---更多场景需要？
越来越多的应用需要大规模数据下的实时计算能力
实时舆情分析
Spark Core & RDD本质上是离线运算
val conf=new SparkConf().setAppName("myWordCount") val sc=new SparkContext(conf) //读取数据 val lines=sc.textFile(input) //进行相关计算 val resultRdd=lines .flatMap(_.split(" ")) .map((_,1)) .reduceByKey(_+_) //保存结果 resultRdd.saveAsTextFile(output)
Spark Streaming是什么
Spark Streaming is an extension of the core Spark API that enables scalable, high-throughput, fault-tolerant stream processing of live data streams
本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/5728619.html，如需转载请自行联系原作者