且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

《Storm技术内幕与大数据实践》一第1章 绪论

更新时间:2022-09-09 23:35:59

本节书摘来异步社区《Storm技术内幕与大数据实践》一书中的第1章,作者: 陈敏敏 , 黄奉线 , 王新春
责编: 杨海玲,更多章节内容可以访问云栖社区“异步社区”公众号查看。

第1章 绪论

Storm技术内幕与大数据实践
Apache Storm(http://storm.apache.org/)是由Twitter开源的分布式实时计算系统。Storm可以非常容易并且可靠地处理无限的数据流。对比Hadoop的批处理,Storm是一个实时的、分布式的、具备高容错的计算系统。Storm应用可以使用何编程语言来进行开发,并且非常有趣。

Storm的使用场景非常广泛,比如实时分析、在线机器学习、分布式RPC、ETL等。Storm非常高效,在一个多节点集群上每秒钟可以轻松处理上百万条的消息。Storm还具有良好的可扩展性和容错性以及保证数据可以至少被处理一次等特性。

图1-1中水龙头和后面水管组成的拓扑图就是一个Storm应用(Topology),其中的水龙头是Spout,用来源源不断地读取消息并发送出去,水管的每一个转接口就是一个Bolt,通过Stream分组的策略转发消息流。


《Storm技术内幕与大数据实践》一第1章 绪论