分享程序员开发的那些事...
更新时间：2022-08-14 13:18:12
E-MapReduce 2.3.1镜像版本（已发布）
本文就近期百分点和亚信数据内部人事调整的新闻出发，提出了“大数据寒冬已至”的观点，而过度竞争是大数据寒冬的主要因素。对于未来大数据公司如何生存，文章中提出了产品聚焦、成本控制等方向，为度过寒冬做准备。
微博赢得了“脉脉非法抓取使用微博用户信息”案件的胜利，作者认为脉脉主要输在以下几点：1、非法获取用户信息，并用于商业化；2、行为构成了不正当竞争；3、脉脉没有起到保护用户信息的作用。此案对行业也有警示作用：各平台方都有责任推动数据生态的繁荣，积极建立数据使用规则，对那些滥用数据，过度使用数据额行为进行制止。
Apache软件基金会正式宣布Eagle从Apache孵化器项目毕业，正式升级成为***项目。Eagle是由eBay开源的大数据分布式实时监控和预警解决方案，已被应用于eBay，Paypal，1号店等公司。以Hadoop为代表的开源大数据解决方案正在朝着安全、稳定、可观测等企业级需求方案演进。
梨视频是一款脱胎于传统媒体的创业型短视频软件，在视频领域异军突起，本文介绍了如何通过阿里云快速构建核心的数据平台和推荐系统，实现业务落地，整套系统利用ECS，OSS，SLS，EMR，Redis，RDS全套产品搭建完成，数据流全打通。
文章介绍了京东公司内部使用Storm平台时遇到的问题，比如用户资源需求多样复杂、大集群维护、成本节省等，以及如何使用docker技术对storm进行改造，达到了用户申请即可用、配置个性化、大规模集群的要求，操作高效且自动化。
近日，英特尔开源了一个运行在 Apache Spark 上的分布式深度学习库 BigDL，其可以利用已有的 Spark 集群来运行深度学习计算，并且还能简化从 Hadoop 的大数据集的数据加载。在 Xeon 服务器上的测试表明BigDL相比于Caffe、Torch 或 TensorFlow 等开源框架实现了显著的速度提升。其速度可与主流的 GPU 相媲美
Hadoop 3.0.0-alpha1 新版本中增加的主要功能之一是纠删码技术，本文先简单介绍纠删码技术，然后主要评测纠删码技术的性能，以及纠删码技术和 HDFS 默认3备份技术的性能比较。
信息都是来自互联网，都给出了原文的链接，如果侵权，请联系我们，我们负责删除。