且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

参加冬季实战营第五期——轻松入门学习大数据

更新时间:2022-08-17 22:39:41

第一天实战基于EMR做离线数据分析。首先是EMR集群的基本操作,实验目标是对EMR产品有初步的了解;然后是EMR集群的数据传输和hive的简单操作,目标是对如何进行离线大数据分析有初步的掌握。整个实验流程登录EMR集群,上传数据到HDFS,使用hive创建表,并从hadoop文件系统加载数据。

第二天实战阿里云Elasticsearch快速搭建智能运维系统。实验后了解到阿里云Elasticsearch集群创建登录的基础操作,学会采集系统数据和采集Nginx服务日志数据;学会配置阿里云的指标分析看板,体验数据分析和运维的过程。
阿里云提供的 Elasticsearch 服务兼容开源的ELK栈,提供免运维全托管服务的弹性云搜索与分析引擎,可提升企业应用效率,降低成本,且稳定性比自部署高。
这个实战场景通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

第三天实战推荐系统入门,主要是使用协同过滤实现商品推荐。实验通过使用机器学习PAI平台,搭建了一个基于协同过滤算法的商品推荐系统。协同过滤算法是一种基于关联规则的算法。

第四天晚上,利用湖仓一体架构快速搭建企业数据中台,老师效率很高,很快就下课了。

第五天晚上,直播了基于Elasticsearch+Fink的日志全观测***实践,也是本次实战的最后一课。