且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

冬季实战营第五期:轻松入门学习大数据

更新时间:2022-06-22 16:55:41

冬季实战营第五期:轻松入门学习大数据

在2月28日 - 3月4日期间参与了大数据相关的全部体验及直播代练,总结了一下收获。

一、动手实战-基于EMR离线数据分析

通过开通登录EMR Hadoop集群,简单进行hive操作,使用hive对数据进行加载,计算等操作。了解了如何构建弹性低成本的离线大数据分析。

体验此场景后收获:

1.EMR集群的基本操作,对EMR产品有初步的了解;

2.EMR集群的数据传输和hive的简单操作,对如何进行离线大数据分析有初步的掌握。


二、动手实战-使用阿里云Elasticsearch快速搭建智能运维系统

通过创建登录阿里云Elasticsearch集群,使用Beats采集器收集ECS上的系统数据和Nginx服务数据,配置基础的指标分析看板,简单展示数据采集、分析的过程和操作方式。

体验此场景后收获:

1.了解阿里云Elasticsearch集群创建登录的基础操作;

2.学会采集系统数据和Nginx服务数据;

3.学会配置指标分析看板,体验数据分析和运维的过程。


三、动手实战-推荐系统入门之使用协同过滤实现商品推荐

体验使用机器学习PAI平台,搭建了一个基于协同过滤算法的商品推荐系统。

了解一下背景知识:

数据挖掘的一个经典案例就是尿布与啤酒的例子。尿布与啤酒看似毫不相关的两种产品,但是当超市将两种产品放到相邻货架销售的时候,会大大提高两者销量。很多时候看似不相关的两种产品,却会存在这某种神秘的隐含关系,获取这种关系将会对提高销售额起到推动作用,然而有时这种关联是很难通过经验分析得到的。这时候我们需要借助数据挖掘中的常见算法-协同过滤来实现。这种算法可以帮助我们挖掘人与人以及商品与商品的关联关系。

协同过滤算法是一种基于关联规则的算法。以购物行为为例,如果用户甲和用户乙都购买了商品A和商品B,则可以假定用户甲和用户乙的购物品味相似。当用户甲购买了商品C,而用户乙未购买时,可以将商品C推荐给用户乙,这就是经典的User-Based,即以User的特性为关联。


四、直播代练

利用湖仓一体架构快速搭建企业数据中台


五、直播带练

基于Elasticsearch+Fink的日志全观测***实践


通过体验这些大数据相关技术产品,了解了大数据分析相关内容。