冬季实战营第五期学习报告

第一天 基于EMR离线数据分析

本实验免费提供EMR集群，基于EMR集群进行离线数据分析。

体验收获

• 登录EMR集群。
  
• 上传数据到HDFS。
  
• 使用hive创建表，并从hadoop文件系统加载数据。
  

背景知识

E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的Hadoop、Hive、Spark、Flink、Presto、Clickhouse、Delta、Hudi等开源大数据计算和存储引擎。EMR计算资源可以根据业务的需要调整。EMR可以部署在阿里云公有云的ECS和ACK、专有云平台。产品文档地址：https://www.aliyun.com/product/emapreduce

产品优势

开源生态：提供高性能、稳定版本Hadoop、Spark、Hive、Flink、Kafka、HBase、Presto、Impala、Hudi等开源大数据组件，客户可根据场景灵活搭配使用

引擎优化：多引擎性能优化，如Spark SQL较开源版本提升6倍。采用JindoFS+OSS，保证数据可靠性基础上，性能大幅提升

第二天 使用阿里云Elasticsearch快速搭建智能运维系

体验目标

本场景通过创建登录阿里云Elasticsearch集群，使用Beats采集器收集ECS上的系统数据和Nginx服务数据，配置基础的指标分析看板，简单展示数据采集、分析的过程和操作方式。

背景介绍

阿里云Elasticsearch兼容开源ELK功能，提供免运维全托管服务的弹性云搜索与分析引擎，致力于数据库加速、数据分析、信息检索、智能运维监控等场景服务；独有的云原生高性能内核、达摩院NLP分词、向量检索、智能运维、免费X-Pack高级商业特性等能力，全面提升企业应用效率，降低成本。

产品详情：https://www.aliyun.com/product/bigdata/elasticsearch

产品文档：https://help.aliyun.com/document_detail/196921.html

第三天 推荐系统入门之使用协同过滤实现商品推荐

本场景将使用机器学习PAI平台，指导您搭建一个基于协同过滤算法的商品推荐系统。

第四天 直播实战

利用湖仓一体架构快速搭建企业数据中台

第五天 直播实战

基于Elasticsearch+Fink的日志全观测***实践