基于EMR离线数据分析

一、登录集群

1. 进入E-MapReduce控制台，选择对应的集群，在主机信息中复制公网IP，打开LxShell。
   
2. 使用ssh命令登录。
   

二、上传数据到HDFS

1. 执行如下命令，创建HDFS目录。

hdfs dfs -mkdir -p /data/student

1. 上传文件到hadoop文件系统。
   

三、使用hive创建表

1. 使用hive命令登录hive数据库。
   
2. 使用SQL语句创建表。
   
3. 执行如下命令，从hadoop文件系统加载数据到hive数据表。

LOAD DATA INPATH '/data/student/u.txt' INTO TABLE emrusers;

四、对表进行操作

使用SQL语句操作即可。

使用阿里云Elasticsearch快速搭建智能运维系统

一、登录Kibana，开启自动创建索引功能

1. 在Elasticsearch控制台实例列表中，进入对应实例。
   
2. 在“可视化控制”的Kibana中，开启私网访问。
   
3. 从公网入口进入Kibana，使用Elasticsearch登录名和密码登录。
   
4. 登录成功后，在Dev Tools单击Go to work。
   
5. 执行以下命令，开启ES实例的自动创建所以功能。

PUT _cluster/settings

{

     "persistent": {

         "action.auto_create_index": "true" 

     }

}

二、使用Metricbeat采集ECS上的系统数据

1. 回到控制台，单击Beats数据采集 > 创建采集器 > Metricbeat。
   
2. 用户名和密码使用资源中提供的Elasticsearch登录名和Elasticsearch登录密码。
   
3. 勾选启用Monitoring和Kibana Dashboard。
   
4. 在metricbeat.yml末尾添加如下脚本：

metricbeat.modules:

- module: system

 metricsets:

   - cpu            

   - load            

   - memory        

   - network        

   - process        

   - process_summary

   - uptime          

   - socket_summary  

   - core

   - diskio

   - filesystem

   - fsstat

 enabled: true

 period: 10s

 processes: ['.*']

 cpu.metrics:  ["percentages"]

 core.metrics: ["percentages"]

1. 点击下一步，采集器选择场景中的ECS实例，点击启动，然后等待采集器生效。
   
2. 回到Kibana页面，在Dev Tools中执行以下命令，查看索引。

GET _cat/indices?v

1. 在Dashboard中，进入[Metricbeat System] Overview页面，再单击Host Overview，可查看监控仪表板。
   
   

三、使用Filebeat采集ECS上的Nginx服务数据

1. 回到Beats数据采集中心，选择Filebeat-ECS日志，开始创建采集器。
   
2. 填写Filebeat文件目录输入以下路径：

/var/log/nginx/

1. 修改filebeat.yml文件。
   
2. 完成采集器的创建，并回到Kibana页面，在Dev Tools中执行以下命令，查看索引：

GET _cat/indices?v

1. 索引创建成功后，在Discover-filebeat可以查看采集的数据详情。