且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

Hadoop - 企业级大数据管理平台CDH(小技巧一)

更新时间:2021-12-02 08:39:37

Hadoop - 企业级大数据管理平台CDH(小技巧一)

附上:

喵了个咪的博客:w-blog.cn

cloudera官网: https://www.cloudera.com/

官方文档地址: https://www.cloudera.com/documentation/enterprise/latest.html

一 , 磁盘扩容磁盘迁移

对于磁盘增加减少重新分配都是在大数据里面屡见不鲜的内容,当磁盘不够用或者磁盘损坏的时候我们怎么来替换磁盘和增加磁盘就成了一个很重要的事情了,我们先通过cm控制端进入到其中一个datanode管理页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hrRaZWhr-1597140202369)(Hhttp://pic.w-blog.cn/EE38D42F-6B31-459A-95AB-3FCE31026BEE.png)]

增加或删除一个磁盘

Hadoop - 企业级大数据管理平台CDH(小技巧一)

然后在HDFS页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sAH1NQKU-1597140202374)(http://pic.w-blog.cn/81981535-306A-48D5-8ED1-FCB78BC637F6.png)]

二, HBASE-Thrift2

CDH在管理平台中HBASE开启的HBASE-Thrift是使用的Thrift1,Thrift2相对Thrift1对开发更加友好,可以通过如下方式开启Thrift2

/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091

推荐Supervisor守护进程的方式开启

喵咪Liunx(1)计划任务队列脚本后台进程Supervisor帮你搞定 - 喵了个咪博客空间 - 开源中国

;你需要启动的进程给个名字
[program:thrift2]
;你需要执行的语句
command=/opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/bin/hbase-daemon.sh --config /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/lib/hbase/conf foreground_start thrift2 --infoport 9096 -p 9091
;运行程序的用户
user=root

三, 监控报警重启

对于cm-service和cm-agent是没有守护进程的,如果挂掉了也无法得知具体情况,这里就要推荐一波笔者之前的一个工具了进程监控

喵咪Liunx(4)Monit进程监控 - 喵了个咪博客空间 - 开源中国

cm-service

check process cm-service with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-server.pid  
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-server start" 

cm-agent

check process cm-agent with pidfile /usr/local/cloudera-manager/cm-5.15.0/run/cloudera-scm-agent/cloudera-scm-agent.pid 
start program "/usr/local/cloudera-manager/cm-5.15.0/etc/init.d/cloudera-scm-agent start"

PS:也以配置邮件通知具体参考之前的博文