且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

更新时间:2022-01-07 23:27:36

免费开通大数据服务:https://www.aliyun.com/product/odps

本文列举了Flume采集网站日志到MaxCompute的一些常见问题,欢迎大家补充;

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

Q:找不到指定路径的文件

A:本实验要在Linux系统下运行,路径也要写在Linux下的路径

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总


Q:找不到指定sink type的类

A:插件错误,需要用新版本的 flume插件 写新版本的 datahub

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总


Q:不能执行SinkRunner

A:插件错误,需要用新版本的 flume插件 写新版本的 datahub

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总


Q:不识别Datahub  endpoint地址

A:填的 endpoint是 ecs上用的,应填写公网地址

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总


Q:更改endpoint地址后依旧报同样的错

A:虚拟机未能ping通外网,重新设置虚拟机,搭建桥接模式


Q:报ak有错

A:先检查ak是否被禁用,若没有不断刷新页面

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总

Q:上传数据成功后往MaxCompute归档时未成功

A:MaxCompute表的字段和Datahub topic字段大小写不一致(还要注意Flume配置文

   件中a1.sinks.k1.serializer.fieldnames的一致性)


Q:错误,找不到主类

A:不支持文件夹命名带空格,如MaxCompute Project,改为MaxCompute_Project


MaxCompute产品地址:https://www.aliyun.com/product/odps



欢迎加入阿里云数加钉钉群讨论

【大数据技巧】Flume采集网站日志到MaxCompute常见问题汇总