且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

【全新系列】DataWorks百问百答

更新时间:2021-07-02 09:34:32

DataWorks作为飞天大数据平台操作系统,对接各种大数据计算引擎,以all in one box的方式提供专业高效、安全可靠的全域智能大数据平台,高效率完成数据全链路研发流程,建设企业数据治理体系。 从2009年飞天大数据平台写下第一行代码开始,DataWorks历经10年发展,形成一套成熟的产品功能体系,满足企业数据中台搭建需求。

通过本系列,您可以了解各种DataWorks产品使用的***实践/黑科技/产品必知必会/常见使用问题等等

DataWorks百问百答01:数据同步该用什么资源组?

DataWorks百问百答02:如何设置跨周期依赖及自依赖?

DataWorks百问百答03:调度参数如何配置2020-02-27 00:00:00格式?

DataWorks百问百答04:数据源连通性测试失败怎么办?

DataWorks百问百答05:数据同步任务出现脏数据怎么办?

DataWorks百问百答06:周期实例的生成方式是怎么样的?

DataWorks百问百答07:如何有效组织和管理DataStudio中的节点文件?

DataWorks百问百答08:如何进行任务调度执行、周期实例运行状况分析?

DataWorks百问百答09:如何设置业务流程内和业务流程间的依赖关系?

DataWorks百问百答10:如何处理编码格式设置问题?

DataWorks百问百答11:数据地图中数据组织和查找有哪几种方式?

DataWorks百问百答12:定时时间到了,任务为什么还不运行呢?

DataWorks百问百答13:如何使用pyodps引用资源文件?

DataWorks百问百答14:赋值节点结合节点上下文实现上下游参数传递

DataWorks百问百答15:实现unixtimestamp特殊字串分区值分区配置案例

DataWorks百问百答16:类似DataWorks易混淆的优先级有哪些?

DataWorks百问百答17:如何排查周期任务取不到数据(产出数据为空)的问题?

DataWorks百问百答18:如何一次性同步多个MySQL(RDS)表?

DataWorks百问百答19:数据质量出现校验异常如何查看?

DataWorks百问百答20:如何解决数据集成网络问题?

DataWorks百问百答21:节点的调度依赖关系有哪些? 表之间的业务逻辑简化说明

DataWorks百问百答22:业务流程参数有哪些作用?

DataWorks百问百答23:PostGreSql里的列为JSON类型如何同步到ODPS?

DataWorks百问百答24:怎么处理同步文件名加后缀问题?

DataWorks百问百答25:如何在DataWorks上创建和维护odps生产表?

DataWorks百问百答26:特殊fieldDelimiter怎么设置?

DataWorks百问百答27:for-each节点sql样例如何使用?

DataWorks百问百答28:MongoDB时间戳类型字段如何实现增量同步?

DataWorks百问百答29:数据写入OSS,有哪些不需要后缀随机UUD的场景?

DataWorks百问百答30:如何实现判断上游表有产出分区再同步数据?

DataWorks百问百答31:如何在数据集成mysql-to-odps中将timestamp时间戳类型数据同步为odps的datetime类型?

DataWorks百问百答32:如何使用分支节点?

DataWorks百问百答33:数据同步怎么配置ODPS分区?

DataWorks百问百答34:mongoDB同步odps实践时如何使用时间戳筛选数据?

DataWorks百问百答35:有哪些odps spark的主python样例?

DataWorks百问百答36:如何在DataWorks中使用组件(SQL存储过程)实现代码复用?

DataWorks百问百答37:DataWorks-MaxCompute权限体系有哪些混淆点?

DataWorks百问百答38:有哪些阿里云vpc环境数据源与数据集成独享资源组网络打通案例?

DataWorks百问百答39:VPC网络下adb pg实例引擎如何绑定dataworks工作空间执行任务?

DataWorks百问百答40:本地自定义函数UDF如何在DataWorks上使用?

DataWorks百问百答41:DataWorks上如何保护敏感数据?

DataWorks百问百答42:如何自动同步IoT系统新生成文件至MaxCompute?

DataWorks百问百答43:如何找回未保存的ODPS SQL语句?

DataWorks百问百答44:如何同步JSON里的部分数据?

DataWorks百问百答45:如何设置数据分析项目?

DataWorks百问百答46:数据质量的“规则” VS 运维中心的“规则”,有什么不同和关联之处呢?

DataWorks百问百答47:如何配置操作Python UDF函数?

DataWorks百问百答48:什么是“周月调度空跑实例”和“实时生成的过期实例” ?

DataWorks百问百答49:如何下线节点?

DataWorks百问百答50:MongoDB的Object字段如何同步到ODPS?

DataWorks百问百答51:如何用独享资源组跑ADB、DLA节点?

DataWorks百问百答52:如何做无效表治理?

DataWorks百问百答53:如何配置使用赋值节点+分支节点?

DataWorks百问百答54:设置了数据质量校验,但是未触发校验怎么办?

DataWorks百问百答55:如何使用DataWorks运行日志runlog排查问题?

DataWorks百问百答56:数据集成同步中的增量同步功能如何配置?

DataWorks百问百答57:如何排查独享数据集成资源组网络问题?

DataWorks百问百答58:数据服务的服务编排适用什么场景?

DataWorks百问百答59:DataWorks离线数据质量规则模版分别代表什么含义?

DataWorks百问百答60:数据服务有哪些鉴权方式与API调用方式?

DataWorks百问百答61:如何处理“弃之可惜”的任务节点?

DataWorks百问百答62:在运维中心设置了告警以后,没有收到告警的短信/邮件,如何解决?

DataWorks百问百答63:DataWorks如何进行离线数据质量监控?

DataWorks百问百答64:数据集成如何同步Mongodb不同数据类型?

DataWorks百问百答65:如何获取数据源网络环境及独享资源绑定的专有网络信息?

DataWorks百问百答66:数据集成如何快速配置分表同步任务?

DataWorks百问百答67:odps如何同步多个分区(附ODPS写插件指定分区技巧)?

DataWorks百问百答68:如何阅读数据集成日志(日志分析及常见报错情况)?


更多DataWorks技术和产品信息,欢迎加入【DataWorks钉钉交流群】