且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

数据集成模块流程组件之限速介绍

更新时间:2022-06-19 06:42:21

作者:坚乃


在数据集成的过程中,在一些场景下,需要对集成速度进行限速操作,限速组件可限制读取速度,本文将介绍如何进行限速组件的配置。


1 组件说明

用于限制读取速度。比如读写数据库,流量过大可能会对数据库造成压力。

2 原理说明

数据读取过程,会计算增量数据量以及增量记录数,从而计算当前速度,根据用户配置速度判断是否需要限速,如果超过则sleep休眠超速时间。

3 使用说明

当限速组件链接下游输出组件时,会弹出限速组件设置的弹窗,根据实际情况选择基于数据量的限制或者基于数据条数的限制

数据集成模块流程组件之限速介绍

4 配置说明

{
 "category":"map",
 "distribute":true,
 "name":"限速_1",
 "parameter":{
    "byteSpeed":1048576
 },
 "stepType":"speedcontrol"
}


  • recordSpeed
    • 描述:根据记录数限制,例如1000,每秒1000条
    • 必选:是
    • 说明:与byteSpeed二选一
  • byteSpeed
    • 描述:根据数据量限制,单位字节
    • 必选:是
    • 说明:与recordSpeed二选一

5 特别注意

该配置请根据业务实际情况配置,酌情使用