概述

1 概述

1.1 版本

v7.3.0版本后“数据同步”变更为“单表同步。”

1.2 应用场景

【单表同步】主要用于将源数据库中全量或增量数据同步至目标数据库中。

为了在数据开发平台进行大规模数据集的挖掘与计算，一般需要先进行数据同步操作，用户通过可视化界面进行数据来源和数据去向的配置，结合参数和调度配置即可实现定时数据同步的应用场景。

注：“数据同步”适用于没有复杂处理逻辑的简单数据同步场景，如果想要对数据进行一些复杂数据清洗处理，建议使用“数据转换”节点。

1.3业务场景

单表同步适合相对于高频、实时、关键业务表的精准同步，轻量化且响应快。如：

• 物流状态追踪：运输位置实时同步至客户端，提升物流透明度。
• 库存更新：实时更新多平台库存数据，避免超卖，保障用户下单体验。
• 日志表数据订阅：线上线下积分、优惠券实时同步，增强用户粘性。

1.4 功能简介

“数据同步”节点通过定义数据来源、数据去向、写入模式，可快速完成数据的同步。

2 功能说明

通过“数据来源”、“数据去向”和“写入模式”配置，将源数据直接抽取并写入到目标数据库中。

1）数据来源
支持数据库、API等多种数据源，从数据库取数时，可写SQL或选数据集实现数据处理。

2）数据去向
支持将数据写入到指定的数据库中，进行表字段映射配置。

3)写入模式
按需选择写入模式，支持设置逻辑主键。

3 应用价值

数据同步能够实现的业务场景如下：

3 实例

数据同步的应用场景实例如下：

3.1 场景一

用单表同步实现增量同步。如：订单的实时更新，若目标表中「订单生成时间」的最大值，小于来源表的「订单生成时间」，说明来源表存在新增数据，需要将新增数据同步到目标表中。

1.使用「参数赋值」节点，取出目标表中「订购时间」的最大值，将其设置为 time 参数。如下图所示：

SELECT MAX(订购日期) FROM mubiaobiao

2.将新增的数据更新至目标表中。拖入一个「数据同步」节点，与「参数赋值」节点相连。「数据同步」节点中，将来源表「订单生成时间」大于 time 参数的数据取出，同步到目标表中。如下图所示：

SELECT * FROM dingdanxinxi where 订购日期 >’${time}’

3.由于同步的数据是新增数据，追加写入数据即可。