实时同步简介

1 概述

1.1 版本

1.2 应用场景

企业在构建数仓和中间库时，由于业务数据量级较大，如果使用“数据同步”批量定时同步数据很难做到高性能的增量同步，若使用清空目标表再写入数据的方式时，还会面临目标表一段时间不可用、抽取耗时长等问题。
因此希望能在数据库数据量大或表结构规范的情况下，实现高性能的实时数据同步。

1.3 功能说明

支持对数据源进行单表、多表、多对一数据的实时全量和增量同步，可以根据数据源适配情况，配置实时同步任务。

2 实现原理

利用 Flink CDC 作为实时数据同步框架，实时监听同步任务来源端的数据库日志变化，进而实现向目标端实时写入数据。

注：只有来源端的数据库开启了日志，才能使用实时同步进行数据监听。

3 功能概述