任务日志

1 概述

1.1 版本

1.2 应用场景

配置完实时同步任务后，用户需要对管道任务的同步情况、同步性能、异常问题进行监控和处理。

1.3 功能简介

可点击已启动过的任务，查看当前任务的同步详情（实时统计和历史统计）、运行日志:
1）支持通过时间维度、数据表维度查看实时同步情况。
2）可查看管道任务的历史运行日志记录、支持查询和筛选日志。

2 功能说明

2.1 实时统计

“实时统计”可查看当前任务目前实时同步情况，并定时实时刷新最新数据，汇总的数据是自任务启动后至今的累加数据，包括：读取总量（行）、待同步量（行）、写入总量（行）、脏数据总量（行）。
其中，读取总量是所有执行同步的源表读取（增删改）数据量，读取总量=待同步量+输出总量+脏数据总量。

下方可查看任务最新配置中触发过数据同步的表同步详情，包括当前同步阶段、产生的脏数据以及待同步量。

如果表数据同步的过程中产生了脏数据，则点击脏数据数量可产生脏数据的原因，如下图：

点击“查看详情”可查看具体的脏数据详情，如下图：

操作类型指的是同步该条数据时的操作类型，包括：插入、更新、删除。
针对脏数据，系统提供两种处理策略：重试、忽略。
1）重试：重试功能会将缓存的脏数据进行再次提交，并更新数据量统计
2）忽略：忽略功能会将缓存的脏数据进行删除，且删除后不可找回，同时对应脏数据的行数从日志统计的脏数据行数去掉。

2.2 历史统计

“历史统计”可查看对应时间段内对应运行的任务实时同步详情。

用户可以选择近2小时、近1天、近3天、近7天、近14天等各种时间段，也可以自定义筛选时间区间，查看选定区间的数据同步情况。

汇总统计对应时间段内对应源表的读取总量（行）、待同步量（行）、写入总量（行）、脏数据总量（行）。

下方列表显示对应时间段内产生数据同步日志的表，并显示对应表的同步详情，包括：同步阶段（当前查询时间段最后时间节点所属的同步阶段）、脏数据、待同步量、读写统计。
其中，“脏数据”同实时统计中的脏数据，可按需对脏数据进行处理。
“读写统计”统计的是对应时间段内当前表的读写明细，包括：读取、输出和待同步情况，分为插入（行）、更新（行）、删除（行）的明细数据。

2.3 运行日志

运行日志主要用于记录用户对该任务的操作记录，每启动一次任务就会产生一天记录，即生成一个版本。

点击“查看详情”可查看对应版本的统计数据和运行日志。