数据过滤

1 概述

1.1 版本

1.2 应用场景

当用户需要对数据表中的数据根据一定条件进行筛选时，或者数据表中的数据存在空值，想过滤掉空值数据。

1.3 业务场景

• 条件筛选：电商平台需根据用户行为数据（如浏览记录、购买历史、地理位置等）筛选目标客户群，用于个性化商品推荐。通过API接口实时获取用户行为数据，按时间范围（如最近30天）、设备类型（如移动端）等条件过滤原始数据。
• 过滤空值：企业需从销售订单表中筛选有效数据（如非空地址、已支付订单），并生成区域销售分析报表。需要排除地址、订单状态为空的记录。

1.4 功能简介

【数据过滤】可对上一个节点数据源数据通过设置过滤条件进行数据过滤。

2 功能说明

【数据过滤】是通过可视化界面进行过滤条件的配置以及条件关系设置。

2.1 配置

2.1.1条件配置

默认会存在一个空条件，配置条件即可，条件设置主要是选择字段、配置操作符以及对应的条件值。

1、字段
可选择上游节点中输出的任一字段，字段类型分为文本、数值、时间和其他，无法识别为前三者的类型时视为其他。
2、操作符
不同字段类型支持的操作符不一样，具体如下：

注意：

• 数据匹配时，操作符“等于”、“包含”和“匹配”的区别如下：
  1）等于（=）：是用来查找与单个值匹配的所有数据。
  2）包含（IN）：是用来查找与多个值匹配的所有数据，多个值是或的关系，使用不包含时，多个值是与的关系，多个值用“,”隔开。
  3）匹配（LIKE）：用来查找与一个模式匹配的所有数据，对应字符串模糊查询。
• 运算符选择为空时，可过滤出空值、null（不区分大小写）、空字符串（“”）的数据。

3、条件值
条件值的值类型支持常量和SQL表达式，可点击值后面的切换按钮进行切换。
值类型为“常量”时，直接输入对应的条件值即可；
值类型为“SQL表达式”时，可进入SQL表达式编辑界面，可引用字段、函数、任务参数或系统变量，设置动态条件值。
当条件较多时，可点击“最大化”进入最大化窗口进行编辑。

2.1.2 添加条件

添加方式有两种：
1）点击某个条件后的“+”选择选项“添加条件（且）”或“添加条件（或）”，规则如下：

• 选择添加的选项若与当前操作条件所在的条件关系相同，则新增条件与当前条件同级；
• 选择添加的选项若与当前操作条件所在的条件关系不同，则新增条件会与当前操作条件独立出一个子分支并显示对应的条件关系。

2）多个条件是，可点击分支节点上的配置按钮，选择添加可选择“添加条件（且）”或“添加条件（或），添加规则如下：

• 选择添加的条件若与当前分支的条件关系相同，则添加的条件显示在当前分支下；
• 选择添加的条件若与当前分支的条件关系不同，判断上一个分支是否有相同条件分支：若有则在已有分支下显示该条件；若没有则在当前分支上级增加一个分支，显示当前分支以及新增条件。

2.1.3 更改条件关系

点击分支上的配置按钮，选择切换功能，即可更改当前分支下条件之间的关系。

2.1.4 删除条件

1）单节点删除：点击某条件后的删除按钮，可删除该条件，删除该条件后，若当前分支只剩一个条件，该条件将与上一个分支的条件进行合并。
2）批量删除：点击分支上的删除按钮，可删除该分支以及所有子分支的条件。
3）删除所有：点击“重置”按钮将删除所有条件，恢复初始状态。

2.2 数据预览

条件配置好后，点击“数据预览”，将根据设置的条件对原数据进行数据过滤，显示出过滤后的数据，如下图：

设计时只采样 1000 条数据进行计算，避免数据量过大导致服务器压力大，实际运行时会根据实际条数来进行计算。
若取数异常，将显示错误信息，协助用户快速定位出错原因并修正。