什么是数据开发平台?

1 概述

1.1 产品简介

lczDataStudio（数据开发平台）是一款低代码、高性能的一站式大数据开发平台，提供快速融合异构数据源、灵活高效的ETL/ELT数据开发能力，通过数据集成、数据服务等技术手段，帮助企业打破数据孤岛，实现数据的统一管理、高效利用和价值挖掘。

1.2 产品定位

lczDataStudio 将致力于为数据开发者、数据分析师、数据运维人员，打造一个具备开放的、可视化、高性能的低代码数据开发和运维平台。
lczDataStudio 提供用户一站式的开发体验，通过可视化的数据开发（数据抽取、数据清洗、数据转换、数据装载）、周期调度、运维监控、数据服务，可快速满足用户各类复杂的数据集成诉求。
lczDataStudio 以数据为基础，提供数据清洗、数据萃取、数据转换等多种功能，为数据分析、可视化大屏、数据服务等提供高性能、高质量的数据来源。

2 产品特点及优势

一站式数据开发平台产品特点及优势如下：

• 一站式数据开发体验
  一站式数据开发产品体验，覆盖数据同步、数据转换、调度计划、运维监控等场景，充分满足企业建设数据平台过程中的多样复杂需求。
• 轻量、实用
  本平台具有硬件资源要求低、系统部署快、日常运维成本低等特点；能轻松应对中小型系统的数据开发各类业务诉求，轻量、实用；对于大型的数据处理业务，通过相关处理单元的横向扩展、服务编排以及硬件资源增强，平台处理能力也能无限扩展。
• 任务运行全流程监控
  运维中心监控每个任务的运行情况并记录运行日志，有效提高开发人员排查问题的效率，降低排查问题的成本。
• 学习成本低
  基于WEB的图形化操作界面，开箱即用，快速上手，降低大数据开发的技术门槛和学习成本。
• 高效数据开发
  封装数据同步、数据转换等一系列基础组件，降低数仓建设成本，缩短开发周期。
• 全域数据治理
  数据流转可追溯、质量可评估、价值可衡量、形成全生命周期的数据管理体系。

3 产品架构

数据开发人员将多种异构数据源，快速接入数据开发平台，通过灵活的ETL数据开发和各种计算引擎，对数据进行预处理，为上层数据应用提供高效、便于分析与呈现的数据。

4 产品功能

4.1 数据接入

1、数据连接
支持主流关系型数据、大数据数据库、数仓。

2、数据集
对NOSQL 数据库、http 接口等数据来源做统一的取数包装，输出标准的二维结果集。

4.2 数据开发

数据开发是数据开发平台的核心功能，用户通过可视化编辑界面设计数据的同步/转换的构成和算法，主要功能如下：

• 支持跨数据源批量同步数据
• 支持[数据同步]和[数据转换]双业务场景，可灵活满足各种复杂的业务场景
• 步骤流和数据流双流程设计，让任务的流程设计更清晰
• SQL脚本：临时数据查询、建表、删表、修改表结构等操作
• 支持Spark SQL和Python节点，开放式编程，可以实现更多数据转换场景

4.3 数据服务

4.4 运维中心

绝大多数的任务都是周期运行的，任务中的代码错误、节点运行异常等问题都会导致任务失败，通过运维中心可以监控每个任务的运行情况，并记录每个任务的运行日志，协助开发人员排查各种异常问题。

• 任务状态实时监控，详尽的任务运行记录，任务调优更有依据
  
• 灵活调度策略，支持秒、分钟、小时、天、周、月多种调度周期的灵活配置
  

  

• 对任务执行状态进行告警，及时通知任务责任人进行处理，保障每天的数据能够正常产出
  

  

5 产品价值

• 数据集成
  快速融合企业的多源异构数据
• 数据处理
  灵活高效的数据抽取、数据清洗、数据转换、数据装载
• 数据应用
  为报表、报告、可视化分析、第三方平台等提供高质量数据
• 产品协同
  作为乐创者数据处理中心，协同其他产品，快速搭建一体化数据应用平台

6 应用场景

应用场景一：多源异构数据整合，轻松构建数仓
通过数据开发平台快速搭建企业级数仓，打破数据孤岛，同步历史数据，实现更多业务场景。
将数据计算压力转移到数据开发平台，能有效降低业务系统的压力。

应用场景二：跨库、跨系统实时增量同步
通过ETL实现数据全量/增量同步，克服传统数据实时同步工具和文件同步工具的各种局限性，确保数据实时同步和传输的完整性。

应用场景三：借助API实现企业数据的互通互联
通过API接口，不同系统之间可以方便地传输和共享数据，实现数据的互通互联。

应用场景四：定时数据备份，降低数据风险
使用调度任务进行定时数据备份，随时可进行数据恢复，帮助企业降低数据风险，并确保业务的平稳运行。