数据中台“一站式” 大数据开发及管理平台

一、产品介绍

1. 产品介绍

一站式数据开发及管理“数据中台”，是由多个产品组成的数据管理应用平台，是一款实用敏捷的数据全生命周期产品。聚焦于大数据采集、交换、处理、存储、分析、管控、数据开发等数据处理及数据应用全环节，涵盖企业数据业务的全链路解决方案，包含离线和实时数据集成、数据治理、数据安全、数据服务、数据资产管理相关平台及工具以及数据标准体系建设方法论，可以助力企业数字化转型，为不同行业用户构建数据资产，实现数据价值变现且持续增值。

2. 产品生态圈

解决方案融合多产品模块，打通数据应用各个环节，各产品模块可独立或任意组合使用，

快速满足各行业不同的数据使用场景。

3. 产品流程架构图

覆盖从数据采集、清洗、API开发、API管理全产品线

4. 平台架构

5. 数据中台产品矩阵

数据服务平台：数据服务发布中心，可以将数据中台的数据共享给其他系统，无缝对接业务生产系统，主要解决数据对外快速共享的场景

数据资产管理：企业数据资产门户，全域数据资产地图，在识别出自身数据资产的基础上，进一步构建数据资产目录，帮助用户更好的理解、使用以及分析数据

数据开发管理平台：一站式数据开发管理平台，可实现数据离线和实时开发。降低企业大数据开发的技术门槛，提升数据开发效率

数据同步系统：对异构数据源实时高性能的一站式数据同步系统、

数据指标管理：一站式企业数据指标管理平台，构建企业数据指标体系，落地指标数据结果，消除数据二义性，实现指标数据的可视、可用、可管

数据安全：基于数据中台的数据脱敏管理系统，能够有效的将客户的敏感信息进行保护，避免了敏感信息在进行使用的时候发生泄露，保障数据的使用隐私

数据质量管理：通过向导向、可视化的简易操作手段，将质量评估、质量检核与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环

数据可视化：提供统一的自助式数据分析和决策辅助功能，将之前单一的数据进行多维度的关联分析

资源管理平台：实现企业非结构化数据的统一存储、统一管理和统一服务，建立统一的非结构化数据管理平台，实现数据互通、业务融合

6. 数据中台底座：数据湖

实时数据湖——离线走向实时，增加准实时、实时更新入湖、提供实时分析、实时供数等能力，使业务创新更敏捷

7. 数据中台定位

数据中台是基于分布式数据平台之上，根据各行业客户的业务场景的一整套通用数据智能解决方案，构建数据资产，实现数据价值变现且持续增值。

8. 数据中台：让数据产生价值

数据开发平台化：提供可视化、拖拽式自助开发与分析平台，统一数据开发流程与项目周期管理

数据可视化：提供可视化、拖拽式自助开发与分析平台，无需任何预处理即可对数据做任意维度的多维分析，获得业务洞察

数据标准化：通过数据标准体系建设方法论+数据指标系统，统一数据指标口径，消除数据二义性

数据资产化：提供企业级数据资产管理平台，并通过数据地图与数据血缘实现360°数据全链路追踪

数据服务化：统一对外数据服务接口，实现所有需求，一个接口

9. 行业前景：数字化转型的基础：数据中台是企业级的数据分享、能力复用品台，是数字化转型的基础和中枢系统，为业务前台提供有利的数据资源支撑。数据中台并不是简单的软件系统，而是强调资源整合、集中配置、能力沉淀、分步执行的运作机制。数据中台行业发展的重要驱动因素是信息化转型。受益于政策的支持，在5G技术标准下，我国加速实现信息化城市的建设，打造“数字中国”。近几年受益于5G技术的发展和政策的支持，我国传统产业纷纷向数字化转型，利好数据中台行业发展。我国数据中台行业目前仍处于发展中期，有关机构预测，未来五年，我国中台市场将保持高速增长，年均复合增长率为60%，在2020年国内数据中台市场规模约为70亿元，预计到2023年达到180亿元，2025年将达到944.8亿元。

二、数据资产管理

1. 全域数据资产管理

数据资产管理的总体目标是规范数据的生成以及使用，持续改进数据质量，保证数据安全，最大化数据价值。主要包含数据标准管理、数据质量管理、元数据管理、数据指标管理、数据生命周期管理、数据安全管理、主数据管理、数据模型管理形成全域数据资产体系。

数据标准管理：定义数据统一标准，形成标准落地方案,让数据生产和使用数据达成一致，提亮数据的复用率。

元数据管理：元数把是关于数据的数据，元数把台重可以相助数据管理者.开发省.使用者非常方便的定位数据

数据质量管理：从完整性、准确性，-致性以及及时性对数据进行质量评估,遇过科杰大数据产品中的监控模块对数据质量进行及时监控。

数据指标管理：通过指标的规范化定义、标准化开发，搭建数据指标体系，落地指标数据结果，消除数据二义性，实现指标数据的可视、可用、可管

数据生命周期管理：覆盖全量故把的生命周期管理，招高存储和计算资速利用率

数据安全管理：严格的权限授权，权限审批流程，完善的数据安全管理保证数据能够被合法台规的存亿和使用，保障企业的数据安全

主数据管理：对主数据进行控制，提高主数据质量，降低使用成本和复杂性

数据模型管理：通过数据模型管理清断的表达企业内部各业务主体之间的数把相关性，构造企业内部数据统一规图

2. 数据源管理

可以安全接入多种数据库，使类型杂、种类多的数据得到整合应用。

3. 元数据管理

提供对主流的数据库和数据平台元数据的全量和增量的数据集成功能。快速理清数据资源，了解数据来龙去脉，构建数据地图，为数据标准建设和数据质量提供基础支撑。

数据源全面接入：丰富的数据源支持可以全面管理不同的关系型数据库、和非关系数据库、Hadoop等，覆盖常用数据库元数据类型目录和标签管理通过目录和标签的不同的形式和组合帮助用户快速地标注数据，提高数据资产的能力

出色的元数据版本管理：最新与定版隔离维护与使用两不误元数据版本对比多维度进行元数据的版本分析

字段级的元数据分析：依赖关系自动解析自动生成元数据关系，支持对存储过程、视图等元数据信息的解析血缘、影响分析快速理清数据的来龙去脉关联度分析清洗掌握系统数据的重要呈度图形化呈现智能可视化展示数据关系

4. 数据标准建设

系统提供全面完整的数据标准管理流程及办法，用于决定和建立单一、准确、权威的事实来源，实现大数据平台数据的完整性、有效性、一致性、规范性、开放性和共享性管理，并为数据质量检查、数据安全管理提供标准依据。

全面的数据标准监控：多维度了解标准的落地以及变更情况，快速了解数据标准变更监控图标可自定义，满足多种业务需求

数据标准落地评估：定时巡检，自动评估并输出评估报告元数据、标准等多个视角进行多样化评估

先进的数据标准落地映射：智能化的将标准与对应元数据进行自动映射

5. 数据质量管理

数据质量管理以数据标准为数据检核依据，以元数据为数据检核对象，通过向导化、可视化等简易操作手段，将质量评估与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环。

6. 主数据管理

主数据管理对需要共享的数据建立统一视图和集中管理，为各业务系统数据调用提供服务

多维度的主数据监控：主数据统计主数据多维度分析

多样化的主数据来源：适用干多种复杂场景从业务、技术、行业等多角度来判定主数据多种方式创建主数据

灵活的主数据更新：通过ETL自动获取更新通过接口获取更新通过手工补录来更新

丰富的主数据应用：主数据自动分发主数据检索主数据接口服务

三、数据服务管理

1. 数据服务—产品介绍

数据服务管理系统是一款支持API快速生成并对外输出的数据服务产品，为客户提供安全稳定、低成本、易上手的数据开放共享服务。可以为企业各种应用提供统一的数据访问服务，从而消除各种应用系统与数据中心的直接耦合性。通过API接口的快速开发平台，不需要专业开发人员，以低代码的方式，通过配置实现API接口的快速开发部署。支持 API 服务的全生命周期管理，覆盖 API 创建、第三方 API 注册、发布、审批、下线、历史版本管理的整个生命周期。帮助用户规范 API 开发流程、管理 API 文档信息的同时追溯服务从生产到下线再到版本管理的各个环节。

2. 数据服务介绍

什么是数据共享服务？

数据共享服务可简单概括为将数据中台的数据共享给其他系统，或将某组织的数据共享给其他组织，主要解决数据对外快速共享的场景。

怎样生成数据服务

按照传统方式，生成API接口，往往需要后端开发人员通过Java或Python等语言进行编写。从开始生成到对外发布整个流程较长，且一个接口开发完成后，需要测试人员再进行测试验证，整个过程下来，投入成本较高。基于数据中台的数据共享服务产品，其将数据服务能力进行封装，大部分功能在平台产品内部完成，面向用户的功能只是连接数据源、编写查询逻辑，大幅度缩短API流程，并降低开发成本。利用标准化产品，一般开发流程如下：

3. 数据服务—传统接口服务存在的问题

系统对接混乱：采用点对点集成方式，接口耦合度高，集成能力及经验无法复用
数据难以流通：信息孤岛严重，数据难以流通。数据分散在各业务系统难以产生价值
API能力未能识别：散落在各业务系统中的API服务未按领域识别归类
缺少统一集成平台：缺少统一的业务系统集成途径，数据格式/协议多样化，难以传输和集成
不能实时预警监控：数据推送出错运维人员不能第一时间得到预警
业务能力开放困难：缺少与合作伙伴分享数据和业务能力服务的便捷途径
重复开发对接系统：部分系统API功能重复开发并多次对接不同的接入方

4. 数据服务—API低代码开关

可视化“零代码”生成API，3分钟让数据快速服务化，提供开箱即用的API服务能力和轻量极ESB服务总线，精细化的数据安全管控，提高数据开放与共享效率。

5. 数据服务—API生命周期管理

6. 数据服务—功能架构

7. 数据服务—服务集成

8. 服务集成—轻量极ESB平台

9. 数据服务—MQ消息集成平台

10. 数据服务—产品特点

多协议支持：支持使用HTTP REST、Web Service、MQ等标准协议开发服务，服务之间的数据交互报文格式支持json、xml
安全可控：API受限开放，实现开放能力边界可控；支持多种认证和授权方式，确保API访问安全性；通过流量控制，避免服务的过载
异构支持：针对不同的技术架构，不同的微服务框架，甚至不同云环境下实现统一的适配开放
高可扩展性：基于高性能API网关数据层，支持水平扩展，满足开放平台扩容需求
统一开发平台：提供可视化、自助配置开发的方式，实现API的快速开发，API上下线，提升开发和运营效率
数据服务化：提供统一对外数据服务接口，将经过数据治理的数据仓库或大数据平台中的数据，将数据服务化提供给业务系统，将数据能力渗透到业务各个环节

四、数据集成管理

1. 数据集成管理

数据集成管理可实现跨部门数据的传输、加载、清洗、转换和整合，支持自定义调度和图形化监控，实现统一调度、统一监控，满足运维可视化需求，提高运维管理工作效率。

跨源数据交换 :多种数据源 OA、ERP、CRM、互联网、文件文本、社交媒体等多种交换方式文件到文件、文件到库表、库表到库表等
便捷的ETL流程设计器 :全程拖拽式、易操作易阅读、易维护
多样的增量捕获和数据装载 :多种增量捕获时间戳、MD5、触发器等多种装载策略数据覆盖、追加、更新等
丰富的数据处理组件 :50余种数据处理组件快速完成数据传输、清洗转换等操作30余种清洗规则
灵活的任务调度 :时间调度数据周期传输事件调度数据触发传输手动调度数据即时传输

2. 数据集成管理—数据孤岛解决方案类型

3. 数据集成管理—实时数据传输平台

4. 数据集成管理—实时数据传输平台

技术特点：全面数据源支持，包括国产数据库

五、敏感数据管理

1. 基于数据中台的敏感数据管理

随着信息技术高速发展，各行业（包括银行、金融、营运商、社保、医院、政务）系统经过多年沉淀，积累了大量个人隐私数据和企业信息。对企业不同业务部门来说，时刻通过共享数据方式进行业务协作，这些海量数据除了内部流转，还需要进行外部“共享”（包括外包、测试、数据变现、共享分析等），这亦是沉睡的数据发挥大价值的需求和前提。大量敏感数据在使用时，面临重大监管及数据泄露风险。如何保证数据在产生、交换、共享等场景下的安全可用？为保证数据在企业内/外部依法依规使用，需要相应的数据脱敏技术来实现对敏感数据的保护。基于数据中台的数据脱敏管理系统，能有效将客户敏感信息进行保护，避免敏感信息在使用时发生泄露，更能保障客户的使用隐私。系统采用高性能、高扩展性的敏感数据自动发现动态数据脱敏和静态数据脱敏功能，可实现自动化发现源数据中的敏感数据，并对敏感数据按需进行脱敏规则变形，避免敏感数据泄露。同时，脱敏后的数据保持了数据一致性和业务关联性，应用于开发测试环境、数据交换、数据分析、数据共享等场景

2. 数据脱敏—功能介绍

敏感数据自动感知：数据脱敏系统利用各类敏感信息规则，通过自动扫描发现的方式高效、方便、全同的获取的感信息，支持灵活的配置方式自动探测数据库敏感信息字段
脱敏数据以假乱真：脱敏系统能最大限度的保证数据原始特征保持业务规则关联性，保持数据逻辑一致性，确保交付可用、可靠的高质量数据
支持多种脱敏算法：支持随机映射、固定映射、替换、加减值、范围随机、截断、截取、加密、格式化脱敏等多种算法。
灵活报表监管无忧：系统提供丰富的报表（支持柱形图、仪表盘等），为客户数据脱敏提供审计依据，满足监管部门要求
灵活脱敏数据分发：数据脱敏系统支持广泛的数据脱敏分发方式，支持数据库到数据库、数据库到文件、文件到文件、文件到致据车四种完全不落地的脱敏方式。
全面脱敏格式支持：支持各类主流数据库、大数据敏感源、消息队列、各种数据文件敏感源

3. 数据脱敏——丰富的脱敏能力

遮蔽脱敏：对敏感数据的全部或部分内容用“*”或者“#”等字符进行遮蔽，导致敏感数据全部或部分不可见
仿真随机：采用和原数据结构相同，内容相近的的随机内容进行随机替换，确保数据格式不变
仿真替换：采用和原数据结构相同的数据进行替换，对相同的原数据，脱敏后数据也相同
乱序脱敏：打乱原数据的排列顺序，但是不改变原数据的值，是破坏数据关联性的脱敏方式

4. 数据脱敏——功能架构

5. 产品特性——静态脱敏

6. 数据脱敏——动态脱敏
7. 数据脱敏——脱敏数据高度仿真

8.

数据脱敏——复杂场景适应性

六、管理指标

1. 指标管理-轻量化打造企业统一指标体系

是一款涵盖指标定义、指标建模、指标可视化分析，实现指标全流程、一体化管理的系统。旨在帮助各类企业建设指标体系，疏通指标数据，落地指标管理，发挥指标最大价值。通过指标的规范化定义、标准化开发，搭建企业数据指标体系，落地指标数据结果，消除数据二义性，实现指标数据的可视、可用、可管。

2. 指标管理-产品优势

集中管理：将分散在不同系统的各类指标集中管理，并用统一的标准进行约束，清晰展现用户指标一览表及各指标的统计方法、数据来源、统计口径等信息，整个指标体系一览在目
规范共享：为企业规范指标，统一指标口径，便于后续指标共享和应用，避免多方操作导致的指标混乱、数据不一致等问题
指标可视化：随时查看指标数据，了解指标趋势，提供可视化的方式自由查看指标，可多种维度对指标进行分析
灵活配置型：摒弃复杂冗长的指标定义过程和枯燥的指标定义方法，指标定义配置步骤简单、界面清晰，业务人员轻松驾驭

七、文件中台

1. 文件中台-构建统一的非结构化数据中台

2. 文件中台-核心能力
（1）实现了企业和组织非结构化数据的统一存储、统一管理和统一服务。借助可视化与内容业务平台，实现了有效的企业非结构化数据资产管理。
（2）通过丰富的API接口，打通各业务系统，提供强大的文件中台管理能力。横向打通了非结构化数据孤岛，构建起统一的非结构化数据中台，实现数据互通、业务融合。
（3）通过提高非结构化数据质量实现更多的业务价值，优化数据架构，从而支持数据管理能力的提高、精细化和决策的科学性。

3. 文件中台价值

（1）平台
建立非结构化数据管理平台，提供统一的存储架构、整合能力、应用扩展能力、对外服务能力，满足新业务应用与扩展。
（2）降本
中台化，将第三方业务系统的附件统一归档到内容管理平台,为业务系统瘦身减负，并基于对象存储提供高性能低成本的数据存储方案。
（3）安全
建立端到端的全方位安全控制体系，细颗粒度的在线权限体系，外发审计安全、内外网交互安全等为数据整个应用过程提供保护。
（4）数据
建立统一的底层内容服务平台即数据平台，涵盖企业所有方方面面的数据，包括多数据源的获取，PB级海量数据的存储，数据治理、数据整合互通、数据智能化及价值挖掘。
（5）知识
完成供基础文档到核心资产的知识积累及应用价值提升，建立从文档协同、内容管理、档案管理到知识管理的完整文档生命周期体系。
（6）合规
建立统一的非结构化数据体系规范，包括文档分类方案、命名规范、格式规范、内容规范、版本策略、元数据规范、接口规范等，满足文档各项合规性要求。

4. 文件中台-智能报告自动化

通过平台提供的无需写代码的文档自动化系统，可以将复杂繁琐的文档制作工作转化为高效的自动化应用，只要您会用WORD写文档，您就会创建文档自动化工具。用户无需写任何代码或IT 支持就能够独立自主地创建各种文档自动化工具，包括文档的自动生成、自动执行、自动审核和数据分析。可广泛应用于任何在业务中需要处理文档的行业。

5. 文件中台-智能报告自动化

实现中台赋能，与第三方业务系统的对接，实现文档自动化生成服务，各业务系统针对不同需求的各类文档的生成时，不再需要定制开发，可快速响应用户的各类复杂文档生成需求。

八、自助式 BI

1. 功能介绍—可视化数据分析引擎

可以为用户提供统一的自助式数据分析和决策辅助功能，支持强大的分析统计、数据挖掘功能，可以将不同的数据根据灵活的维度和度量进行多角度分析，将数据拖拽就可完成分析，深度挖掘数据价值。将之前单一的数据进行多维度的关联分析。支持多数据源、超多图表类型的可视化BI工具，让数据成为一种企业资产，并通过数据分析赋能每一次商业决策。

拖拽式操作人人可上手：丰富的功能和可视化图表模板，快速生成报表，满足企业数据分析和可视化展示需求
零代码搭建多种数据应用：展现、分析、诊断、决策，从数据发现到数据决策，对特定业务数据进行全方位分析
覆盖多种类型数据源：既可以链接全部主流数据库，也可以导入本地数据，灵活组合不同源的数据
炫酷大屏展示全面观测数据：酷炫大屏实时呈现业务数据，满足大型会议、领到参观、赞兰、业务监控等需求，一目了然
交互式数据查询取数不求人：无需求助他人即可轻松取数，从根本上解决业务人员日益增长的数据需求和开发排期之间的矛盾
丰富多样的图标组件：满足企业复杂多变的业务场景使数据报告带来愉悦的感官体验

可以为用户提供统一的自助式数据分析和决策辅助功能，支持强大的分析统计、数据挖掘功能，可以将不同的数据根据灵活的维度和度量进行多角度分析，将数据拖拽就可完成分析，深度挖掘数据价值。将之前单一的数据进行多维度的关联分析，随时发挥数据创意，可以非常灵活的与数据交互，探索数据背后的原因并发掘更多价值，为决策制定提供有效的数据支撑。