实时湖仓一体化数据开发平台

一、数字化转型需求

1. 数字化转型面临的数据挑战

数据“用不好”挑战
数据量越来越大，种类及业务场景多样化、复杂化。对时效性要求越来越接近在线。对数据资产价值认识不足缺乏大数据应用经验，应用的规划局限打，应用建设成效不理想；

数据”管不住“挑战
随业务覆盖更完整，总量、类型、数据源、历史深度急剧增长。数据怎么管，数据质量无法管控，数据安全性无法保证。信息不全面、不及时、不准确，容易造成管理漏洞

数据”拿不到“挑战
跨部门、跨组织、异构数据难以直接共享开放，缺乏完善的交换体系和机制。

数据”两张皮“挑战
数据做生产资料，其中数据分析成为核心业务功能，不同场景下的业务服务需要多样化支撑、融入生态，许多标准并没有真正落实到管理，体现在实践中。只有在外审时才能暴露出来。

数据”不知道“挑战
1）数据在不同部门相互独立存储，独立维护，彼此间相互孤立，形成“孤岛”，难以在数据源端实现数据的互联互通。2）不同部门对数据进行理解和定义不同的含义，无形中加大了跨部门数据合作的沟通成本，业务系统改造升级难度大

数据”夹生饭“挑战
数据湖、数仓、湖仓一体、数据中台等企业统一数据支撑平台涉及到多种技术栈路线，如关系型数据库、Hadoop、MPP、时序数据库、文档数据库、图数据库、容器、K8S等技术栈，加大了客户侧统一集成的难度。而且，很多客户并为真正的将这些技术用起来

2. 数字化建设发展阶段

3. 医疗行业数据特点

医院在疾病诊治、疾病防控、健康管理能过程中产生的与健康医疗相关的数据，它具有以下特点：

4. 大数据技术，理念、方法论都需要升级

二、产品方案介绍

1. 产品定位：让数据产生价值

产品理念是让企业的整个业务都可以共享同一套数据技术与资产，平台中的数据源各自业务系统，为业务体系提供有利的算法、数据和技术支持。构建统一数据治理体系，实现数据资产运营有标准指导执行、有专业平台承载，持续优化数据资产的管理流程及体系，围绕数据采集、整理、分析、挖掘、展现及应用等环节，打造一存储管理、分析挖掘及可视化为核心的动态、可伸缩、可复用的优质数据服务能力。之后通过统一化的数据技术服务反哺业务。

2. 产品价值：让大数据从“DOS时代”进入”Windows时代“

数据可视化：提供可视化，拖拽式自助开发与分析平台无需任何预处理即可对数据做任意维度的多维分析，获得业务洞察

数据开发平台化：提供可视化、拖拽式自助开发与分析平台，统一数据开发流程与项目周期管理

全生命周期覆盖：全链路覆盖数据价值释放过程，支持实时、离线和智能计算，并通过数据地图与数据血缘实现360°数据全链路追踪

3. 平台矩阵

4. 平台功能架构

5. 平台核心功能

数据服务平台：数据服务发布中心，可以将数据中台的数据共享给其他系统，无缝对接业务生产系统，主要解决数据对外快速共享的场景

数据资产管理：企业数据资产门户，全域数据资产地图，在识别出自身数据资产的基础上，进一步构建数据资产目录，帮助用户更好的理解、使用以及分析数据

数据开发管理平台：一站式数据开发管理平台，可实现数据离线和实时开发。降低企业大数据开发的技术门槛，提升数据开发效率

数据同步系统：对异构数据源实时高性能的一站式数据同步系统

数据指标管理：一站式企业数据指标管理平台，构建企业数据指标体系，落地指标数据结果，消除数据二义性，实现指标数据的可视、可用、可管

数据安全：基于数据中台的数据脱敏管理系统，能够有效的将客户的敏感信息进行保护，避免了敏感信息在进行使用的时候发生泄露，保障数据的使用隐私

数据质量管理：通过向导向、可视化的简易操作手段，将质量评估、质量检核与质量报告等工作环节进行流程整合，形成完整的数据质量管理闭环

数据可视化：提供统一的自助式数据分析和决策辅助功能，将之前单一的数据进行多维度的关联分析

文件中台：实现企业非结构化数据的统一存储、统一管理和统一服务，建立统一的非结构化数据管理平台，实现数据互通、业务融合

6. 产品特点：一站式数据开发（9步完成数据中台开发）

三、平台功能展示

1. 数据资产平台

企业数据资产门户，全域数据资产地图，在识别出自身数据资产的基础上，进一步构建数据资产目录，帮助用户更好的理解、使用以及分析数据。数据资产主要包含元数据采集、元数据搜索、数据血缘、数据模型、数据资产编目、资源上下架、资产市场、资源申请审批等能力。

（1）数据资产平台：数据源管理

现在平台中支持的数据源类型除了包括mysql oracle 等常用关系数据源外，还支持达梦，金仓等国产化数据库，以及hbase hive等大数据存储类型。

（2）数据资产平台：元数据管理

元数据是用来描述数据的数据，元数据管理功能可以查看技术元数据、业务元数据、管理元数据，帮助各行各业用户获得更多的数据洞察力，进而挖掘出隐藏在资源中的价值。通过元数据管理可以快速理清数据资源，了解数据来龙去脉，构建数据地图。

（3）数据资产管理：数据标准数据质量管理

通过数据标准功能，可以制订数据的完整性、有效性、一致性、规范性的检测标准，为数据质量检查提供标准依据。以数据标准为数据检核依据，数据质量可以监控到数据开发全流程中涉及的各个数据实体，实现数据质量问题的全面筛选和精准定位，以可视化方式实现对数据质量的全局掌控和管理。数据质量主要包含数据标准管理、质量监控以及质量报告等能力。

（4）数据资产平台：主数据管理

主数据管理作为数据治理体系的重要组成部分，保证各系统间共享数据的正确性、通用性、可控性、一致性、完整性，加速推进数字化转型的平台级产品。主数据不是企业内所有的业务数据，只是有必要在各个系统间共享交互的数据才是主数据，比如大部分的交易数据、帐单数据等都不是主数据，而像描述核心业务实体的数据，而像人员、科室、帐户、组织单位、员工、合作伙伴、药品等都是主数据。

2. 数据服务平台

平台提供六种API注册类型，满足API注册端的多样性。通过API接口的快速开发平台，以低代码的方式，通过配置实现API接口的快速开发部署。支持 API 服务的全生命周期管理，覆盖 API 创建、第三方 API 注册、发布、审批、下线、历史版本管理的整个生命周期。同时追溯服务从生产到下线再到版本管理的各个环节。

3. 数据开发平台

数据开发管理平台是一个数据实时同步+实时数据处理+实时数据开发的数据平台，提供低代码形式的开发模式，用于企业多源数据融合，解决关系型数据库、非关系型数据库及大数据平台等异构数据源之间，大数据量高并发下的交互和数据同步问题，全面支持主流的开源数据库及商业数据库以及消息类中间件，非侵入式数据同步，基于数据库日志文件，无需安装插件，秒级同步DML和DDL操作，支持同构/异构数据源之间批量、增量、实时的数据迁移服务；应支持整库数据迁移，快速实现大量库表全量、增量数据同步。

4. 指标管理平台

一站式企业数据指标管理平台，涵盖指标定义、指标建模、指标可视化分析，实现指标全流程、一体化管理的系统。旨在帮助各类企业建设指标体系，疏通指标数据，落地指标管理，发挥指标最大价值。落地指标数据结果，消除数据二义性，实现指标数据的可视、可用、可管。

5. 可视化数据分析平台

可以提供统一的自助式数据分析和决策辅助功能，支持强大的分析统计、数据挖掘功能，将不同的数据根据灵活的维度和度量进行多角度分析，将数据拖拽就可完成分析，深度挖掘数据价值。将之前单一的数据进行多维度的关联分析，随时发挥数据创意，可以非常灵活的与数据交互，探索数据背后的原因并发掘更多价值，为决策制定提供有效的数据支撑。