（转载于公众号“江苏政知道”：《公示丨2022年江苏省大数据产业发展试点示范项目名单》）
2022年7月1日，江苏省工信厅发布《关于组织开展2022年江苏省大数据、区块链产业发展试点示范项目申报推荐工作的通知》，公布了2022年江苏省大数据产业发展试点示范项目名单。江苏鸿程大数据研究院的全过程统一大数据综合处理与智能分析建模平台位列其中。
全过程统一大数据综合处理与智能分析建模平台
项目背景
2020年5月，南京市政府发布了《数字经济发展三年行动计划》，以“数字南京”建设推进经济社会发展的“数字蝶变”，努力打造世界级数字经济名城，为高质量建设“强富美高”新南京作出积极贡献。计划到2022年，全市数字经济增加值达到10000亿元，占GDP比重达56%以上。2021年12月，《“十四五”数字经济发展规划》发布，旨在大力推进产业数字化转型，鼓励和支持互联网平台、行业龙头企业等立足自身优势，开放数字化资源和能力，帮助传统企业和中小企业实现数字化转型。到2025年，数字经济迈向全面扩展期，数字经济核心产业增加值占GDP比重由7.8%提高到10%。近几年来，南京市着力打造创新名城，围绕“4+4+1”主导产业方向建设新一代信息技术产业地标。可以预见，数据治理与大数据智能分析赋能行业场景应用，将是未来支撑数字经济长期健康发展的重要支撑。项目介绍
本项目是围绕数据流转全过程的统一大数据处理与分析应用技术体系以及系列化的系统工具平台，包括大数据采集、治理、存储、编程计算、自动化AI建模、智能分析应用等环节。研究院在诸多环节已有重要的技术突破，并开发了4项核心系统平台产品：HiBase大数据存储管理系统、跨平台统一大数据分析与编程计算方法与系统平台、AutoML自动化人工智能建模工具平台、大规模文本语义分析平台，为本项目的实施提供雄厚的技术基础与支撑。
图1 全过程统一大数据综合处理与智能化分析建模平台示意图
平台研究开发数据清洗治理技术方法，并构建完整的数据清洗治理与数据服务中台软件，提供完整的数据采集、清洗、治理、目录管理、标签管理、数据脱敏、隐私保护、数据共享和数据安全等功能，为行业解决数据采集汇聚和数据质量低下的痛点，实现行业数据资源的资产化管理。
技术亮点：
· 提供全生命周期数据质量管理能力，提供数据清洗、数据稽核、异常数据处理、数据质量报告、数据质量标准与自动落实等数据质量管理功能；
· 大数据服务网格架构，提供云原生服务网格软件架构和大数据集群的分布式架构融合，为承载高并发、大规模、高负载的各类大数据采集、清洗、治理任务提供稳定可靠的大数据系统支撑。
平台提供可视化、拖拽式大数据处理与分析编程开发方法，以方便易用和平台无关的可视化算子，提供数据统计与查询分析、机器学习、图计算、深度学习等基础算法和编程计算功能，底层集成各种主流大数据计算系统和分布式存储管理系统，提供大规模数据的存储管理和计算能力，构建高效易用的跨平台统一大数据编程计算平台。
技术亮点：
· 多模式跨平台统一大数据分析处理能力：跨平台统一的大数据编程计算环境，支持数据查询、图计算、机器学习等多种计算模式，底层可集成使用Hadoop、Spark、TensorFlow、Scikit-learn等各种主流大数据系统，支持平台选择和混合调度；
· 可视化拖拽式与程序代码双模式：支持基于可视化计算流图和算子的免代码拖拽式编程，和基于Python、R、Java、Scala程序设计语言代码编程开发模式。
平台在数据治理和存储管理与编程计算平台基础上，融合AutoML自动化AI建模技术，为行业用户提供高效易用的人工智能建模能力，大幅降低AI技术门槛，提高AI建模的自动化程度，提高行业AI建模效率。在此基础上，面向行业共性需求，构建面向行业的智能化服务中台，为行业大数据智能化分析应用，开发并提供丰富的智能化共享业务模型，支持行业智能化分析应用的快速开发和构建。
技术亮点：
· 集成自动化AI建模技术：集成已有的国际先进水平的AutoML自动化建模技术工具，支持传统机器学习和深度学习自动化建模，可自动化完成包含数据预处理、特征工程、模型选择、超参数优化在内的AI建模，大幅降低AI建模门槛，提升建模效率，减少人力成本；
· 构建面向文本、图像、视频、语音、数据数据等不同数据类型的AI自动化建模能力，并在此基础上，进一步构建面向金融和公安等行业的智能化共享业务模型与服务。
图2 全过程统一大数据综合处理与智能化分析建模平台结构图
本项目打通了大数据处理与智能化分析应用的全过程，从大数据采集、数据治理、数据存储、编程计算、自动化AI建模、智能分析应用环节，开发技术先进且适合市场需求的系统平台和应用产品。产品能够为各领域提供统一化和高效易用的数据综合处理与智能化分析应用方法与工具平台，助力行业大数据智能化分析应用发展，实现行业和产业的转型升级和提质增效，为推动南京市数字产业化和产业数字化发展提供强有力的支撑。目前该平台在制造、能源、交通、金融、互联网、政务等领域有显著的应用成效，已成功应用于多个项目中。
