江苏鸿程大数据研究院承担申报的2024年江苏省前沿技术重点研发计划项目“多模态大模型微调与高效推理关键技术及应用研发”，经过前期评审和公示，成功获批并正式立项，获得省科技厅批准研发经费500万元，项目研发周期三年（2024.1-2026.12）。省前沿技术研发计划主要面向未来产业培育，突出融合形态的技术创新，鼓励颠覆性技术创新，力争通过新科学原理突破或技术创新组合，改变传统或主流的技术、产品路线，抢占新赛道，培育新动能，加快发展新质生产力。本年度省前沿技术研发计划批准立项80项，其中南京市江北新区入选2项，研究院项目为其中之一。 本次省前沿技术科技计划项目，除由江苏鸿程大数据研究院牵头申报外，还联合了南京大学、南京师范大学、南京奥看信息科技有限公司以及南京先进计算产业发展有限公司，共同参与申报和合作研发。后期承担和参与单位将发挥各自的工作基础和技术优势，构建“产学研用”协同创新机制，围绕本项目任务书的研发目标和工作内容，共同进行相关关键技术研发，进一步构建行业多模态大模型，开展大模型在智慧城市、智能制造、智慧政务等行业领域的探索实践与示范应用，共同推动大模型产业化发展与应用推广。
项目介绍
近几年来，国内外AI大模型技术取得飞跃式发展，大幅提升了AI技术能力与应用水平。AI大模型技术的突破未来将为诸多行业的智能化应用带来很多技术创新与场景应用的变革。在此背景下，目前诸多领域都在高度关注和探索实践大模型技术在行业中的落地应用服务。然而，目前的基础通用大模型，在面向垂直行业应用服务时，受限于大模型训练时语料数据样本时效性以及领域数据与专业知识不足等问题，还面临生成幻觉、专业领域知识不足、专业性和精准性不足等痛点，严重制约了通用大模型在各个行业领域专业精准化的落地应用服务。为此，学术界与产业界公认的一个发展趋势是，将通用大模型与行业领域的知识数据相融合，在解决领域大模型构建关键技术问题的基础上，构建行业领域垂直大模型，为垂直行业领域提供专业精准化的大模型应用服务。在此背景下，研究院自去年以来，联合南京大学PASA大数据实验室在大数据处理与计算智能方面雄厚的学术技术研究能力，投入技术力量，研发垂直行业大模型所涉及的关键技术，并研发和探索垂直行业领域的大模型应用服务。本项目的主要研究目标和任务是，针对行业大模型应用，开发模型训练与推理所面临的微调策略设计门槛高、生成内容易产生幻觉、数据模态多样、推理内存和计算开销大等难点问题，围绕多模态领域大模型落地应用的关键技术环节，研究多模态行业大模型构建与高效推理关键技术方法与系统平台，解决大模型参数高效微调策略搜索空间大、大模型推理生成内容精确性低、多模态数据统一表示与对齐难、分布式环境与端侧环境下大模型推理计算性能低等技术难点，提高行业多模态大模型的构建与部署效率，降低领域多模态大模型开发设计的技术门槛，加速大模型在行业领域的落地应用。在上述项目总体研究目标下，项目包括五方面的主要研究内容：研究实现面向领域数据知识和任务的大模型参数高效微调策略与方法，解决大模型参数微调策略设计门槛高、搜索空间大耗时长、计算复杂度高等难点问题。研究构建外挂式领域知识向量检索库，增强大模型的领域知识，解决大模型生成内容幻觉、领域知识与精准度不足、开放世界数据知识更新不及时的问题。3、多模态大数据统一表示与行业领域多模态大模型构建研究多模态大数据的统一表述与关联融合方法，解决多模态数据难以统一表示与融合的难题，进一步完成多模态领域大模型训练微调，构建多模态领域大模型。研究大模型云服务环境以及边缘端侧环境下大模型高效推理计算方法，提升大模型推理计算效率，解决大模型算力资源高效利用与降低算力成本的问题。5、基于昇腾的国产信创环境适配与行业大模型示范应用 研究开发基于国产算力资源适配的大模型技术及其应用，并基于典型行业领域，研发构建行业领域大模型，探索面向行业领域的大模型示范应用，验证相关技术方法、算法与系统工具平台的有效性。
相关业务简介
近年来，随着大模型技术的快速发展，各行各业都在关注大模型的落地应用。为了适应新技术的发展与应用需求，研究院与南京大学PASA大数据实验室联合，基于多年来在“大算力、大数据、人工智能”等方面所积累的技术基础与成果，面向垂直行业领域大模型应用需求，近年来开展了自然语言大模型微调与高效推理技术研究与探索。基本技术方法与解决方案是，基于通用语言大模型，融合领域知识和语料数据，采用检索增强生成式模型构架（RAG，Retrieval-Augmented Generation)，通过融合行业领域的专业知识文本数据，构建专业知识检索向量库，将检索结果交给语言大模型生成文本，以此实现垂直领域大模型对话准确度的提升，进一步通过多轮提示对话，提供基于大模型的高效精准行业咨询服务。在此基础上，研究院目前在法律、制造、应急等领域，开展了初步的垂直领域大模型应用探索。除了自然语言大模型以外，未来一个重要发展趋势是多模态大模型，即融合自然语言、视频图像、语音等多模态数据的综合性大模型，实现文生图、文生视频、图生文等AIGC大模型技术与应用。围绕多模态大模型技术与应用，近年来，研究院重点开拓了全流程视图大模型AI建模服务与行业应用开发，可实现从数据样本生成、数据标注、AI建模、应用开发的全流程服务。可实现基于AIGC大模型技术的大规模视图样本数据样本生产，所生成的数据样本逼真度高，解决行业普遍面临的AI模型构建缺少视图训练的样本的痛点。现有人工数据标注工作量大、大量依赖人力，质量难以统一和保证，为此，研究了基于AI的高效数据标注技术与工具，结合小规模人工标注和AI模型自动识别和快速人工核对，大幅提高数据标注效率。基于研究院研发的高效自动化AI建模技术能力与工具，可高效便捷地完成AI模型训练，大幅提高建模效率，降低建模技术门槛，降低建模成本。基于上述全流程视图AI建模服务能力，可为诸多行业领域提供视图大数据AI模型构建与应用开发能力，为政府和企业构建行业视图大数据智能化应用服务。围绕行业视图大模型智能化应用服务需求，目前研究院已经研发了完整的视图大数据智能化应用服务平台，并开发了面向智慧城市、智慧工厂、智慧铁路、智慧社区等十多个行业领域的视图AI模型算法仓，同时提供面向视图大数据智能化应用的服务器和边缘设备，提供软硬一体化应用服务平台产品与行业解决方案。近几年来，基于无人机的低空经济，已经成为中央新质生产力发展战略中的重点内容，也成为地方的重大产业发展方向，中央和地方政府都纷纷发布了无人机低空经济发展规划，为未来基于无人机的创新应用提供了巨大的政策支持和发展空间。未来，无人机除了在敏捷运输应用中能发挥重要作用外，将在面向移动场景的智能化监测服务场景中得到诸多创新应用，解决目前固定摄像头难以覆盖的大规模移动场景下的应用需求。基于研究院前期在全流程视觉大数据AI建模与应用服务方面的基础，目前研究院已经启动了面向无人机智能化监测应用的研发，以此发挥研究院前期的技术与产品研发基础，快速形成新的应用服务产品和行业解决方案，快速拓展新的创新业务。通过融合视图大数据智能化服务AI模型平台产品与无人机载具，可实现诸多移动场景下的智能化监测应用服务研发与解决方案设计，并开展诸多行业领域的无人机巡航监测应用服务研发，例如河流湖泊的智能化巡航监测、道路交通的智能化巡航监测、环保和农田的智能化巡航监测、森林防火智能化监测等应用服务。
