资料内容：
3.1.3 多模态大模型
多模态大模型的发展从OpenAI的CLIP(文本图像匹配)，以及Dall·E（文生图）拉开帷幕，目前跨多个
模态的数据融合问题开始变成行业探究的重点。多模态是指多个模态感知与认知的融合。对于人类来
说，所有感知交互方式的融合形成了社会交流；对于计算机来说，是通过对文本、图片、视频和音频等
不同储存信息载体的认知和理解，结合环境因素来模拟人与人之间的交互方式。多模态技术的重要性
不言而喻，让人工智能理解人类世界的最优办法就是让AI成功理解多模态信息并能够对此类信息形
成分析、推理的逻辑和生成新信息的能力。
近年来，大模型技术发展推动多模态模型不断升级迭代。首先，预训练大模型赋能多模态机器学习的
广度和深度，例如通用性AI大模型M6，十万亿级的参数持续提高模型上限，赋能模型应用的通用性，进
而拓宽大模型应用广度，覆盖电商、智能交互等业务场景。同时，多模态预训练模型mPLUG荣登全球
权威“机器视觉问答榜单”（VQA Challenge 2021）榜首，并超越了人类平均水平。此外，多模态大模型
能够实现图像、文本、语音等模态之间的统一表示和相互生成。例如，百度文心ERNIE-ViLG 2.0文生图
大模型在公开权威评测集 MS-COCO 和人工盲评中效果位于前列，在语义可控性、图像清晰度、中国
文化理解等方面均展现出优势，初步实现在多个场景的商业应用。
我们看到，头部厂商在多模态大模型领域持续布局，注重模型整体通用性的同时不断提升子领域的优
化体验和技术升级。未来，基于技术的不断突破，多模态将持续拓展各行业场景下的信息融合应用。
3.1.4科学计算大模型
科学计算领域近年来发展态势向好，持续推进技术突破。科学计算指的是通过计算机高效率完成再
现、预测和发现客观世界运动规律及演化特征的全过程，即出于解决科学和工程中的复杂数学问题的
目标，优化计算机性能以完成数值计算。
近年来“AI+科学计算”（科学智能）也在引发科研方式的大变革，如生物制药、气象预报、地震探测、材
料 研 发等 科 研 领 域，大 模 型技 术 同 样 也在 这 些 领 域带 来 巨 大 的 突 破 。科 学 计 算 的 子 领 域 生 物计 算
（Bio-computing），即基于生物学固有理论信息和大量的生物学实验结果及研究分析开发的解决生
物学问题的计算模型，正是走在前列的科研方向。2021年以来，生物计算领域持续突破。例如，Deep
Mind推出的AlphaFold2能够覆盖98.5%的人类蛋白质组，并对20种其他生物蛋白质的结构进行预
测；同时，该公司与EMBL-EBI（欧洲分子生物学实验室）合作，推出蛋白质结构数据库以储备和匹配蛋
白质3D结构图像。各大企业自此之后纷纷提出AI for Science的概念，着手利用人工智能技术加快重
点科学技术研发与突破。目前，国内市场活跃产品有头部厂商打造的通用大模型，融合自监督和多任
— 14 —随着数据量的高速增长，数据特征高维、模态格式多样的趋势也逐渐明显，对数据的AI建模也相应地
更加复杂，涉及到研究对象的多变量维度，如时间、空间维度，计算复杂度会随之呈指数增加，数据标
注难度也会增加。同时，海量的数据将不可避免带来更大的数据噪声问题、数据偏见风险，为模型如何
有效利用好数据、学习其中的知识带来更大挑战。
数据是产业智能化发展中最宝贵的资源。海量的数据，为人工智能自监督学习带来巨大助力。利用好
爆发增长的海量数据，将会是企业充分挖掘数据红利、构建数字经济下竞争壁垒的重要抓手。
应用场景多元化和复杂化，增加了模型生产的难度
随着AI技术的发展、产业应用的深入，应用场景变得更多元、更复杂。例如：工业场景下，有工业质检、
安全巡检等应用，质检中不同产线生产的零部件千差万别；智能办公场景下，文档的分类、文档OCR识
别、文档知识抽取、文档审校也都是不同的任务类型。解决一个场景的问题，往往需要多个任务的深度
融合，涉及多任务统一建模等问题，因而对算法提出了更高的挑战。按照现在主流的算法应用，这意味
着技术厂商需要针对不同场景、不同任务生产大量的算法或模型。一方面这将会导致重复性工作量加
大，另一方面也对开发人员的算法能力和业务理解有更高的要求。随着智能化转型的需求增加，AI开
发门槛和研发效率问题凸显。
应用复杂度攀升，算力承压持续增加
算力是AI发展的基础设施，是通过对信息数据进行处理，实现目标结果输出的计算能力。除了要求提
升计算能力，技术的发展对于软硬件也提出了新的要求。目前整体市场发展还不及预期，具体来说，硬
件方面需要针对不同的场景和高性能计算能力进行拓展融合，满足研发企业的多芯部署、分布式优
化、高性能计算的需求。目前人工智能芯片主要有GPU、FPGA和ASIC等类型，从英伟达GPU的发展可
以看出，算力、内存、网络传输等都在提升，计算能力逐步增强，但在产业落地应用中的成本还相对较
高。随着分布式训练的发展，数据存储和网络传输问题成为大模型训练的瓶颈。目前InfiniBand，已经
可以支持节点内以及节点之间高吞吐低延迟的数据互联，缓解网络传输的问题，但数据存储仍存在挑
战，需要新技术的出现来解决。在软件方面，厂商需要打造完整的开发软件栈，支持计算密集型算子和
访存密集型算子协同编译优化，增强通用性编程能力，满足企业针对不同训练推理数据格式和量级进
行底层编译以及融合调度和统一运营管理的需求。在整体软件栈中深度学习平台尤为重要，可以提供
覆盖AI能力生产、运用、管理等全流程的工程化实践方法，推动产业链上下游协同创新，联动底层算
力、数据和上层应用服务，打破企业在数字化转型升级中面临的多种瓶颈，解决数据成本高、模型开发
难、算力分配不合理等问题。
2.1.2中国人工智能的其他挑战与阻碍
2022年是实现产业数字化的元年，人工智能加快赋能千行百业，与实体经济深度绑定，在医疗、城市、
工业、能源、金融等领域进一步落地应用，给企业带来了新的发展方向， 除了底层数据、算法和算力对
人工智能发展所带来的瓶颈以外，IDC认为人工智能领域还面临三大维度下的挑战。
数据互通壁垒明显，共建生态存在阻碍。新一代信息技术与产业的深度融合扩大了网络空间的边
界，数据作为一种新的生产要素，已成为推动企业智能化升级的重要资源。但同时，流转无序、区
域性限制大、定价机制不完善、监管机制不完备等问题，导致数据不流通，数据对数字经济的放大
和叠加作用没有得到充分发挥。数据的流通和共享是释放数字红利的前提，提高数据流通性可以
推动社会资源配置的优化，节约社会成本。为此，需要明确数据的权责，完善政策，规范数据的使
用，推动数据共享流通，支撑人工智能技术的高速发展。
技术门槛高，平台层挑战不断。AI算法的开发与模型训练、调优有着一定的技术门槛，需要进一步
依托在算法框架上的产品与工具套件，降低AI开发门槛。因此，深度学习与大模型平台需要向下衔
接硬件、向上承接应用。未来不管是训练还是推理，硬件的种类会变得非常繁杂，向平台层提出了
更高的衔接要求；同时随着AI规模化落地的需求增强，平台面向实际应用需要持续降低模型开发
的学习门槛、降低模型优化难度。当前，开发平台发展重点在于提供专业且丰富的技术组件，向下
驱动算子和数据管理工具的高性能延展，向上带动产品线研发并推动门槛的降低。
人才储备不足，技术发展受限。除了技术、战略部署、资金投入等问题以外，智能化发展所遇到的
最大挑战便是人才短缺。IDC预计到2025年，全球500强中有一半的企业将自己开发软件，这将加
剧企业软件人才不足的问题。随着人工智能落地场景的复杂度增加，需要更多既懂业务又能运用
AI技术的综合型创新人才。目前企业和高校的合作可促进人才的优化配置，高校为企业提供技术
的理论学习，企业为学校提供有效的实践基地。经济全球化的发展不断促进社会资源流动，资源
配置方式根本性变革极大提高了资源的利用率，但目前来看人才缺口仍然存在。未来，需要进一
步建立人才合作培养生态，接受人才及技术在机构间的循环流动，同时推动降低技术接触年龄，
提前布局储备年轻人才力量。
2.2 大模型带来AI开发新范式
面对人工智能的各种挑战，预训练大模型的出现提供了通用化解决方案，从无标注数据中通过自监督
学习获取大量“知识”，实现用更统一的方式推动人工智能产业落地。
2.2.1 大模型增强人工智能泛化性、通用性
在过去每一次关键技术的通用性得到解决后，生产方式都有巨大改变，生产水平也产生质的飞跃。人
工智能是第四次工业革命的重要驱动力，所以，提升人工智能的通用性是加速产业智能化升级的关
键。
“大模型”是打通人工智能技术通用性“任督二脉”的关键
过去在分散化的模型研发模式下，单一的AI应用场景下多个任务需要由多个模型共同支撑完成，每一
个模型建设都需要算法开发、数据处理、模型训练与调优过程。预训练大模型增强了人工智能的通用
性、泛化性，基于大模型通过零样本或小样本精调，就可实现在多种任务上的较好效果。大模型“预训
练+精调”等模式带来了新的标准化AI研发范式，实现AI模型在更统一、简单的方式下规模化生产。
2.2.2 大模型降低人工智能应用门槛
大模型基于“预训练+精调”等新范式有效降低AI开发门槛
具体来说，大模型的通用性、泛化性以及基于“预训练+精调”等新开发范式，让AI场景应用的模型定制
流程变得更标准化、效果优化更简单，有效降低对标注数据、算法人员能力的要求。围绕大模型布局相
关的AI开发工具组件与平台，将大幅加速人工智能大规模产业化进程。例如百度文心大模型在模型层
构建了基础（包括NLP、CV、跨模态等）、任务（对话、搜索、OCR等）、行业（能源、金融、制造、传媒等）三
层大模型体系，深入考虑各大应用场景特性；向上打造工具与平台层，将大模型能力在开发平台与套
件中输出；封装模型训练与精调、模型压缩与部署各环节等。这些都极大降低了AI开发门槛，让更多企
业或开发者可以低成本、高效率地获得AI能力，应用到自己的业务中。
2.2.3 深度学习平台为大模型发展与应用护航
深度学习平台的发展已相对成熟，大模型的出现对深度学习平台来说是“如虎添翼”
深度学习平台面向多样的产业需求，基于开源框架提供算法模型以及工作组件和平台能力，向下协调
调度硬件算力，向上支持各项任务，包含开发框架、算法模型以及工具平台三大核心层级，呈现出标准
化、自动化、模块化特性。大模型则进一步增强模型通用性和泛化性，带来新的模型开发范式。深度学
习平台与大模型合力，将进一步降低模型开发门槛、提升研发效率，贯通了从硬件适配、模型训练、研
发部署，到场景应用的AI全产业链。
深度学习平台底层开发框架成为大模型与算力之间的桥梁
ASIC等芯片，通过简化底层硬件技术，在大模型与算力之间建立沟通。针对不同的模型和硬件，将资源
抽象成统一的分布式资源视图，通过底层硬件感知和映射功能，找到软硬之间的最优组合，并将模型
的运算步骤分配到相应的计算卡上，达到负载均衡、提升大模型训推性能的目的。
深度学习平台助力大模型解决训练、推理部署困难问题
超大模型训练、推理需要消耗密集和昂贵的算力等资源，对算法本身提出了极高的要求。在海量数据
上训练百亿、千亿、万亿的参数，对模型训练速度、模型精度以及训练资源成本都是极大的挑战，深度
学习平台通过超大规模并行方案，支撑大模型高效、高性价比训练。超大规模的模型参数，也让模型预
测单次的成本与耗时都大幅提升，成为规模化的产业应用瓶颈。深度学习平台通过提供量化、稀疏、蒸
馏、剪枝等能力帮助大模型在精度无损的情况下进行压缩，推动大模型轻量化和模型推理加速，为产
业大规模应用做好保障。
大模型与深度学习平台相辅相成，将会持续释放红利，并渗透到各行各业的场景中。
未来，以大模型为生态基座的产业链将成为智能化升级过程中可大规模复用的基础设施。在大模型通
用性、泛化性以及降低人工智能应用门槛的优势推动下，人工智能也将会加快落地，形成新的机遇。
务学习以赋能生物医药行业，例如百度文心的蛋白质结构预测大模型、化合物表征学习大模型等；此
外，也有专注于生物计算大模型以发现靶点、研发新药的百图生科以及医药知识图谱平台德睿智药
等。
