信息技术：ChatGPT带动下的AI产业链发展趋势.docx

《信息技术：ChatGPT带动下的AI产业链发展趋势.docx》由会员分享，可在线阅读，更多相关《信息技术：ChatGPT带动下的AI产业链发展趋势.docx（13页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、信息技术：ChatGPT带动下的AI产业链发展趋势从2022年下半年开始，随着深度学习的发展，以Diffusion、 ChatGPT为代表的颠覆性AI应用破圈，标志着人工智能领域的 重大突破，引发全球共振。不少人将ChatGPT的问世比喻为“蒸汽机”，人工智能就此走向“工业时代”。上海人工智能产业投资基金作为上海市级产业投资基金，根据 建设人工智能“上海高地”的战略部署，始终密切跟踪技术带 来的AI产业链技术及商业模式变迁。下面是近期我们对AI技 术及产业发展趋势的思考：核心观点：1、ChatGPT展现了极强的语义理解、多轮沟通对话、推理演绎 能力，代表了人工智能研究范式的改变。以Transf

2、ormer为基 础的软硬件标准化趋势的确立让我们有理由相信且为之振奋： 我们正站在AI工业化革命爆发的拐点一一与其说ChatGPT证明 了某一条AI研究路线的成功，倒不如说它更大的意义是证明了 AI这些年不断收敛但依然存在多种选择的各类路线里，最终真的是会走出一条路：AI工业技术革命终将到来。-机器学习分布式框架。大模型大算力一定需要多机多卡训练， 以ChatGPT为例,训练一次需要3. 14XE23FL0PS算力。但从训 练到推理的过程，模型参数数量不变，分布式框架加速优化的 帮助显著。以英伟达A100为例，A100早期训练效率只有20%, 经过分布式框架的优化，效率可以提升30T40%,整

3、体效率提升 至 50犷100%。四、时不我待：中国自主大模型的必然、机会和挑战以OpenAI、微软等为代表的发达国家巨头对科技创新和产业升 级新一轮密集投入的效果逐步显现，科技革命和工业革命下新 一轮“技术一经济范式”变迁也随之逐渐明朗。科技工业革命 必然伴随理念、知识、制度，甚至社会价值观和国际话语权的 深刻变革，引发新一轮的国际和经济竞争。ChatGPT的出现意味 着AI产业水平化分工的条件基本成熟，世界上并不需要很多个 大模型，但大模型参数作为社会底层知识、学习资料的承载， 具有极高的社会、经济和文化价值。基于全球政治环境、代表 中国中大型企业私有化部署的需求、数据跨境的合规风险和安 全

4、考虑，我们认为，中国一定会有自己的LLM（大模型）。将构建中国自主的大模型视为在AI领域全方位军备竞赛并不为 过。这需要超大规模智算平台对芯片、系统、网络、存储到数 据进行全盘系统优化，需要一个能自主掌控更多环节从而实现 全局调优的方案。虽然目前我们在算力、高质量数据集、顶尖 人才资源、应用生态方面与海外存在较大差距，但以百度、腾 讯、阿里为代表的中国科技公司们在这个技术周期里所生长出 来云、数据、芯片和复杂系统，已初步拥有了参与这场ChatGPT 竞争的“入场券”。即使目前各环节依然存在不小的代际差， 但我们深信基于多年积累的建模、训练和调参，加大长期的资 本和人才投入，深度融合的数据和场景

5、，底层训练数据，我们 自主独立的大模型依然存在商业闭环的机会。如何追赶？核心能力在于工程化能力和应用规模。作为系统工 程，AI需要依靠庞大的团队支撑。类比搜索引擎公司，搜索引 擎壁垒不在于算法本身，而在于工程化的需求，例如谷歌搜索 引擎、头条推荐，都需要强大的工程能力。OpenAI的GPT-1到 GPT-3再到现在的ChatGPT,模型结构没有发生任何变化 (transformerdecoder),单一产品仍需要几百名正式员工、上 千名标注员打磨三年一一AI工程化恰是中国的机会。同时，中国基本上所有的互联网公司都是AI公司，中国的规模效应，有 望让大模型迅速普及化的改进闭环，成为中国企业迎头追

6、赶的 机会。人工智能有助于经济的自动化、智能化，AI大模型的最终目标 是AGI （通用人工智能）o AI大模型对人类传达信息的载体有了 更好的学习，在此基础上各个媒介之间的互通成为可能。当这 一目标实现的时候，人类各种经济活动产生的信息的生产、传 输、分发、消费可实现编程化，万物智能成本无限降低，人类 的生产力与创造力得到进一步的解放。相信长期的力量。上海人工智能基金秉持长期主义，助力人工 智能从业者们这场系统战、持久战中保持定力。上海人工智能 产业基金是经上海市政府批准同意，由国盛集团、临港集团联 合市区两级财政及市属大型产业集团共同发起，由上海临港科 创投资管理有限公司担任基金管理人，旨在

7、贯彻落实世界人工 智能大会成果，加快推进上海人工智能高质量发展。基金聚焦 人工智能核心技术和关键应用，同时关注优秀创业者陪护和生 态资源的持续积累，致力于打造人工智能产业发展各类要素联 通的“一站式”平台，助力建设人工智能“上海高地”，同时 为产业升级变革创造长期价值。ChatGPT的能力展现为人工智能产业链注入了新活力，即使尚处 于萌芽期，其展现的创造能力充满想象空间，有望带动AIGC类 应用快速爆发。人工智能技术作为驱动数据经济的技术底层， 有望迎来新的发展机遇，在数字时代赋能人类生产力与创造力 进一步解放和革新。上海人工智能基金将持续通过技术引领与 场景赋能双轮驱动，推动人工智能成为驱动

8、新一轮科技革命和 产业变革的重要力量。2、大语言模型使用自然语言交互，颠覆了原有的人机交互方 式。从键盘鼠标、触摸屏、语音，人机交互方式的改变重塑了 信息产业的形态。人工智能驱动的自然语言交换不仅加速虚拟 世界的建立，带来了生产力的革命，也会重塑生产关系，现实 世界的下游应用都有望被重构。3、伴随参数规模增速的不断提升，算力和训练成本仍存在瓶 颈，大模型的性能天花板远未到来，甚至算法需要根据硬件优 化，包括芯片级优化、数据中心架构优化、机器学习分布式框 架在内的软硬件联合调优等算力创新将成为破局关键，转动起 AI算力-AI应用的产业飞轮。4、大模型参数是社会底层知识、学习资料的承载，具有极高的

9、 社会、经济和文化价值。考虑到全球政策环境、企业私有化部 署的需求、数据跨境的合规风险等因素，中国独立自主大模型 构建的迫切性呼之欲出。道阻且长，行之将至。如何利用好AI 工程化这一构建大模型的核心能力，以及利用中国的规模效应 使大模型迅速普及并改进闭环，是破局的机会。一、拐点将至：大模型研发范式的改变标志着AI真正走向了工 业化生产道路ChatGPT如何能力出众？相比于之前的Chatbot,我们可以看到一个惊人的ChatGPT：极 好的理解和把握用户意图，具有出良好的多轮沟通对话、记 忆、归纳和演绎能力，会甄别高水准答案，知道如何一步一步 解决用户问题，有逻辑和条理的输出回答结果。ChatG

10、PT背后的技术突围和能力养成？任何AI技术都不是空中楼阁。在惊叹以ChatGPT、Diffusion 为代表的AIGC所展现的惊人能力的同时，我们看到的是一次深 度学习算法、算力提升、数据积累三浪叠加后的“大力出奇 迹”，以及背后长达几十年的酝酿。大语言模型(LLM)标志着AI研究范式的改变：拉长NLP技术 发展时间周期，早期阶段(2013年左右)的NLP任务采用传统 的“特征提取+机器学习”进行研究，第二阶段转变为“预训 练模型+finetune”范式，均致力于“大练模型”，即根据下 游任务调整预训练模型，帮助机器理解人的意图。而在以 ChatGPT为代表的GPT3.0 预训练模型+Prom

11、pt”范式中，通 过“练大模型”大幅减小预训练的任务和下游任务之间的统计分布差距，让计算机适配人的习惯命令表达方式，提高整体任务的通用性和用户体验，从而使通用底座模型成为可 能。模型规模激发能力突变：研究表明，大模型许多能力上的惊 人突破，并非一个线性的过程，而是在模型尺寸达到一个量 级时发生突然的“进化”（ScalingLaw即规模定律）。当LLM 的参数量达到一定量时（比如100亿），模型的能力将发生突 变。GPT3. 0模型下1750亿参数量“涌现”出的强大智能表 现，验证ScalingLaw生效，由此获得了存在于大模型而非小 模型的涌现能力。更深度的人类活动信息变成可用数据，进 一步激

12、发模型-数据的飞轮效应。从神经网络角度看，人脑有 约100万亿神经元。GPT-3有1750亿参数，预计OpenAI的 GPT-4模型参数量将变得更大，但距离人脑的100万亿神经元 尚远。随着算力的进步，参数规模提升能否带来新的特性值 得期待，我们相信大语言模型的新能力会随着参数和模型规 模的激增而进一步解锁。标准化趋势正在加速：在算法层面，大模型的核心 Transformer有统一算法的趋势，图像、自然语言理解、多模态的主要技术路线基本都基于Transformer实现。算法的收 敛某种程度上使得硬件收敛成为可能，而Transformer加速 引擎成为算力必选项。虽然目前算法、软件、硬件尚未实现

13、 完全标准化，但我们可以清楚的看到LLM标准化进程正在加 速，逐渐显现出“通用目的技术”的三个特性即普遍适用 性、动态演进性和创新互补性，有望成为驱动工业革命的增 长的引擎。二、革故立新，人机交互方式的改变引发生产力的工业化变 革，产业链将被重构回顾科技进步和产业变革的历史可以发现，历次科技革命和工 业革命都带来了改变人类生产生活的技术、产品和服务。科技 革命标志性的科学成就以及工业革命的主导技术往往具有颠覆 性特征，无一不对解放生产力、推动人类文明演进产生了深远 影响。大语言模型所推动的本质变革在于改变了人机交互方式。自 然语言成为了人机交互媒介，计算机可以理解人类自然语 言，而不再依赖固定

14、代码、特定模型等中间层。以手机、平 板等为载体的人机交互方式可能在元宇宙场景下以更自然的方式展现，移动互联网时代的人工智能应用可能被重塑。交互方式的改变将引发各行各业的生产力革命：用以嫁接计 算机与人类的软件“中间层”将不复存在，产品形态发生变 化，软件可以迅速支持自然语言接口，而不必开发和调用API 接口。劳动对象、生产关系随之变化，AI软件开发的门槛降 低，用户群扩大，企业内部研发和产品的界限将日益模糊； 产品根据用户反馈进行直接调整，产业链进一步缩短，生产 效率提高。新的需求、职业、市场空间、商业模式呼之欲 出，数据-模型叠加的产业飞轮将彻底改变很多传统行业和产 业格局。规模工业化生产的

15、格局有望体现：生产方式从“农耕时代” 走向“工业时代”，AI产业生态将从过去每个垂直应用领域 做各自模型，变成通过大模型做应用，通用性更强。AI产业 链将呈现底层基础设施（芯片/云服务商）一大模型一 PromptEngineeringPlatform一终端应用的水平化分工。我们 大胆推测，由于预训练模型需要耗费大量的成本和技术投 入，因此类似台积电之于英伟达，大模型/AI平台的入门门槛 高，一般参与的对象还是以大规模的互联网公司和行业巨头为主，未来可能只有1、2家公司是做大模型底层基础设施。原本期望通过做垂直化、场景化、个性化模型和应用工具扩 张成平台型企业的中间层企业们的竞争可能日益激烈；理

16、解 行业痛点并在大模型基础上快速抽取生成场景化、定制化、 个性化的小模型，从而实现不同行业和领域的工业流水线式 部署的公司才能生存。靠近商业的应用型公司，依托AI将落 地场景中的真实数据发挥更大价值。这某种程度上体现了规 模工业化生产的特质，即产业分工，标准化和规模化。所有的下游应用都有望被重构：随着基础模型与工具层的崛 起，构建应用的成本和难度将大幅降低。对于应用开发者来 说，所有的下游应用值得被重构。传统企业(+AI)将享受低成 本构建应用模型的便利，利用场景和行业know-how优势更快 的拥抱数字化转型，大幅提升效率和体验；创业公司(AI+)聚 焦高价值场景，颠覆现有业务，在自己擅长的

17、方向上去做突 围，比大厂先一步做出数据飞轮，形成壁垒。三、超越摩尔定律，算力瓶颈下的软硬件联合调优成为破局关 键新工业革命的主导技术和产业不再呈现单一性特征，很有可能 演变为由多个交叉技术组成的技术簇群，不断同步、掣肘、叠 加和“纠缠”。回看人工智能产业的发展历史，每一波大发展 都是与算力提升和数据爆发相结合。软件与算力供需的失衡、 能力的追赶不断催生创新技术需求，一旦关键技术迎来突破， 将会带动整个产业群的发展。受制于摩尔定律，AI训练成本高企，当前硬件算力的成本和 供给远无法满足日益增长的内存和计算需求。不仅仅是语言 大模型参数规模呈指数增长。LLM将更大范围更深度的人类活 动信息直接转化

18、为可用数据，引发全球数据量激增。根据 Google统计，DNN的内存和计算需求每年约增长1. 5倍 (2016-2020 内存增长 0.97-2. 16,算力增长 1. 26-2. 16)；而 算力供给却达不到。从2016至2023年，英伟达GPU单位美 元的算力增长 7. 5 倍(P1004GFL0PS/$到 H10030GFL0PS/S), GPU 算力提升约 69 倍(P10022TFL0PS 到 H1001513TFLOPS), GPU 效率提升约 59 倍(P10073. 3TFL0PS/kw 到H1004322TFL0PS/kw) o虽然GPU在各种效率有明显提升，长 期来看，算力

19、需求每年约增长1.5倍存在一定的不可持续 性，我们预计在最好情况下英伟达GPU的算力供给每年增长1倍，按一般技术渗透规律，算力层面还需要一定程度的优 化，否则很难和应用形成较好的正反馈效应，从而提升行业 的渗透率。如何在AI算力上实现技术突破、降低成本、扩大 规模，提升AI训练的边际效益，将成为技术创新的焦点。催 生的算力创新需求包括：-芯片级优化。过去十年里芯片性能的提升，超过60%直接或间 接受益于半导体工艺的提升，而只有17%来自于芯片架构的升 级；而摩尔定律放缓，每100m栅极的成本将持续增加（比如从 28nm的1. 3美元提升到7nm的1. 52美元）,主要由制造这些芯 片的复杂性增加所驱动一一即制造步骤的增加，远远达不到经 济效益。同时，制造难度增加，也将增加良率带来的损失，需 要通过将大芯片分成更小的Chiplet提高产量/良率，降低制造 成本。-数据中心架构优化。据英伟达估计，到2030年数据中心能耗 占全社会能耗3-13%,而数据中心架构也在演进中，从原先的 CPU作为单一算力来源，引入软件架构定义，再到增加GPU、 DPU, GPU、DPU的引入使得数据中心三种计算芯片分工明确，从而提升整个数据中心的效率。