ChatGPT带动下的AI产业链发展趋势.docx

ChatGPT带动下的AI产业链发展趋势从2022年下半年开始，随着深度学习的发展，以Diffusion> ChatGPT为代表的 颠覆性AI应用破圈，标志着人工智能领域的重大突破，引发全球共振。不少人 将ChatGPT的问世比喻为蒸汽机，人工智能就此走向工业时代。上海人工智能产业投资基金作为上海市级产业投资基金，根据建设人工智能“上 海高地的战略部署，始终密切跟踪技术带来的AI产业链技术及商业模式变迁。 下面是近期我们对AI技术及产业发展趋势的思考：核心观点：1、ChatGPT展现了极强的语义理解、多轮沟通对话、推理演绎能力，代表了人 工智能研究范式的改变。以Transformer为基础的软硬件标准化趋势的确立让我 们有理由相信且为之振奋：我们正站在AI工业化革命爆发的拐点一一与其说 ChatGPT证明了某一条AI研究路线的成功，倒不如说它更大的意义是证明了 AI 这些年不断收敛但依然存在多种选择的各类路线里，最终真的是会走出一条路: AI工业技术革命终将到来。2、大语言模型使用自然语言交互，颠覆了原有的人机交互方式。从键盘鼠标、 触摸屏、语音，人机交互方式的改变重塑了信息产业的形态。人工智能驱动的自 然语言交换不仅加速虚拟世界的建立，带来了生产力的革命，也会重塑生产关系, 现实世界的下游应用都有望被重构。3、伴随参数规模增速的不断提升，算力和训练成本仍存在瓶颈，大模型的性能 天花板远未到来，甚至算法需要根据硬件优化，包括芯片级优化、数据中心架构 优化、机器学习分布式框架在内的软硬件联合调优等算力创新将成为破局关键, 转动起AI算力-AI应用的产业飞轮。4、大模型参数是社会底层知识、学习资料的承载，具有极高的社会、经济和文 化价值。考虑到全球政策环境、企业私有化部署的需求、数据跨境的合规风险等 因素，中国独立自主大模型构建的迫切性呼之欲出。道阻且长，行之将至。如何 利用好AI工程化这一构建大模型的核心能力，以及利用中国的规模效应使大模 型迅速普及并改进闭环，是破局的机会。一、拐点将至：大模型研发范式的改变标志着AI真正走向了工业化生产道路ChatGPT如何能力出众?相比于之前的Chatbot,我们可以看到一个惊人的ChatGPT：极好的理解和把握 用户意图，具有出良好的多轮沟通对话、记忆、归纳和演绎能力，会甄别高水准 答案，知道如何一步一步解决用户问题，有逻辑和条理的输出回答结果。ChatGPT背后的技术突围和能力养成？任何AI技术都不是空中楼阁。在惊叹以ChatGPT、Diffusion为代表的AIGC所展 现的惊人能力的同时，我们看到的是一次深度学习算法、算力提升、数据积累 三浪叠加后的大力出奇迹，以及背后长达几十年的酝酿。大语言模型（LLM）标志着AI研究范式的改变：拉长NLP技术发展时间周期，早期 阶段（2013年左右）的NLP任务采用传统的特征提取+机器学习进行研究，第二阶段转 变为预训练模型+fine tune"范式，均致力于大练模型，即根据下游任务调整预训练模型, 帮助机器理解人的意图。而在以ChatGPT为代表的GPT3.0"预训练模型+Prompt范式中，通 过练大模型大幅减小预训练的任务和下游任务之间的统计分布差距，让计算机适配人的习 惯命令表达方式，提高整体任务的通用性和用户体验，从而使通用底座模型成为可能。模型规模激发能力突变：研究表明，大模型许多能力上的惊人突破，并非一个线性 的过程，而是在模型尺寸达到一个量级时发生突然的“进化（Scaling Law即规模定律）。当LLM 的参数量达到一定量时（比如100亿），模型的能力将发生突变。GPT3.0模型下1750亿参数 量涌现出的强大智能表现，验证ScalingLaw生效，由此获得了存 在于大模型而非小模型 的涌现能力。更深度的人类活动信息变成可用数据，进一步激发模型-数据的飞轮效应。从 神经网络角度看，人脑有约100万亿神经元。GPT-3有1750亿参数，预计OpenAI的GPT-4 模型参数量将变得更大，但距离人脑的100万亿神经元尚远。随着算力的进步，参数规模提 升能否带来新的特性值得期待，我们相信大语言模型的新能力会随着参数和模型规模的激增 而进一步解锁。标准化趋势正在加速：在算法层面，大模型的核心Transformer有统一算法的趋势, 图像、自然语言理解、多模态的主要技术路线基本都基于Transformer实现。算法的收敛某 种程度上使得硬件收敛成为可能，而Transformer加速引擎成为算力必选项。虽然目前算法、 软件、硬件尚未实现完全标准化，但我们可以清楚的看到LLM标准化进程正在加速，逐渐 显现出通用目的技术的三个特性即普遍适用性、动态演进性和创新互补性，有望成为驱 动工业革命的增长的引擎。二、革故立新，人机交互方式的改变引发生产力的工业化变革，产业链将被重 构回顾科技进步和产业变革的历史可以发现，历次科技革命和工业革命都带来了改 变人类生产生活的技术、产品和服务。科技革命标志性的科学成就以及工业革命 的主导技术往往具有颠覆性特征，无一不对解放生产力、推动人类文明演进产生 了深远影响。大语言模型所推动的本质变革在于改变了人机交互方式。自然语言成为了人机交互 媒介，计算机可以理解人类自然语言，而不再依赖固定代码、特定模型等中间层。以手机、 平板等为载体的人机交互方式可能在元宇宙场景下以更自然的方式展现,移动互联网时代的 人工智能应用可能被重塑。交互方式的改变将引发各行各业的生产力革命：用以嫁接计算机与人类的软件"中间 层将不复存在，产品形态发生变化，软件可以迅速支持自然语言接口，而不必开发和调用 API接口。劳动对象、生产关系随之变化，AI软件开发的门槛降低，用户群扩大，企业内 部研发和产品的界限将日益模糊；产品根据用户反馈进行直接调整，产业链进一步缩短，生 产效率提高。新的需求、职业、市场空间、商业模式呼之欲出，数据模型叠加的产业飞轮 将彻底改变很多传统行业和产业格局。规模工业化生产的格局有望体现：生产方式从农耕时代走向工业时代，AI产业 生态将从过去每个垂直应用领域做各自模型，变成通过大模型做应用，通用性更强。AI产 业链将呈现底层基础设施(芯片/云服务商)一大模型一Prompt Engineering Platform 终端应 用的水平化分工。我们大胆推测，由于预训练模型需要耗费大量的成本和技术投入，因此类 似台积电之于英伟达，大模型/AI平台的入门门槛高，一般参与的对象还是以大规模的互 联网公司和行业巨头为主，未来可能只有1、2家公司是做大模型底层基础设施。原本期望 通过做垂直化、场景化、个性化模型和应用工具扩张成 平台型企业的中间层企业们的竞争 可能日益激烈；理解行业痛点并在大模型基础上快速抽取生成场景化、定制化、个性化的小 模型，从而实现不同行业和领域的工业流水线式部署的公司才能生存。靠近商业的应用型公 司，依托AI将落地场景中的真实数据发挥更大价值。这某种程度上体现了规模工业化生产 的特质，即产业分工，标准化和规模化。所有的下游应用都有望被重构：随着基础模型与工具层的崛起，构建应用的成本和 难度将大幅降低。对于应用开发者来说，所有的下游应用值得被重构。传统企业(+AI)将 享 受低成本构建应用模型的便利，利用场景和行业know-how优势更快的拥抱数字化转型，大 幅提升效率和体验；创业公司(AI+)聚焦高价值场景，颠覆现有业务，在自己擅长的方向上去 做突围，比大厂先一步做出数据飞轮，形成壁垒。三、超越摩尔定律，算力瓶颈下的软硬件联合调优成为破局关键新工业革命的主导技术和产业不再呈现单一性特征，很有可能演变为由多个交叉 技术组成的技术簇群，不断同步、掣肘、叠加和纠缠。回看人工智能产业的发 展历史，每一波大发展都是与算力提升和数据爆发相结合。软件与算力供需的失 衡、能力的追赶不断催生创新技术需求，一旦关键技术迎来突破，将会带动整个 产业群的发展。受制于摩尔定律，AI训练成本高企，当前硬件算力的成本和供给远无法满足日益增 长的内存和计算需求。不仅仅是语言大模型参数规模呈指数增长。LLM将更大范围更深度 的人类活动信息直接转化为可用数据，引发全球数据量激增。根据Google统计，DNN的内 存和计算需求每年约增长1.5倍(2016-2020内存增长0.97-2.16,算力增长1.26-2.16)；而算 力供给却达不到。从2016至2023年，英伟达GPU单位美元的算力增长7.5倍(P100 4 GFLOPS/$ 到 H100 30 GFLOPS/$), GPU 算力提升约 69 倍(P)00 22T FLOPS 到 H100 1513T FLOPS), GPU 效率提升约 59 倍(P100 73.3 TFLOPS/kw 至U H100 4322 TFLOPS/kw)。虽然 GPU 在 各种效率有明显提升，长期来看，算力需求每年约增长L5倍存在一定的不可持续性，我们 预计在最好情况下英伟达GPU的算力供给每年增长1倍，按一般技术渗透规律，算力层面 还需要一定程度的优化，否则很 难和应用形成较好的正反馈效应,从而提升行业的渗透率。如何在AI算力上实现技术突破、降低成本、扩大规模，提升AI训练的边际效益，将成为技 术创新的焦点。催生的算力创新需求包括：- 芯片级优化。过去十年里芯片性能的提升，超过60%直接或间接受益于半导体 工艺的提升，而只有17%来自于芯片架构的升级；而摩尔定律放缓，每100m栅 极的成本将持续增加(比如从28nm的L3美元提升到7nm的1.52美元)，主要 由制造这些芯片的复杂性增加所驱动一一即制造步骤的增加，远远达不到经济效 益。同时，制造难度增加，也将增加良率带来的损失，需要通过将大芯片分成更 小的Chiplet提高产量/良率，降低制造成本。- 数据中心架构优化。据英伟达估计，到2030年数据中心能耗占全社会能耗 3-13%,而数据中心架构也在演进中，从原先的CPU作为单一算力来源，引入软 件架构定义，再到增加GPU、DPU, GPU、DPU的引入使得数据中心三种计算芯 片分工明确，从而提升整个数据中心的效率。- 机器学习分布式框架。大模型大算力一定需要多机多卡训练，以ChatGPT为例， 训练一次需要3.14xE23 FLOPS算力。但从训练到推理的过程，模型参数数量不 变，分布式框架加速优化的帮助显著。以英伟达A100为例，A100早期训练效 率只有20%,经过分布式框架的优化，效率可以提升30%40%,整体效率提升 至 50%100%。四、时不我待：中国自主大模型的必然、机会和挑战以OpenAI、微软等为代表的发达国家巨头对科技创新和产业升级新一轮密集投 入的效果逐步显现，科技革命和工业革命下新一轮技术一经济范式变迁也随 之逐渐明朗。科技工业革命必然伴随理念、知识、制度，甚至社会价值观和国际 话语权的深刻变革，引发新一轮 的国际和经济竞争。ChatGPT的出现意味着AI产 业水平化分工的条件基本成熟，世界上并不需要很多个大模型，但大模型参数 作为社会底层知识、学习资料的承载，具有极高的社会、经济和文化价值。基于 全球政治环境、代表中国中大型企业私有化部署的需求、数据跨境的合规风险和 安全考虑，我们认为，中国一定会有自己的LLM(大模型)。将构建中国自主的大模型视为在AI领域全方位军备竞赛并不为过。这需要超大 规模智算平台对芯片、系统、网络、存储到数据进行全盘系统优化，需要一个能 自主掌控更多环节从而实现全局调优的方案。虽然目前我们在算力、高质量数据 集、顶尖人才资源、应用生态方面与海外存在较大差距，但以百度、腾讯、阿 里为代表的中国科技公司们在这个技术周期里所 生长出来云、数据、芯片和复 杂系统,已初步拥有了参与这场ChatGPT竞争的入场券。即使目前各环节依然 存在不小的代际差，但我们深信基于多年积累的建模、训练和调参，加大长期的 资本和人才投入，深度融合的数据和场景，底层训练数据，我们自主独立的大模 型依然存在商业闭环的机会。如何追赶？核心能力在于工程化能力和应用规模。作为系统工程，AI需要依靠 庞大的团队支撑。类比搜索引擎公司，搜索引擎壁垒不在于算法本身，而在于 工程化的需求，例如谷歌 搜索引擎、头条推荐，都需要强大的工程能力。OpenAI 的GPT-1到GPT-3再到现在的ChatGPT ,模型结构没有发生任何变化 (transformerdecoder),单一产品仍需要几百名正式员工、上千名标注员打磨三年 AI工程化恰是中国的机会。同时，中国基本上所有的互联网公司都是AI公 司，中国的规模效应，有望让大模型迅速普及化的改进闭环，成为中国企业迎头 追赶的机会。人工智能有助于经济的自动化、智能化，AI大模型的最终目标是AGI(通用人工智 能)。AI大模型对人类传达信息的载体有了更好的学习，在此基础上各个媒介之 间的互通成为可能。当这一目标实现的时候，人类各种经济活动产生的信息的生 产、传输、分发、消费可实现编程化，万物智能成本无限降低，人类的生产力与 创造力得到进一步的解放。相信长期的力量。上海人工智能基金秉持长期主义，助力人工智能从业者们这场 系统战、持久战中保持定力。上海人工智能产业基金是经上海市政府批准同意, 由国盛集团、临港集团联合市区两级财政及市属大型产业集团共同发起，由上海 临港科创投资管理有限公司担任基金管理人，旨在贯彻落实世界人工智能大会成 果，加快推进上海人工智能高质量发展。基金聚焦人工智能核心技术和关键应用, 同时关注优秀创业者陪护和生态资源的持续积累，致力于打造人工智能产业发展 各类要素联通的一站式平台，助力建设人工智能上海高地，同时为产业升级 变革创造长期价值。ChatGPT的能力展现为人工智能产业链注入了新活力，即使尚处于萌芽期，其展 现的创造能力充满想象空间，有望带动AIGC类应用快速爆发。人工智能技术作 为驱动数据经济的技术底层，有望迎来新的发展机遇，在数字时代赋能人类生产 力与创造力进一步解放和革 新。上海人工智能基金将持续通过技术引领与场景 赋能双轮驱动，推动人工智能成为驱动新一轮科技革命和产业变革的重要力量。