浙大-大模型时代-智能设计的机遇和挑战-2023.07-28页-WN7.pdf

大模型时代：智能设计的机遇与挑战大模型时代：智能设计的机遇与挑战报告2023.06.01设计范式的迁移大模型时代到来设计能力的跃升链接能力整合能力拓展能力设计实践的重塑职业技能设计品质行业机会2目录目录人工智能作为新一轮产业变革的核心驱动力，将进一步释放历次科技革命和产业变革积蓄的巨大能量。国务院，新一代人工智能发展规划设计范式的迁移设计范式的迁移大模型时代到来3设计范式的迁移设计范式的迁移 4经验观察手工技艺经典设计01注重实用性和美感注重实用性和美感以设计师自身感受为基础，发挥个体设计才华，结果受设计师的经验、审美等因素影响。在数千年经验的沉淀与工业革命的推动下，设计师开始为更广泛的消费者设计产品。设计原则理论方法设计思维02注重用户需求满足注重用户需求满足以用户需求为导向，强调以人为中心的设计，解决定义不清晰的复杂设计问题。在商业模式的发展和个体消费需求的增长趋势下，设计师从同理心出发解决设计问题。智能算法工具软件计算设计03注重个性化与批量化生成注重个性化与批量化生成以计算机为媒介，利用数字化和信息化技术提升效率，支持设计结果的重用与扩展。在摩尔定律和数据型科学范式的影响下，设计师用智能算法和工具软件解决设计问题。来源：John Maeda，Design In Tech Report 2017经验观察/手工技艺设计原则/理论方法智能算法/工具软件设计知识空间设计领域的理论和实践的总体，包括设计的规律、技法、原则、方法和工具等。人类知识空间设计范式的迁移 5人类世界的信息和智慧的总体，涵盖人类对宇宙、自然、社会与人类自身的全部认知。模型知识空间设计领域知识的子集，特指利用大模型封装的设计理论和实践经验等知识。个人知识空间个人在学习、生活、工作中所获取的知识，受个人经历等因素的影响。人类知识空间人类世界的信息和智慧的总体，涵盖人类对宇宙、自然、社会与人类自身的全部认知。设计知识空间设计领域的理论和实践的总体，包括设计的规律、技法、原则、方法和工具等。智能设计04在大模型的推动下，设计师使用模型调用设计理论和实践经验等知识，在人机协作中完成设计任务。设计范式的迁移 6设计范式的迁移 7设计范式的迁移经验观察手工技艺经典设计在数千年经验的沉淀与工业革命的推动下，设计师开始为更广泛的消费者设计产品。01设计原则理论方法设计思维在商业模式的发展和个体消费需求的增长趋势下，设计师从同理心出发解决设计问题。02智能算法工具软件计算设计在摩尔定律和数据型科学范式的影响下，设计师用智能算法和工具软件解决设计问题。03智能设计04在大模型的推动下，设计师使用模型调用设计理论和实践经验等知识，在人机协作中完成设计任务。模型知识来源：John Maeda，Design In Tech Report 2017设计能力的跃升 8设计能力的跃升设计能力的跃升链接能力/整合能力/拓展能力在21世纪，我们将见证的不仅仅是100年的发展，而更像是20,000年的进步。We wont experience 100 years of progress in the 21stcenturyit will be more like 20,000 years of progress.雷库兹韦尔：加速回报定律，2001Ray Kurzweil,The Law of Accelerating Returns,2001全人类知识空间设计知识空间链接设计师与模型知识大模型能为设计师提供更全面和准确的知识支持，帮助设计师使用理论和实践经验，加速设计流程，提高设计质量。链接设计师与非设计师大模型能将设计知识转换成图像等更形象的媒介，帮助跨职能人员之间的设计理解，促进团队的协作沟通。链接能力 9设计能力的跃升链接能力设计师需要学习大量抽象的设计知识，并不断在实践中转化为设计能力，进而运用在设计任务中。/设计师与模型知识/链接大模型将抽象的知识以文本、图像、视频等形象化方式呈现，支持设计师在设计任务中快速使用。链接能力 10来源：Codex Community;Kaedim3d设计博主 Codex Community 运用人工智能内容生成（AIGC）工具推进鞋类网页设计的创意迭代。该博主采用 ChatGPT 编写创意方案，并将该创意方案作为文字提示输入到 Midjourney 中，进而获得多样化的鞋类设计网页，快速完成创意设计。#行业实践加速创意迭代Kaedim 平台支持由图片引导的快速和高清化 3D 模型生成。该功能使设计师能够更加迅速地将创意转化为 3D 模型，从而进行实时的视觉评估与改进。这种工作流显著提升了设计的迭代速度，能帮助设计师更快地实现设计目标。加速工作流推进#解决方案/设计师与非设计师/链接由于设计师与非设计人员对设计概念、设计语言以及设计实践的理解不同，彼此间的沟通与协作非常困难。借助大模型形象化的生成能力，不同领域的抽象知识得以形象化呈现，实现设计师与非设计人员间的高效链接。链接能力 11麦肯锡的研究报告显示，协作性更强的跨职能团队将为公司带来更高的业绩提升，推动业务的可持续发展。通过积极拥抱 AIGC，原有设计团队可以充分利用智能设计工具和外部设计供应链，从单一的设计职能团队转变为综合能力更强的复合型团队，从而促进业务创新。#行业实践推动团队转型升级Dora AI 是一个无代码网站构建平台，借助 AI 生成技术，平台可以通过文本快速生成可编辑、可交互的网站，也可以方便地创建网页交互动画。这能够降低跨职能设计团队成员间的沟通成本，加快网页设计迭代和反馈的循环，提升设计师与前端开发人员间的协作效率。赋能跨职能团队协作#解决方案来源：Dora AI;McKinsey,Redesigning the design department,2022全人类知识空间设计知识空间整合跨学科设计知识大模型可以整合跨学科的设计知识，为设计师提供更全面和深入的支持，帮助他们在设计中更高效地运用跨领域知识。整合跨领域设计流程大模型能够根据设计师所提供的需求与约束，整合跨领域的设计流程，帮助设计师生成兼具创意和实用性的设计方案。整合能力 12设计能力的跃升整合能力/跨学科设计知识/整合不同学科的知识以各自独立的形式存在，难以作为统一的设计资产得到有机整合，难以被设计师灵活地使用。大模型具备了整合跨领域知识的能力，帮助设计师在各类设计任务中更高效、更全面地查询、使用跨学科知识。整合能力 13来源：Opus.ai;AndoAndo 是 Figma 中的一款插件，被誉为设计师的 AICopilot。该插件能够协助设计师整合现有的设计需求、参考图像与元素形状等设计资产，启发设计师关于界面设计的创意，支持设计师通过文本描述设计目标得到设计参考。Opus.ai 是一款通过自然语言构建 3D 可交互场景的工具。该工具可以整合创建 3D 场景所需的模型、纹理等资产，并以用户输入的文本需求为驱动，逐步完善 3D 游戏场景。在设计过程中，用户提供的设计资产越丰富，输入的文本描述越精准，最终得到的场景细节也越完善。大模型的出现为推动跨学科知识融合提供了新的机遇。例如在仿生设计中，大模型可以整合生物学、工程学与设计学的知识，得到融合了蝴蝶元素的机械式座椅。#解决方案整合跨模态设计资产#行业实践推动跨领域知识融合/跨领域设计流程/整合UI设计、产品设计、建筑设计等垂直领域的概念设计流程大相径庭。跨领域设计需要掌握不同的设计流程。在大模型时代下，跨领域设计流程逐渐整合为“想法表达-模型生成-手工微调-成品导出”的过程。整合能力 14来源：造物云;Meta AI ResearchImageBind 是由 Meta 的研究人员推出的一项技术，能够统筹多种模态的设计任务。该 技术整合了文本、图片、音频、深度图、热力图和 IMU 数据等六种不同的设计资源，以应对如“音乐+图像-视频”的跨模态设计任务。在该模型的支持下，面向不同形式任务的设计流程可实现共融共通。造物云在生成式大模型的助力下，将商品摄影、宣传视频、营销文案中的设计元素统一成了人、货、场三大类别，发布了 AIGC+3D 融合的设计辅助创作平台。该平台可以帮助品牌、电商、设计公司低成本、高质量地创作海量商品营销内容，实现从“内容即服务”到“模型即服务”的模式创新。统一跨应用设计元素#行业实践统筹跨模态设计任务#学术前沿全人类知识空间设计知识空间拓展大模型的知识界限大模型本身具备巨大的潜力，设计师可以通过特定领域的设计数据对大模型进行微调以拓展模型的知识界限。拓展设计师的能力边界大模型在设计师不擅长的领域为其提供知识支持，拓展其能力边界，在协作中帮助设计师创造更出色和复杂的设计作品。拓展能力 15设计能力的跃升拓展能力/大模型的知识界限/拓展模型的能力受限于所用的训练数据和方法，拓展模型适配于其他领域的数据标注和训练成本十分高昂。只需给予简单的提示，大模型就能迅速地理解并将已有预训练知识快速迁移到对应的领域中。拓展能力 16来源：Alibaba Design;网易严选创新设计中心网易严选的设计师利用 Midjourney 平台，以文本关键词的引导方式，将文生图模型运用到了多种下游设计任务中。网易严选在实际设计业务中的应用探索包括生成品牌调性图、商品氛围图、材质特写图、商用版权图、产品设计图以及服饰模特换装图等。天猫设计师基于 LoRA 模型，利用极少的舞台空间设计图对图像生成大模型进行微调，使其具备了设计舞台空间的能力。在拓展模型知识界限的基础上，通过输入不同需求的文本描述，设计师就能利用大模型对不同的舞台风格进行概念设计。针对特定对象的知识迁移#行业实践针对下游任务的模型适配#行业实践不同领域间存在知识壁垒，导致设计师难以利用不同领域的知识，解决不熟悉领域的设计问题。模型能够整合海量多领域的知识，拓展设计师的能力边界，支持跨领域复杂设计问题的解决。拓展能力 17/设计师的能力边界/拓展来源：Figma插件parallax;Adobe Firefly;腾讯CDC体验设计由 Denis 等人制作的 Figma 插件 parallax，能够利用 AI 技术以 3D 视角排列平面设计图中各个图层内的设计元素，让设计师轻松地得到视差动画效果，并进一步将其换为 HTML、SVG、GIF 和 WebM 等不同格式的设计产出。设计结果的多模态转换#解决方案Adobe 在多个软件中加入了 AIGC 工具，实现了在设计实践中对平面设计师的全面赋能。全新的能力包括一键内容删除和填充、一键更换场景、图像边界拓展、快速渲染 3D 白模、基于文本生成矢量花型图片等。设计实践的多维度赋能#解决方案腾讯 CDC 体验设计团队利用 ChatGPT，分析总结受众的需求关键词，并在 Stable Diffusion 等方法支持下生成运营效果图像。在大模型工具的赋能下，设计师能更高效高质地串联内容策略定制、文本描述生成、图文内容应用等设计流程。设计流程的多链路串联#行业实践我们总是高估未来两年的技术改变，但低估未来十年的技术影响。We always overestimate the change that will occur in the next twoyears but underestimate the next ten.比尔盖茨Bill Gates设计实践的重塑设计实践的重塑职业技能/设计品质/行业机会设计实践的重塑 18智能水平提升，机械劳动取代挑战：职业技能AI技术的发展，极大地提升了机器在重复性、基础性设计工作中的效率。这使得设计师与AI间传统的“工具关系”被打破，许多与底层技法相关的“机械劳动”将逐渐被机器取代。职业技能 19来源：知衣科技;Alibaba Design 西湖心辰和知衣科技联合推出了一款面向服装设计行业的 AI 大模型 Fashion Diffusion。只需用户选择款式、颜色、材质等选项，即可在10秒内生成服装在模特身上的实穿效果图。通过对服装行业专业数据的学习，Fashion Diffusion 大模型极大改变了传统的服装设计流程。ControlNet 等技术的出现，赋予了 AIGC 工具根据 N 种条件对1张图像进行细粒度受控变换的能力。以建筑外观设计为例，设计师能够利用ControlNet，通过线稿草图对建筑结构进行控制，并快速得到多种风格渲染变换后的外观效果图。这种大模型的可控生成能力极大优化了设计建模、渲染中的机械劳动过程。服装设计工作的优化建模渲染工作的取代#行业实践#学术前沿打鱼记是产品经理刘飞的漫画作品。他在不使用任何额外素材的条件下，仅利用 Midjourney 通过文字描述创作完成。Nyric 是一个独特的游戏设计平台，允许设计师通过简单的文本描述来创建和探索详细而逼真的3D 世界，提供了更高的创建和定制自由度。职业技能 20/createlost city of Atlantis人机关系升级，创作门槛降低机遇：职业技能设计师与AI的关系从“工具关系”升级为“同事关系”，伴随而来的“劝导式”的设计流程让设计师更专注于创造性内容的思考，从而在人机协作的过程中，借助大模型的计算和推理能力，创作的门槛被进一步降低。来源：SdPaint;打鱼记漫画创作;NyricSdPaint 是一款基于 Stable Diffusion 的实时绘画工具。设计师在绘画区域中每画一笔，SdPaint 就能基于预输入文本和已有的线稿内容，补全整张画作。随着设计师笔画的增加，画面的细节也将实时完善。通过与 AI 的协作，设计师最终完成整张画作的创作。人机协作的创作赋能创意实现的门槛降低#解决方案#解决方案#行业实践设计品质 21模型知识同化，设计风格受限挑战：设计品质大模型是一个“收音器”，将所学的设计知识整合到模型中供设计师使用；但受限于知识的有限性，模型无法做到无限制的创意赋能。随着海量设计师利用同一模型进行设计流程的迭代，产品的设计风格可能趋于同化。来源：MidlibraryAIGC 工具虽然做到了对视觉设计、时尚设计、室内设计等跨领域设计流程的整合，降低了设计师在多个领域间迁移的难度，但也导致了设计师对各领域传统设计技法的生疏。这会使得设计师逐渐转向 AIGC 工具的提示词工程师，进而约束设计领域的创新性、多样性和灵活性，限制设计产品的独特性，最终降低设计的品质。AIGC 工具的设计生成过程主要依赖于已知的数据，缺乏设计师天马行空的创造力和想象力。过度依赖模型所具有的能力将导致设计实践过程中的创意受到制约，使得作品缺乏新颖性与突破性的设计元素。例如，在利用 Midjourney 等 AI 绘画工具进行平面设计时，多样的艺术风格会被固化为一个个关键词，这些关键词难以突破模型训练时艺术风格数据的局限，作品的多样性进而降低。包豪斯风格超现实主义新古典主义现代主义构成主义奥菲斯主义设计技法趋同#解决方案设计创意受限设计品质 22设计风格复用，用户体验提升机遇：设计品质大模型是一个“扩音器”，扩大设计师在实践中所创造知识的影响力。通过设计风格提示词复用、用户体验关键词定制等形式，作品的“创意”将数字化为开源资产，在社区进一步的发展迭代中，推动整体设计品质的提升。来源：Civitai;KOZ设计研究所在 LoRA 等小样本微调技术的帮助下，设计师能将自己独特的风格抽象成1个或多个可复用的提示词，并通过这些提示词激发模型在特定设计任务上的生成能力。在 Civitai 等平台中，设计师们分享了大量优质的提示词与相应的 LoRA 模型。这种设计风格的“开源化”，能够给行业带来更多的创新活力，推动行业整体设计品质的提升。设计师能够基于不同特征的用户数据引导大模型做出定制化的设计决策，从而针对性地提升不同用户的产品体验。例如，Netflix 根据用户的观影行为、风格喜好等数据为不同特点的用户群体进行画像，并针对性地推送不同的电影剧照。为行业带来可复用的设计风格为大众带来定制化的用户体验#解决方案#行业实践行业机会 23技法壁垒消失，行业冲击加剧挑战：行业机会不断涌现的AIGC工具降低了设计的门槛，提供了自动化、智能化的设计能力，打破了设计行业传统的技法壁垒。这样的趋势将加剧行业内部的竞争，使得设计师需要不断提高自己的专业水平和创造力，从而保持职业竞争力。来源：Galileo AI;即时AI;PLUG AIPLUG 推出了智能包装设计服务Package Design AI。用户只需上传自己的图像素材，Package Design AI就能在一小时内自动完成不少于1000组的商品包装设计。这极大改变了包装设计的传统流程，影响了包装设计师的就业。Galileo AI 是一款基于文本生成 UI 界面的 AI 工具，可以根据用户对 App 界面元素、风格主题等的需求描述，自动生成符合要求且具有一定复杂性的页面。这改变了传统 App 页面设计的方式，极大地降低了 App 界面设计的技法门槛，影响了 UI 设计从业者。即时 AI 是即时设计推出的 AIGC 产品，通过用户的自然语言表述，最快只需 30 秒即能生成可编辑的 App 界面设计初稿，从而帮助设计师甚至非设计人员完成设计任务。UI设计的行业变革#解决方案包装设计的行业变革#行业实践行业机会 24智能物种爆发，行业机会涌现机遇：行业机会行业被冲击得越深，机会也将被创造得越多。大模型时代的智能化，将带来“智能物种”的大爆发，促使所有领域的产品迭代升级。因此，各行各业对设计的需求将随之增长，行业机会大量涌现。来源：Home Design AI;小绿裙AI设计;浙大设计在大模型的支持下，面向不同领域的产品将迎来全面进化，从而具备更加强大的学习和决策能力，能更加高效、准确、创造性地解决领域中的实际问题。未来，设计、教育、科研、编程、商业等所有行业将涌现大量设计需求，为传统工作流程带来全新的变革。Home Design AI 是一款集成了40余种风格的家装设计工具。用户能够轻松且快速地看到对已有的家装进行风格变换后的效果。对于用户的需求，模型只需文本和参考图像等简单的输入，就可以将其映射为令人满意的设计结果，使得人人都能成为自己的设计师。由 AIGC 生成的小绿裙设计作品近日在小红书走红，并迅速被商家进行打版和销售。这种由 AIGC 先出设计图，再由用户驱动推进制造的 C2M 模式正迅速重塑传统的电商规则。模型推动的设计大众化#行业实践模型赋能的智能物种爆发#解决方案#学术前沿25挑战智能设计智能设计行业冲击加剧技法壁垒消失设计风格受限模型知识同化机械劳动取代智能水平提升设计风格复用用户体验提升人机关系升级创作门槛降低链接能力整合能力拓展能力机遇智能物种爆发行业机会涌现在大模型的推动下，设计师使用模型调用设计理论和实践经验等知识，在人机协作中完成设计任务。大模型时代：智能设计的机遇与挑战报告未来10年的科技进步，将超过之前100年的总和。Well experience more technological progress in the coming decade than we did in the preceding 100 years put together.The top trends in tech麦肯锡,2021报告团队浙江大学：尤伟涛、程卓艺、陆胤瑜、陈实、孙凌云阿里巴巴：杨光、杨昌源、杨智渊浙江大学国际设计研究院阿里巴巴设计浙江大学-阿里巴巴前沿技术联合研究中心特别鸣谢中国人工智能学会-智能创意与数字艺术专委会浙大设计公众号Alibaba Design公众号这是一份活的报告，正持续成长批评、观点、案例 联系我们：最新版本请关注：浙大设计公众号