AI做不了“真”3D图像？试试Google的新生成模型-精品文档资料整理.docx

AI做不了“真”3D图像？试试Google的新生成模型 编译 | 假设名 出品 | AI科技大本营 用 AI 生成逼真三维物体模型并不像人们以为的那么困难。 近日 在 NeurIPS 2018 会议上接收的论文“ 视觉对象网络 图像生成与别离式的3D表示中 麻省理工学院计算机科学与人工智能实验室 MIT CSAIL 以及 Google 的研究人员介绍了能创造出有逼真纹理以及形状的一个生成式 AI 系统。 该系统是视觉对象网络 VON 系统 不仅可以生成比某些最先进的方法更真实的图像 还可以进展形状以及纹理编辑、视点转换和其他三维调整。   “当代深层生成模型学会了合成逼真的图像 研究人员写道 “但大多数计算模型只专注于生成 2D 图像 而忽略了 3D 世界的美妙.这种视角不可防止地限制了它们在许多领域的实际应用 例如合成数据生成、机器人学习、虚拟现实以及游戏行业。 视觉对象网络系统那么可以通过合成三维形状以及二维图像来解决这个问题 类似于研究人员所称的“别离式的对象表示。图像生成模型被分解为三种因素 形状、视点以及纹理 另外 在计算“2.5 D草图以及添加纹理之前 它需要学习合成三维形状。 重要的是 由于这三个因素是条件独立的 所以模型不需要二维以及三维形状之间的配对数据。这使得团队可以在大规模的二维图像以及三维形状集上进展训练 如 Pix3D Google 图像搜索以及ShapeNet 后者包含 55 个对象类别的数千个 CAD 模型。 为了让 VON 系统学习怎样生成自己的形状 该团队在上述三维形状数据集上训练了一个生成式对抗网络 GAN 。而纹理生成被归类了到另一个基于 GAN 的神经网络。 经过大约两到三天的训练 AI 系统始终如一地生成了令人信服的 128 x 128 x 128 模型 具有优异的反射率、环境照明以及反照率 一种漫射光的度量 。 为了评估图像生成模型 团队计算了用于生成三维模型的 Fréchet Inception Distance 弗雷歇初始间隔 FID 一种与人类感悟相关的度量。此外 他们还向亚马逊 Mechanical Turk 上的五名测试者展示了由 VON 以及其他最先进模型生成的 200 对图像 这些受试者需要在这些图像中选择更真实的结果。 VON 的表现非常出色。它与所有 AI 模型相比具有最低的 FID 值 并且 Mechanical Turk 的受访者表示更喜欢 VON 生成的 74 到 85 的图像。 研究人员将来将专注于从粗糙到精细化的建模 以产生更高分辨率的生成形状以及图像 并将纹理分解为光照以及外观 lighting and appearance 并合成自然场景。 “我们的主要想法是将图像生成经过分解为形状、视点以及纹理三种因素 Google 团队写道 “这种别离式 3D 表示使我们可以在对抗学习框架下从 3D 以及 2D 视觉数据集合中学习模型。与现有的 2D 生成模型相比 我们的模型合成了更逼真的图像 它还可以做到以前的 2D 方法也无法实现的各种 3D 操作。 近年度来 GAN 的研究突飞猛进 十分是在机器视觉领域。 Google 的 DeepMind 子公司在 10 月推出了一个基于 GAN 的系统 以此创立出令人信服的食物、风景、肖像以及动物照片。9 月   Nvidia 的研究人员开发了一种 AI 模型 可以生成脑癌的合成扫描图像 8 月 卡内基梅隆大学的一个团队 演示了 AI 可以将人们已存的动作以及面部表情转换成另一张照片或者视频中的目的对象。最近 爱丁堡大学感悟研究所以及天文学研究所的科学家设计了一种至少可以产生高分辨率星系图像的 GAN。   论文链接 :/papers.nips.cc/paper/7297-visual-object-networks-image-generation-with-disentangled-3d-representations.pdf 原文链接 s:/venturebeat /2018/12/04/google-ai-generates-images-of-3d-models-with-realistic-lighting-and-reflections/ 本文为 AI科技大本营编译文章 转载请联络微信 1092722531。 NEW 菜单晋级啦 一键直通CSDN会员效劳。你关心的开发问题 这里都有答案 搜索 开发疑难/资源一键查找 搜遍CSDN全站 会员购置 专属VIP购置 免积分下载/免广告/获免费课程 下载APP 安装CSDN APP CSDN资源随身带 个人中心 掌上CSDN个人助手 专属您的个人空间 精彩推荐 由CSDN学院重磅打造的人工智能工程师实战班来了 约用百天时间帮助你成为高端人工智能开发工程师的系统课程 更有知名企业推荐就业时机 帮你百天挑战薪资翻倍 扫码沟通一对一职场规划 推荐浏览 杨超越的声音 高晓松的脸如此酸爽的技术 你值得拥有