亮风台新提端到端AR投影光学补偿算法.docx
《亮风台新提端到端AR投影光学补偿算法.docx》由会员分享,可在线阅读,更多相关《亮风台新提端到端AR投影光学补偿算法.docx(21页珍藏版)》请在淘文阁 - 分享文档赚钱的网站上搜索。
1、亮风台新提端到端AR投影光学补偿算法【编者按】作为计算机视觉领域里的顶级会议CVPR2019录取论文代表了计算机视觉领域在2019年度最新的科技程度和将来开展潮流。今年度有超过5165篇大会论文投稿最终录取1299篇。这些录取的最新科研成果涵盖了计算机视觉领域各项前沿工作。而此次介绍的来自美国天普大学TempleUniversity以及美图-亮风台结合实验室的黄兵姚以及凌海滨提出了端到端的投影广度补偿的策略。据解析相关论文?End-to-endProjectorPhotometricCompensation?还入选了CVPR2019的oralpresentation代码已经开源。论文地址s:/
2、arxiv.org/abs/1904.04335v1黄兵姚1,2凌海滨11天普大学2美图亮风台结合实验室亮风台信息科技摘要投影仪光度补偿旨在修改投影仪输入图像使得它可以抑制或者抵消投影外表上面纹理或者图案带来的干扰。在本文中我们首次将补偿问题表述为端到端学习问题并提出一个名为CompenNet的卷积神经网络来隐含地学习复杂的补偿函数。CompenNet由一个类似UNet的骨干网以及一个自动编码器子网组成。这种架构鼓励相机捕获的投影外表图像以及输入图像之间的丰富的多级交互因此捕获投影外表的光度以及环境信息。此外视觉细节以及交互信息是在多级跳过卷积层中进展的。该架构对于投影仪补偿任务十分重要因为在
3、理论中仅允许使用很小的训练数据集来保证模型学习的速度。我们做出的另一项奉献是一种新颖的评估基准它独立于系统设置因此可以进展定量验证。据我们所知由于传统评估要求硬件系统实际投影最终结果因此以前无法获得此类基准测试。从我们的端到端问题公式出发我们的主要思想是使用合理的替代来防止这种投影经过进而到达独立于系统设置的评估标准。我们的方法在基准测试中得到了仔细的评估结果说明我们提出的解决方案在定性以及定量指标上都优于现有技术程度。1.介绍图1.(a)正常光照下的具有纹理以及颜色的投影屏幕。(b)投影仪投射的图片也是我们想要看到的效果。(c)相机拍摄到的没有补偿的投影结果即将(b)直接投影到(a)上。(d
4、)我们模型计算出的补偿图。(e)相机拍到的补偿后的效果即将(d)投影到(a)上。比拟(c)以及(e)我们看到明显提升的效果以及细节。投影仪广泛用于演示电影构造光以及投影映射等应用。为了保证用户看到的投影质量现有的投影仪系统典型地要求投影外表屏幕是白色以及无纹理的并且处在在合理的环境光照下。然而这种要求在很大程度上限制了这些系统的适用性。为解析决以上限制投影仪光度补偿或者简称投影仪补偿旨在通过修改投影仪输入图像来补偿投影外表和相关的环境光度。如图1所示其中补偿的投影结果e明显比未补偿的投影结果c更令人视觉舒适。典型的投影仪补偿系统包括相机-投影仪对以及放置在固定间隔以及方向上的投影外表。首先投影
5、仪将一系列采样图像投射到投影外表然后投射的采样图像会根据投影外表材料被吸收被反射或者被折射。一旦相机捕获了所有投影的采样图像我们会根据投射的以及捕获的采样图像对来拟合一个从投影仪输入图到相机捕获图的复合辐射传递函数。然后使用该函数或者其反函数推断新的投影仪输入图像的补偿图像。现有的解决方案通常显式地地对补偿函数进展建模其中通过各种简化的假设使得补偿函数的估计变得容易。然而这些假设往往是违背实际情况的例如依赖于背景第2节。此外由于投影反射以及捕获这个光学经过的宏大复杂性对补偿经过显式建模几乎是不可能的。在本文中我们首次提出了端到端投影仪补偿方案用以解决上述问题。我们首先将补偿问题重新定义为一种可
6、以在线学习的新颖形式如同投影仪补偿实际要求的那样。这种问题构造就使得我们开发出一种名为CompenNet的卷积神经网络CNN以隐含地学习复杂的补偿函数。十分是CompenNet由两个子网组成一个类似UNet的骨干网以及一个自动编码器子网。首先自动编码器子网鼓励相机捕获的投影外表图像以及投影仪输入图像之间的丰富的多层次交互这样我们可以提取到投影外表的光度以及环境信息。其次类似UNet的骨干网络我们也使用多级跳过卷积层将视觉细节以及交互信息传送到更深层以及输出层。这两个子网共同使CompenNet在理论中有效并使得CompenNet学习从相机捕获到的投影图像到投影仪输入图像的复杂反向映射。此外我们
7、还设计了一个预训练方案只需牺牲一点准确度就可以进一步进步网络训练效率。本文讨论的另一个问题是目前这个领域缺乏一个投影仪补偿模型的评价基准主要是因为传统评价高度依赖于环境设置。详细地讲为了评估补偿算法理论上其实验结果是需要实际投影以及捕获然后再定量地与真值进展比拟。这个经过使得分享一样的评价基准不实在际的。在我们这项工作中我们提出一个替代评价协议该协议不要务实际投影。这样我们首次构建了一个可分享的独立于环境设置的评价基准。本文提出的投影仪补偿网络即CompenNet在替代评价基准上进展评估该基准经过精心设计以涵盖各种具有挑战性的因素。在实验中与最先进的解决方案相比CompenNet显示出明显的优
8、势。总之在本文中我们做出以下奉献1.我们首次提出了一种用于投影仪补偿的端到端解决方案。这种解决方案允许我们的系统有效地以及隐式地捕获投影仪补偿经过中涉及的复杂光学经过。2.我们提出的CompenNet有两个重要的子网它们可以让投影外表以及投影仪输入图像之间实现丰富的多层次交互并通过网络传输交互信息以及构造细节。3.我们提出了一种预训练方法以进一步进步我们系统的实用效率。4.我们首次构建了与独立于环境设置的投影仪补偿评价基准这有助于这个领域将来的研究工作。源代码基准测试以及实验结果可在s:/github/BingyaoHuang/CompenNet上获得。2.相关研究理论上投影仪补偿经过是一个非
9、常复杂的非线性函数涉及相机以及投影仪传感器的辐射响应镜头失真/渐晕散焦外表材料反射特性以及互相反射。目前已有大量的研究致力于设计实用以及准确的投影仪补偿模型这些模型大致可分为情景相关以及情景独立的模型。详细的讨论可以在4,12中找到。情景独立的方法通常假设在投影仪输入图像以及相机捕获图像的像素之间存在近似的一对一映射即相机捕获图像的像素仅取决于其对应的投影仪输入图像的像素以及被这个投影仪像素照明的外表块。即每个像素大致独立于其邻域像素。Nayar等人的先驱工作提出了一种线性模型该模型使用33颜色混合矩阵将投影仪光线亮度映射到相机检测到的辐照度。Grossberg等通过在相机捕获的辐照度上添加3
10、1矢量来改善Nayar的工作并对环境光照进展建模。然而他们需要一个光谱辐射计来标定相机的均匀辐射响应函数。此外正如20中所指出的即使使用光谱辐射计通常也会违背均匀辐射响应的假设更不用讲线性度。考虑到传递函数的非线性Sajadi等用93729个采样图像拟合了一个平滑的高维Bezier贴片模型。Grundhofer以及Iwai提出了一种基于薄板样条TPS的方法并将采样图像的数量减少到53125并通过全局优化步骤进一步处理剪切误差以及图像平滑度。除了以数学方式优化图像颜色之外有一些方法还十分关注人类视觉感悟特性例如Huang等人通过探究人类视觉系统的色彩适应以及感悟锚定属性来生成令人视觉愉悦的投影图
11、像。此外使用色域缩放可最大限度地减少由于相机/投影仪传感器限制导致的剪切伪影。尽管以上方法在很大程度上简化了投影仪补偿问题但由于诸如投影仪以及投影外表的间隔透镜畸变散焦以及外表互相反射等许多因素在理论中通常会违背情景独立的假设。此外显然一条投影仪射线可以照射多个外表块一个外表块可以以被其周围外表块的互相反射来照明并且相机像素也是由多条贴片反射的光线确定的。情景相关的方法通过考虑来自邻域的信息来补偿像素。Grundhofer等通过先前分析投影外表以及图像来处理视觉伪像并进步亮度以及比照度。Li等通过稀疏采样以及线性插值将采样图像的数量减少到至少两个。他们提取多维反射矢量作为颜色传递函数控制点。由
12、于采样点的尺寸小这种方法可能是敏感的投影或者聚焦以及镜头渐晕。使用这些不可靠的样本进展简单的线性插值可能会增加补偿误差。除了计算一个补偿模型Aliaga等引入了运行时线性缩放操作来优化多个投影仪补偿。Takeda等提出了一种使用紫外LED阵列的互相补偿方法。情景相关类方法通常通过集成更多信息来改良先前的情景独立的方法。然而由于全局照明投影外表以及输入图像之间的复杂互相作用很难对理想的补偿经过进展建模或者近似。此外大多数现有工作集中于减少像素颜色误差而不是同时改善与目的图像的像素颜色误差以及构造相似性。我们的方法属于情景相关类并且实际上通过使用CNN构造来捕获更丰富的情景信息。作为第一个端到端的
13、基于学习的解决方案我们的方法隐式且有效地模拟了复杂的投影仪补偿经过。此外我们提出的评价基准是第一个可以被分享的可验证的定量评估的基准。我们的方法其实受到了最近的基于深度学习的图到图迁移模型的启发如pix2pixCycleGAN风格转移图像超分辨率以及图像着色等。也就是讲作为第一个基于深度学习的投影仪补偿算法我们的方法与这些研究有很大的不同并且有其特殊的约束条件。例如与上述训练一次然后就可以运用在不同场景的CNN模型不同在我们的场景下假如系统设置发生了变化那么需要快速重新训练投影仪补偿模型。然而在理论中收集训练图像以及训练模型都是耗时的。此外诸如图像裁剪以及仿射变换之类的数据增强不适用于我们的任
14、务因为每个相机像素与其对应的投影仪像素的邻域和由像素照射的投影外表贴片强耦合。此外一般图到图的迁移模型不能拟合在全局光照投影仪背光以及投影外表之间的复杂光谱互相作用。事实上在我们的实验评价中我们所提出的方法在定性以及定量指标上明显的优于经典的pix2pix模型。3.深度投影仪补偿3.1问题定义我们的投影仪补偿系统包括一个相机-投影仪对以及一个平面投影外表。令投影仪输入图像为x;并让投影仪以及相机的复合几何投影以及辐射传递函数分别为p以及c。设外表光谱反射特性以及光谱反射函数分别为s以及s。让全局照明辐照度分布为g然后相机捕获的图像x由下式给出投影仪补偿的问题是找到一个投影仪输入图像x*名为x的
15、补偿图像使得相机捕获的图像与所祈望的观看者感悟图像一致即然而在上述情况下的光谱互相作用以及光谱响应是非常复杂的并且传统方法并不能很好的解决。此外理论中也很难直接测量g以及s。出于这个原因我们使用相机捕获的全局照明以及投影仪背光下的外表图像并用这张图捕捉它们的光谱互相作用图2所提出的投影仪补偿管道的流程图包括三个主要步骤。a投影并捕捉投影外表图以及一组采样图像。b使用投影外表图以及捕获的图像对训练所提出的CompenNet即。c利用训练的模型补偿输入图像y并投影。其中x0理论上是一张全黑的图。实际上即使输入图像为黑色投影仪也会输出一些背光px0因此我们将这个因子封装在s中。当全局照明较低时s会受
16、到因相机动态范围导致的色域剪切影响因此我们将x0设置为纯灰色图像以提供一些照明。将方程式2中的复合辐射传递函数表示为并用s代替g以及s我们得到补偿问题为其中是的逆函数显然没有闭解。3.2基于学习的表述基于学习的解决方案的关键要求是可用的训练数据。在下文中我们推导出一种采集此类数据的方法。观察3.1中的问题表述我们发现这说明我们可以从采样的xx以及一张投影外表图学习如图3所示。事实上一些先前的解决方案使用了类似的想法来拟合但是基于一些简单的假设以及没有考虑s。相反我们使用深度神经网络解决方案重新制定投影仪补偿问题该解决方案可以保持投影仪补偿的复杂性。十分是我们使用端到端可学习卷积神经网络对补偿经
- 配套讲稿:
如PPT文件的首页显示word图标,表示该PPT已包含配套word讲稿。双击word图标可打开word文档。
- 特殊限制:
部分文档作品中含有的国旗、国徽等图片,仅作为作品整体效果示例展示,禁止商用。设计者仅对作品中独创性部分享有著作权。
- 关 键 词:
- 亮风台新提端到端 AR 投影 光学 补偿 算法
限制150内