数字图像处理光度立体视觉ppt课件.ppt

《数字图像处理光度立体视觉ppt课件.ppt》由会员分享，可在线阅读，更多相关《数字图像处理光度立体视觉ppt课件.ppt（59页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、 Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么信息视觉处理信息视觉处理 光度立体视觉光度立体视觉 Photometric StereoImage&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Materials from:http:/www.cs.cmu.edu/afs/cs/academic/class/15385-s06/lectures/ppts/2Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现

2、象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么DC&CV Lab.DC&CV Lab.CSIE NTU双向反射分布函数（双向反射分布函数（BRDF）pThe bidirectional reflectance distribution function is the fraction of incident light emitted in one direction when the surface is illuminated from another direction.pratio of the scene radiance to the scene irradian

3、ceBi-directional Reflectance Function3Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么:Polar angle :Azimuth angle4Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么双向反射分布函数（双向反射分布函数（BRDF）:polar angle between surface normal and lens center :azimuth angle of the s

4、ensor :emitting from :incident to :irradiance of the incident light at the illuminated surface :radiance of the reflected light :ratio of the scene radiance to the scene irradianceDifferential reflectance model:5Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么双向反射分布函数（双向反射分布函数（BR

5、DF）p定义：输出方向的辐射度与输入方向的辐照度的比率；pBRDF可以从零（在该方向没有反射光）变化至无穷大（输出方向的单位辐射度来自于输入方向任意小的辐射度）；pBRDF在输入和输出方向是对称的。（著名的Helmholtz互易原理）；p尽管对于某些输入与输出的角度，BDRF可以较大，但对大多数来说它不能大。事实上平均值必须相当小。6Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么sourcesurfacereflectionsurfaceincidentdirection bodyreflection B

6、ody Reflection:Diffuse ReflectionMatte AppearanceNon-Homogeneous MediumClay,paper,etc Surface Reflection:Specular ReflectionGlossy AppearanceHighlightsDominant for MetalsImage Intensity =Body Reflection+Surface ReflectionMechanisms of Reflection7Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许

7、你认为浪费这一点点算不了什么Body Reflection:Diffuse ReflectionMatte AppearanceNon-Homogeneous MediumClay,paper,etcSurface Reflection:Specular ReflectionGlossy AppearanceHighlightsDominant for MetalsMany materials exhibitboth Reflections:Example Surfaces8Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这

8、一点点算不了什么viewingdirectionsurfaceelementnormalincidentdirection Lambertian BRDF is simply a constant:albedo Surface appears equally bright from ALL directions!(independent of )Surface Radiance:Commonly used in Vision and Graphics!source intensitysource intensity IDiffuse Reflection and Lambertian BRDF

9、9Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Diffuse Reflection and Lambertian BRDF10Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么CANT perceive the shape of the snow covered terrain!CAN perceive shape in regions lit by the street lamp!WHY?White-out:Snow

10、 and Overcast Skies11Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么 Assume Lambertian Surface with Albedo=1(no absorption)Assume Sky radiance is constant Substituting in above Equation:Radiance of any patch is the same as Sky radiance!(white-out condition)Diffuse Reflection fro

11、m Uniform Sky12Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么source intensity Isurfaceelementnormalincidentdirectionviewingdirectionspecular/mirror direction Mirror BRDF is simply a double-delta function:Valid for very smooth surfaces.All incident light energy reflected in a SI

12、NGLE direction (only when =).Surface Radiance:specular albedoSpecular Reflection and Mirror BRDF13Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Observed Image Color =a x Body Color+b x Specular Reflection ColorRGBKlinker-Shafer-Kanade 1988Color of Source(Specular reflection)Col

13、or of Surface(Diffuse/Body Reflection)Does not specify any specific model forDiffuse/specular reflectionCombing Specular and Diffuse:Dichromatic Reflection14Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Diffuse and Specular Reflectiondiffusespeculardiffuse+specular15Image&Visio

14、n Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Photometric Stereo16Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Image Intensity and 3D GeometrypShading as a cue for shape reconstructionpWhat is the relation between intensity and shape?uReflectance Map17Image&Vision L

15、ab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Surface Normalsurface normalEquation of planeorLetSurface normal18Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Gradient SpaceNormal vectorSource vectorplane is called the Gradient Space(pq plane)Every point on it correspond

16、s to a particular surface orientation20Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Reflectance MappRelates image irradiance I(x,y)to surface orientation(p,q)for given source direction and surface reflectancepLambertian case:source brightness:surface albedo(reflectance):consta

17、nt(optical system)Image irradiance:Let then 21Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么pLambertian caseReflectance Map(Lambertian)cone of constantIso-brightness contourReflectance Map22Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么pLambertian caseiso-

18、brightnesscontourNote:is maximum whenReflectance Map23Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么pGlossy surfaces(Torrance-Sparrow reflectance model)diffuse termspecular termDiffuse peakSpecular peakReflectance Map24Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费

19、这一点点算不了什么Shape from a Single Image?pGiven a single image of an object with known surface reflectance taken under a known light source,can we recover the shape of the object?pGiven R(p,q)(pS,qS)and surface reflectance)can we determine(p,q)uniquely for each image point?NO25Image&Vision Lab在日常生活中，随处都可以

20、看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么SolutionpTake more imagesuPhotometric stereopAdd more constraintsuShape-from-shading26Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Photometric Stereo27Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么pWe can write this

21、 in matrix form:Image irradiance:Lambertian case:Photometric Stereo28Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Solving the Equationsinverse29Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么More than Three Light SourcespGet better results by using more li

22、ghtspLeast squares solution:pSolve for as beforeMoore-Penrose pseudo inverse30Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Color ImagespThe case of RGB imagesuget three sets of equations,one per color channel:uSimple solution:first solve for n using one channeluThen substitute

23、 known n into above equations to getuOr combine three channels and solve for n31Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Computing light source directionspTrick:place a chrome sphere in the sceneuthe location of the highlight tells you the source direction32Image&Vision La

24、b在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么pFor a perfect mirror,light is reflected about NSpecular Reflection-RecappWe see a highlight when pThen s is given as follows:33Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Computing the Light Source DirectionpCan compute N

25、by studying this figureuHints:luse this equation:lcan measure c,h,and r in the imageNrNCHchChrome sphere that has a highlight at position h in the imageimage planesphere in 3D34Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Depth from NormalspGet a similar equation for V2uEach n

26、ormal gives us two linear constraints on zucompute z values by solving a matrix equationV1V2N35Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么积分方法积分方法p积分的方法可以分为局部方法(local approach)和全局方法(global approach)两类。局部方法比较容易操作，计算效率也比较高，可是它会传递误差，因此对光度立体得到的法向数据要求很精确。36Image&Vision Lab在日常生活中，

27、随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么局部和全局积分方法局部和全局积分方法p局部方法：Coleman和 Jain提出了一种扫描算法，是从点P相邻两点的法向矢量来计算P点的深度。Healey 和 Jain是从P 点的相邻8个点的法向来恢复P点的深度的。Wu 和 Li 用格林理论和多路径积分去恢复相对高度。最简单的局部积分方法就是利用梯度从不同路径积分，然后去平均p全局方法：把表面积分当作一个优化问题。因为他把梯度数据当成全局数据，所以这种算法比较抗噪声。Ikeuchi用最小二乘法从针图来估计表面深度。Horn、Frankot and Chell

28、appa、Simchony等也提出了一些相应的全局算法。37Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么积分方法的比较积分方法的比较真实形状38Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么不同方法积分结果不同方法积分结果Possion方程优化方法对尺度的保持比较好Frankot Chellapp频域优化的方法对形态保持的比较好39Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并

29、未意识到自己在浪费，也许你认为浪费这一点点算不了什么不同方法积分结果不同方法积分结果仿射变换方法加权能量方程40Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么LimitationspBig problemsuDoesnt work for shiny things,semi-translucent thingsuShadows,inter-reflectionspSmaller problemsuCamera and lights have to be distantuCalibration requir

30、ementslmeasure light source directions,intensitieslcamera response function41Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Trick for Handling ShadowspWeight each equation by the pixel brightness:pGives weighted least-squares matrix equation:pSolve for as before42Image&Vision La

31、b在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么由多个视图获取表面法线与发射率由多个视图获取表面法线与发射率p一个球面组成的5幅图像，是使用正交投影从一个视角得到的。43Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么由多个视图获取表面法线与发射率由多个视图获取表面法线与发射率p表面的反射系数44Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么由多个视图获取表面法

32、线与发射率由多个视图获取表面法线与发射率p法线向量场45Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么由法线获取表面形状由法线获取表面形状p通过积分求形状46Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么实际例子实际例子p乒乓球图像：(a)(b)(c)(d)(e)(f)(g)(h)47Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什

33、么实际例子实际例子p恢复结果：48Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Original Images49Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Results-ShapeShallow reconstruction(effect of interreflections)Accurate reconstruction(after removing interreflections)50Image&Vis

34、ion Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Results-AlbedoNo Shading Information51Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Original Images52Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Results-Shape53Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的

35、现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Results-Albedo54Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么Results1.Estimate light source directions2.Compute surface normals3.Compute albedo values4.Estimate depth from surface normals5.Relight the object(with original texture and uniform al

36、bedo)55Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么成像系统成像系统56Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么p传统的光度立体视觉视觉需要光源从多个方向依次对物体照明，并拍摄多幅图像，才能完成光度立体的计算需要。近些年来，有学者提出了彩色光度立体的概念，即分别用红、绿、蓝三色光从三个方向对物体进行光照，在一幅彩色图像中分别进行三色光的光度计算，进而恢复立体信息。最新进展最新进展57Image&Visi

37、on Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么最新进展最新进展p三色光同时记录的光度信息是彼此分离的，因为照相机对三色光的光度记录是分开的，对于Bayer相机来说，虽然没有分别记录，但是CCD上每一个像素点的只对一种色光感应，因此也能够进行光度彩色光度立体。58Image&Vision Lab在日常生活中，随处都可以看到浪费粮食的现象。也许你并未意识到自己在浪费，也许你认为浪费这一点点算不了什么进一步学习材料进一步学习材料pDavid A.Forsyth等著,林学訚 等译.计算机视觉一种现代方法M.北京：电子工业出版社，2004.6.phttp:/www.cs.unc.edu/vision/comp256/pDense Photometric stereo,http:/www.cse.ust.hk/cktang/sample_pub/dense_ps_pami06.pdf59