智能计算光学显微镜.docx

《智能计算光学显微镜.docx》由会员分享，可在线阅读，更多相关《智能计算光学显微镜.docx（12页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、智能计算光学显微镜目录1 .导读“计算光学显微成像”是近十年来出现的一个新术语。它可以被视为“计 算成像”的一个分支，也可以理解为“计算成像”技术在光学显微镜领域的延 伸和应用。与传统光学显微成像技术“先成像，后处理”的成像方式截然不 同，计算光学显微成像采用“先调制，再拍摄，最后解调”的成像方式，伴随 而来的是传统光学显微成像技术难以获得的革命性优势，例如：提高成像质 量，简化成像系统，突破光学系统与图像采集设备的物理限制等，使显微成像 系统在信息获取能力、功能、性能指标等方面获得显著提升。近年来，发光二 极管(LED)与图像传感器等光电器件、现代数字计算机和智能手机的革命为计算 光学显微镜

2、的快速开展提供了新的机遇与空间。新颖的计算光学显微成像技术 层出不穷，如数字全息显微(digital holography, DH)、光强传输方程(transport of intensity equation, TIE) 差分相衬显微(differential phase contrast, DPC) 无透 镜片上全息(lens-free on-chip holography, LFH)和傅里叶叠层显微(fourier ptychographic microscopy, FPM)等。这些技术不仅能提供无标记、多模态、高 分辨、宽视场的定量相位成像能力，还面向生物医学和工业测量开展出一系列 新

3、颖应用。然而不得不成认的是，现阶段大多数计算显微技术仍处于“概念验 证”或“原型验证”的早期阶段。而对于任何一项新技术而言，将这些新型的 概念和技术转化为具有实用价值的工程化系统，即独立的光学设备与仪器，是 其在生物医学、工业和教育领域得以广泛推广与实际应用的必经之路。南京理工大学的智能计算成像实验室(SCILab: scilaboratory )致力于 研发新一代计算成像与传感技术，在国家重大需求牵引及重点工程支持下开展 新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在光 学显微、光学计量、生命科学、生物医药、智能制造、遥感监测以及军事国防 领域的前沿应用。通过多年不懈努力

4、，实验室研制出了四台基于计算成像原理 的“智能计算光学显微镜，smart computational light microscopes(SCLMs)v。它第1页共12页图7小型化 智能化、多模态、定量化的MMC-SCLM,方便携带并兼容于细胞培养装置7.高通量无透镜智能计算光学显微镜一HTL-SCLMHTL-SCLM是具有最简单的系统结构的显微镜。它去除了传统显微系统中的 物镜，结合多波长LED阵列照明，利用紧贴待测样品的成像探测器直接记录近 场衍射图像。基于菲涅尔域中光强传输与波长的可置换性，采用多波长照明实 现非机械离焦38,利用非干涉相位恢复技术重构高通量的样本信息39 - 41 o

5、HTL-SCLM可在约30mm2的宽视场下，实现横向分辨率为870nm的超像素分辨 成像，可同时提供数以万计个未染色海拉细胞的高通量定量相位信息。该小型 化、高通量的无透镜显微镜可以为远程医疗或床边诊断(POCT)提供一种具有前 景的高性能、低本钱解决方案。第10页共12页.图8HTL-SCLM具有最简单的系统结构，在约30mm2的宽视场下，实现870nm的超像素分辨率结果当然，只通过书面文字和图片，读者们可能还是无法直观感受到这些计算 光学显微镜的魅力。因此，我们在本文的结尾还准备了一段视频来更形象地介 绍这四台显微镜的结构组成与基本原理，并对它们的功能进行直观地展示。通 过这个视频的展示，

6、我相信大家一定会这些显微镜的功能与性能印象深刻。这 段视频的主角正是“我们，一群SCILab的博士研究生。而这四台显微镜就是我们博士期间科研成果“工程化”后的成果。南堂隹2大年MANJMG mmWHY OF SOENCf 光敏定位显微镜(photo-activated localization microscopy, PALM)12 随机光学 重建显微镜(stochastic optical reconstruction microscopy, STORM)13等超分辨成第2页共12页像技术利用荧光分子的光开关效应，绕开了一百多年来似乎一直被认为是无法 突破的阿贝衍射极限，由此光学“显微”技术

7、也逐渐步入了 “显纳”时代。与之不同的另一种成像机制那么利用入射光的相位（而非强度）变化，所形成的 一系列相差显微技术具有独一无二的优势一一无标记（非染色）14, 15。Zernike 相差显微镜16, 17和Nomarski微分干涉相差显微镜18, 19是其中的代表先 驱。它们通过利用光的衍射和干涉特性将相位差转换成振幅差，从而极大地提 高了透明相位物体在光学显微镜下的可分辨性。相差技术的创造具有划时代的 意义，其开辟了无标记显微成像新纪元，Zernike因此获得了 1953年的诺贝尔 物理学奖。时至今日，以Zernike相差与微分干涉相差为代表的无标记成像技术 几乎已成为了所有的生物显微镜

8、的“标配”，作为荧光显微成像技术亲密无间 的合作伙伴，提供细胞整体的轮廓与形貌信息。然而就像八十年前创造初期那 样，它们仍局限于二维定性观测，无法实现三维定量测量，开展与荧光显微技 术形成鲜明比照，显著滞后。因此开展新型无标记、定量显微成像技术已经成 为当下显微技术开展的一大迫切需求。Staining and fluorescenceTr 4nspoc t-of-wirerarty equMMin;Ddlcfential phase contnst;Fourirf ptychogr年htcLrilrrr orvehap ho*orph)f；Super*resolution fluorescen

9、ce techniquesSumulMftd omesston depteoon fwcroecopjr PbouxKUVAOd locaftcjAUon microscopy.Scochaiuc optical rocoostruetjon nvero9co所 Strucuircd iHummatMxt fntcroicociyiSuper*resolution fluorescence techniquesSumulMftd omesston depteoon fwcroecopjr PbouxKUVAOd locaftcjAUon microscopy.Scochaiuc optical

10、 rocoostruetjon nvero9co所 Strucuircd iHummatMxt fntcroicociyiSpjtul I帅jriteftrferice nwcjouzopy;Wliite-l*lH dffiractxxi phase mtaoscopy：Qmdnwiw bi 0d thparing gecWrnnwt叫 t rHederomM 叫Optical interferometry and holographyDigiul holographic microscopytochmqunptusconffEtcroscopy;Dicrcntal intedctrnce c

11、ontrast mKroscopy;Computational light microscopyPhase changes图1无标记定量相位显微成像已经成为当下显微技术开展的迫切需求。“计算光学显微成像”是近十年来出现的一个新术语。它可以被视为“计 算成像”的一个分支,也可以理解为“计算成像（Computational imaging）技术 在光学显微镜领域的延伸和应用。与传统光学显微成像技术“先成像，后处 理”的成像方式截然不同（图2）,计算光学显微成像采用的是“先调制，再拍 摄，最后解调”的成像方式。其将光学系统（照明、光学器件、光探测器）与数字第3页共12页 图像处理算法作为一个整体考虑

12、，并在设计时一同进行综合优化。前端成像元 件与后端数据处理二者相辅相成，构成一种“混合光学一数字计算成像系 统”，如图2所示。这种新型的成像方式将有望改变成像系统获取信息方式， 提升其获取信息能力，增强资源利用，赋予其诸多传统光学显微成像技术难以 获得甚至无法获得的革命性的优势：例如，提高成像质量（信噪比，比照度，动 态范围），简化成像系统（无透镜、缩小体积、降低本钱），突破光学系统与图像 采集设备的物理限制（衍射极限、采样极限、成像维度、分辨力、视场尺寸），使 显微成像系统在信息获取能力、功能、性能指标（相位、相干度、三维形貌、景 深延拓、模糊复原、重聚焦、改变视角）等方面的获得显著提升，最

13、终实现显微 成像设备的高性能、小型化、智能化。虽然“计算光学显微成像”这个词出现的历史并不长，但其思想早在几十 年前就已渗透在光学显微成像中。计算光学显微成像其实是伴随定量相位成像 技术，如光干涉测量、衍射计算、数字全息、相位恢复等技术的开展而诞生的 （这可能有所争议，因为严格来说很多荧光显微技术也落入计算光学显微成像的 范畴，如超分辨荧光显微技术。所以这里如果加上“无标记”的限定词可能更 为严谨）。这似乎并不难理解，因为计算成像的本质是实现光场的数学表征与信 息化调控，而相位那么是描述光场（严格来说是单色相干光场）最重要的、且无法直 接测量的物理参量之一。到目前为止，计算光学显微已经开展成为

14、一个基础光 学、应用光学、信息光学、计算机视觉和生物光子学的交叉学科领域。伴随着 量子关联成像、穿透散射介质成像等新机制的出现，衍射光学元件、光子集成 器件、超材料、超外表、超透镜等新型光调制器件的引入，人工智能、量子计 算、全光神经网络等新型计算机制的结合，计算光学显微即将步入一个爆发性 的开展阶段。然而不得不成认的是，在计算光学显微成像这一领域，与这些高度前瞻性 “华丽”的机理与概念相映照却是现阶段尚“不成熟”的技术与应用。根据我 们所看到的，计算光学显微成像技术并没有（至少现在还没有）撼动传统显微技术 在生命科学界的地位，带来预计的革命性成果与技术变革。造成这种矛盾的主 要原因是多方面的

15、，其中之一是现阶段大多数计算显微技术仍处于“概念验 证”或“原型验证”的早期阶段（基于传统商用显微镜平台所实现）。而对于任何 一个新技术而言，将这些新型的概念和技术转化为具有实用价值的工程化系第4页共12页统，即独立的光学设备与仪器，是使其在生物医学、工业和教育领域得以广泛 推广与实际应用的必经之路。Conventional light microscopyComputational light microscopyI图2与传统光学显微成像技术“先成像，后处理”的成像方式截然不同，计算光学显微成像 前端成像元件与后端数据处理二者相辅相成，构成一种“混合光学一数字计算成像系统”。3 .技术突破请

16、知悉，您现在所阅读的这篇文章可能会有些“与众不同”。这篇文章的 作者，也就是“我们”，来自于南京理工大学的智能计算成像实验室(SCILab)。 正如其名，我们SQLab针对计算光学成像，特别是计算光学显微成像这一领域 开展了近十年的深入系统研究，建立了广义光强传输方程与相关理论体系，给 出了局部相干光场“相位”的严格定义，形成了 “非干涉定量相位显微成像” 理论与方法，为定量相位成像由“干涉”走向“非干涉”奠定了理论基础20- 25o更重要的是，我们实验室还一直致力于相关技术的工程化与仪器化。通过 我们的不懈努力，实验室历经多年研制出了四台基于计算成像原理的显微镜， 我们将它们统称为“智能计算

17、光学显微镜，smart computational light microscopes(SCLMs)v (见图 3)。第5页共12页图3计算光学显微成像的工程化实现：智能计算成像显微镜。SCLM由一系列先进前沿的计算光学显微成像技术所赋能，包括数字全息显 微(DHM)、光强传输方程(TIE)、差分相衬成像(DPC)、无透镜片上全息成像(LFH) 以及傅里叶叠层显微成像(FPM)等。这些显微镜不仅可以对未染色的样品进行多 模态观察，还可以定量地获取其三维形貌数据，实现实时、动态、高精度、多 维度的定量检测与数据分析。本文的目的就是对这四台显微镜进行全方位的介 绍与剖析。我们将介绍它们的基本原理、

18、硬件配置、重建算法和软件设计。我 们还测试了它们的成像功能与性能指标，并展示了它们在生物医学成像与工业 测量方面的典型应用。图4总结了这四台显微镜的设计概念、成像功能、性能 指标和预期的生物医学应用。下面对这四款显微镜进行分别介绍：第6页共12页DH-SCLMConceptCoherent laser illumination;Interference pattern;Fourier fringe analysis;Phase unwapping;Performance IndexLateral half-pitch resolution: 409nm(40x):Axial resolutio

19、n: 10nm;Imaging FOV: 2.7104mm2(4x);Imaging speed: 20fps;(a)FunctionApplicationNanometric optical path length resolution; Label-free quantitative analysis of biological cells;Full-field measurement;Real-time dynamic quantitative imaging of living cells;Real-time quantitative phase imaging; Micro-opti

20、cs metrology;Digital refocusing;Multi-scale imaging of biological samples;Automatic denoisingetc.Aberration compensation;ConceptProgrammable illumination modulation;Imaging optics coding;Defocusing aperture modulation;PTF with defocusing aperture;Deconvolution solver;Synthetic aperture;Function7 pha

21、se contrast imaging approaches;TIE-based QPI;360 phase gradient observation;Quantitative profile analysis;Multi-depth refocusing;High-throughput imaging;Performance IndexImaging approaches: 7;Lateral half-pitch resolution: 166nm(60x);Axial resolution: 10nm;Imaging FOV: 1.5166mm2(4x);Imaging speed: 3

22、0fps;zScanning: -300pm-300pm;Imaging SBP: 203.91 Mpix(FPM);ApplicationQuantitative imaging and analysis;Full color optical staining imaging;Multi-perspective 3D structure observation;Phase gradient imaging in 360J shear direction; Multi-contrast observation of label-free sample; High-throughput path

23、ology detection;etc.MMC-SCLMConceptNon-standardized objective lens;Programmable illumination control;Asymmetric illumination modulation;PTF with asymmetric illumination;Deconvolution solver;Function5 phase contrast imaging approaches;DPC-based QPI;Quantitative profile analysis;360 phase gradient ima

24、ging;Cell counting analysis;MQP-SCLM S)Performance IndexSystem size:14 16.5x20cm3;Imaging approaches: 5;Lateral half-pitch resolution: 970nm;Imaging FOV: 0.421 Ornrrje4x);Imaging speed: 30fps;(c)ApplicationPoint-of-care testing (POCT);Label-free multi-contrast observation;Real-time observation of ce

25、ll status in the incubator;Telemedicine applications; etc.ConceptLensless holography;Multi-wavelength phase retneval;High-throughput imaging;Iterative reconstruction solver;FunctionQuantitative phase reconstruction;High-throughput imaging;360 phase gradient imaging;Quantitative profile analysis;Cell

26、 counting analysis;Performance IndexSystem size: 130x80 x75mm3;Lateral half-pitch resolution: 870nm;Imaging FOV: 29.8474mm2;Imaging SBP: 39.4Mpix;Imaging speed: 2fps;ApplicationTelemedicine applications;Point-of-care testing (POCT);Quantitative analysis in a large population of cells;Phase gradient

27、imaging in 3600 shear direction;Wide FOV observation of cell status in the incubator; etc.HTL-SCLM(d)图4智能计算光学显微镜的设计概念、成像功能、性能指标和其典型应用。4 .数字全息智能计算光学显微镜一DH-SCLMDH-SCLM基于经典的数字全息显微成像，采用全息干涉技术实现了对无标 记细胞的高比照观察和高精度测量。系统采用我们所研发的主成分分析的像差 校正26, 2刀、亚像素定位、自动数字重聚焦等方法，从后处理角度上最大程第7页共12页 度上补偿了干涉成像所固有的散斑噪声、系统像差和环境敏感

28、性等缺陷。通过 自主开发的配套软件系统，可对体外培养的活细胞进行长时程的定量三维数据 采集和分析，实现对其分裂、凋亡、病变等生命行为的监控。DH-SCLM的无标 记相位成像、高精度相位测量等优势将有望为细胞生物学、微光学检测等领域 提供了一种强大的观测与计量工具。Quantitative phase reconstruction图5基于dh-sclm对无标记海拉细胞进行动态、高比照度观察和高精度定量检测。5 .多模态定量相位智能计算光学显微镜一MQP-SCLMMQP-SCLM结合了计算光学显微成像中照明调制和光学编码的新概念，使 显微镜具备多模态、多尺度、高分辨、高通量的成像特性。系统采用可编

29、程 LED作为照明光源来实现照明孔径、照明波长与照明角度的灵活调控28,配合 电控变焦透镜的快速、远心、无机械位移的焦平面调节能力29,赋予MQP- SCLM在同一系统配置中实现七个不同的成像模式的能力，包括明场、暗场、多 角度光场、莱茵伯格光学染色、差分相衬相位梯度、光强传输方程定量相位成 像21, 22和傅里叶叠层成像30 - 34。采用最优环形照明孔径来实现光强传输 方程定量相位成像方法，使横向分辨率从相干衍射极限拓展到了非相干衍射极 限2L 22o同时，我们为系统开发了配套操作软件，它集硬件控制、模态切 换、多维显示、精确分析为一体，可以满足多样化的生物医学成像和工业检测 需求。第8页

30、共12页Multimode label-free imagingMulti-contrast Visualized observation of HeLa cellsT02&士图6DH-SCLM集七种成像模态于一体，可满足多样化的生物医学成像需求。.小型化多模态智能计算光学显微镜一MMC-SCLMMMC-SCLM是MQP-SCLM的结构剪裁化版本，采用定制的小型化镜头取代 了传统显微镜的成像光路，使整个系统缩小到14X16.5X20cm3。我们采用优 化的半环形照明来实现差分相衬定量相位成像35 - 37,赋予其可达非相干衍 射极限的高分辨率定量成像能力。止匕外，采用可编程LED实现照明孔径的灵活 调节，在同一系统集成明场、暗场、多角度光场、莱茵伯格光学染色、差分相 衬相位梯度、差分相衬定量相位成像六种成像功能28。所有成像功能通过智 能化操作软件一键切换，无需任何的硬件改造。MMC-SCLM具有小型化、智能 化、多模态、定量化的特性，可方便携带并可内置于细胞培养装置，将为细胞 工厂、药物筛选等应用提供强大的技术支持。第9页共12页