智能计算光学显微镜.docx

智能计算光学显微镜目录1 .导读“计算光学显微成像”是近十年来出现的一个新术语。它可以被视为“计 算成像”的一个分支，也可以理解为“计算成像”技术在光学显微镜领域的延 伸和应用。与传统光学显微成像技术“先成像，后处理”的成像方式截然不 同，计算光学显微成像采用“先调制，再拍摄，最后解调”的成像方式，伴随 而来的是传统光学显微成像技术难以获得的革命性优势，例如：提高成像质 量，简化成像系统，突破光学系统与图像采集设备的物理限制等，使显微成像 系统在信息获取能力、功能、性能指标等方面获得显著提升。近年来，发光二 极管(LED)与图像传感器等光电器件、现代数字计算机和智能手机的革命为计算 光学显微镜的快速开展提供了新的机遇与空间。新颖的计算光学显微成像技术 层出不穷，如数字全息显微(digital holography, DH)、光强传输方程(transport of intensity equation, TIE)> 差分相衬显微(differential phase contrast, DPC)> 无透 镜片上全息(lens-free on-chip holography, LFH)和傅里叶叠层显微(fourier ptychographic microscopy, FPM)等。这些技术不仅能提供无标记、多模态、高 分辨、宽视场的定量相位成像能力，还面向生物医学和工业测量开展出一系列 新颖应用。然而不得不成认的是，现阶段大多数计算显微技术仍处于“概念验 证”或“原型验证”的早期阶段。而对于任何一项新技术而言，将这些新型的 概念和技术转化为具有实用价值的工程化系统，即独立的光学设备与仪器，是 其在生物医学、工业和教育领域得以广泛推广与实际应用的必经之路。南京理工大学的智能计算成像实验室(SCILab: scilaboratory )致力于 研发新一代计算成像与传感技术，在国家重大需求牵引及重点工程支持下开展 新型光学成像的机理探索、工程实践以及先进仪器的研制工作，并开拓其在光 学显微、光学计量、生命科学、生物医药、智能制造、遥感监测以及军事国防 领域的前沿应用。通过多年不懈努力，实验室研制出了四台基于计算成像原理 的“智能计算光学显微镜，smart computational light microscopes(SCLMs)v。它第1页共12页图7小型化' 智能化、多模态、定量化的MMC-SCLM,方便携带并兼容于细胞培养装置7.高通量无透镜智能计算光学显微镜一HTL-SCLMHTL-SCLM是具有最简单的系统结构的显微镜。它去除了传统显微系统中的 物镜，结合多波长LED阵列照明，利用紧贴待测样品的成像探测器直接记录近 场衍射图像。基于菲涅尔域中光强传输与波长的可置换性，采用多波长照明实 现非机械离焦38,利用非干涉相位恢复技术重构高通量的样本信息39 - 41 o HTL-SCLM可在约30mm2的宽视场下，实现横向分辨率为870nm的超像素分辨 成像，可同时提供数以万计个未染色海拉细胞的高通量定量相位信息。该小型 化、高通量的无透镜显微镜可以为远程医疗或床边诊断(POCT)提供一种具有前 景的高性能、低本钱解决方案。第10页共12页.图8HTL-SCLM具有最简单的系统结构，在约30mm2的宽视场下，实现870nm的超像素分辨率结果当然，只通过书面文字和图片，读者们可能还是无法直观感受到这些计算 光学显微镜的魅力。因此，我们在本文的结尾还准备了一段视频来更形象地介 绍这四台显微镜的结构组成与基本原理，并对它们的功能进行直观地展示。通 过这个视频的展示，我相信大家一定会这些显微镜的功能与性能印象深刻。这 段视频的主角正是“我们"，一群SCILab的博士研究生。而这四台显微镜就是我们博士期间科研成果“工程化”后的成果。南堂隹2大年MANJMG mmWHY OF SOENCf < TBCHHOLOGYSmart Computational Imaging Laboratory (SCILab) 智能计算成像实验室Smart Computational Light Microscop 智能计算光学显微镜Smart Computational Imaging Laboratory (SCILab) Nanjing University of Science and Technology图9来自南理工大学智能计算成像实验室的本论文作者以及他们所研发的智能计算光学显微第11页共12页8.观点评述本文是南京理工大学智能计算成像实验室(SCILab)对计算显微成像技术从 “概念”到“仪器”的一次大胆尝试。“计算成像”与“光学显微”的“联 姻”为显微镜功能与性能带来了前所未有的提升，如一键切换的多模态成像、 非干涉定量相位成像、Gbit像素高通量成像等，这些都是前所未见的。这些新 一代智能计算光学显微镜有望为生命科学提供高分辨率、高灵敏、便利的无标 记成像手段，为临床医学诊断、药物开发、细胞动力学及病理研究等提供强有 力的影像学方法；其无需染色、低本钱、易操作性能够大大降低医疗检测的门 槛，为资源条件有限的地区提供快捷、廉价的即时诊断(point-of-caretest, POCT)工具，为贫困地区一些急、重症病人的早期诊断和及时治疗提供了有利的 条件。计算光学显微成像是否能颠覆“可见即所得”的传统显微成像模式，为今 后光学显微镜的开展翻开一扇崭新的大门？我们即使不能说其是显微技术开展 的必然，但至少从我们的大胆尝试来看，其结果是十分让人惊喜的。我们对其 未来也是信心满满的。尽管现阶段这些显微镜中的某些还不能称得上真正意义 上的商业化产品，但我们相信通过对这些仪器的基本原理与技术细节的介绍， 定会给“计算光学显微成像”这一领域带来一些“不一样”的知识与信息，并 对该领域未来的开展，特别是工程技术及其仪器化应用方面，提供一些有益的 启示。第12页共12页 们由一系列先进前沿的计算光学显微成像技术所赋能，不仅可以对未染色的样 品进行多模态观察，还可以定量地获取其三维形貌数据，实现实时、动态、高 精度、多维度的定量检测与数据分析。该研究成果以Smart computational light microscopes (SCLMs) of smart computational imaging laboratory (SCILab)为题发表 在PhotoniXlo该文章从基本原理与工程实现的角度对这四台智能计算光学显 微镜进行了全方位的介绍与剖析，并展示了它们在生物医学成像与工业测量方 面的典型应用。南京理工大学为本文的第一通讯单位，范瑶、李加基、卢林 荒、孙佳嵩为论文的共同第一作者，南京理工大学陈钱、左超教授为论文的共 同通讯作者。2 .研究背景自400多年前问世以来，光学显微技术经历了不断的革新。它们以越来越 高的分辨率与成像质量，引导人类向无尽的微观世界发起无穷的探索。它已从 安东尼范列文虎克(Antoni van Leeuwenhoek)时代简单的单透镜装置演变成 了一种极为重要且精密的观察与计量科学仪器，广泛地应用于生物、化学、物 理、冶金、酿造、医学等各种科研活动，对人类的开展作出了巨大而卓越的贡 献。特别是在生命科学领域，光学显微技术引领着人类翻开微生物世界的大 门，为生命科学研究与现代临床疾病诊断提供有力的影像学依据，成为推动生 命科学和基础医学进步不可或缺的重要工具。自诞生以来，光学显微镜的开展一直面临着两方面的巨大挑战一一 “分辨 率”与“比照度”。前者受限于恩斯特阿贝(Ernst Abbe)1873年发表的著名 的阿贝分辨率极限公式(即显微镜的分辨率只有光波长的一半)，后者那么受限于大 多数生物样品的弱吸收和弱散射性。荧光显微镜4、激光共聚焦显微镜5、全 内反射荧光显微镜6、双/多光子荧光显微镜7, 8、光片显微镜9, 10等的问 世极大地促进了生命科学研究水平的进步，成为生命科学研究与现代医学诊断 中不可缺少的重要工具。2014年，诺贝尔化学奖授予了超分辨率荧光显微技 术,受激发射损耗显微镜(stimulated emission depletion microscopy, STED)11 > 光敏定位显微镜(photo-activated localization microscopy, PALM)12> 随机光学 重建显微镜(stochastic optical reconstruction microscopy, STORM)13等超分辨成第2页共12页像技术利用荧光分子的光开关效应，绕开了一百多年来似乎一直被认为是无法 突破的阿贝衍射极限，由此光学“显微”技术也逐渐步入了 “显纳”时代。与之不同的另一种成像机制那么利用入射光的相位（而非强度）变化，所形成的 一系列相差显微技术具有独一无二的优势一一无标记（非染色）14, 15。Zernike 相差显微镜16, 17和Nomarski微分干涉相差显微镜18, 19是其中的代表先 驱。它们通过利用光的衍射和干涉特性将相位差转换成振幅差，从而极大地提 高了透明相位物体在光学显微镜下的可分辨性。相差技术的创造具有划时代的 意义，其开辟了无标记显微成像新纪元，Zernike因此获得了 1953年的诺贝尔 物理学奖。时至今日，以Zernike相差与微分干涉相差为代表的无标记成像技术 几乎已成为了所有的生物显微镜的“标配”，作为荧光显微成像技术亲密无间 的合作伙伴，提供细胞整体的轮廓与形貌信息。然而就像八十年前创造初期那 样，它们仍局限于二维定性观测，无法实现三维定量测量，开展与荧光显微技 术形成鲜明比照，显著滞后。因此开展新型无标记、定量显微成像技术已经成 为当下显微技术开展的一大迫切需求。Staining and fluorescenceTr 4nspoc t-of-wirerarty equMMin;Ddlcfential phase contnst;Fourirf ptychogr年htcLrilrrr orvehap ho*or«ph)f；Super*resolution fluorescence techniquesSumulMftd omesston depteoon fwcroecopjr PbouxKUVAOd locaftcjAUon microscopy.Scochaiuc optical rocoostruetjon nvero9co所 Strucuircd iHummatMxt fntcroicociyiSuper*resolution fluorescence techniquesSumulMftd omesston depteoon fwcroecopjr PbouxKUVAOd locaftcjAUon microscopy.Scochaiuc optical rocoostruetjon nvero9co所 Strucuircd iHummatMxt fntcroicociyiSpjtul I帅jriteftrferice nwcjouzopy;Wliite-l*lH dffiractxxi phase mtaoscopy：Qmdnwiw bi 0d thparing gecWrnnwt叫 t rHederomM 叫Optical interferometry and holographyDigiul holographic microscopytochmqunptusconffEtcroscopy;Dicrcntal intedctrnce contrast mKroscopy;Computational light microscopyPhase changes图1无标记定量相位显微成像已经成为当下显微技术开展的迫切需求。“计算光学显微成像”是近十年来出现的一个新术语。它可以被视为“计 算成像”的一个分支,也可以理解为“计算成像"（Computational imaging）技术 在光学显微镜领域的延伸和应用。与传统光学显微成像技术“先成像，后处 理”的成像方式截然不同（图2）,计算光学显微成像采用的是“先调制，再拍 摄，最后解调”的成像方式。其将光学系统（照明、光学器件、光探测器）与数字第3页共12页 图像处理算法作为一个整体考虑，并在设计时一同进行综合优化。前端成像元 件与后端数据处理二者相辅相成，构成一种“混合光学一数字计算成像系 统”，如图2所示。这种新型的成像方式将有望改变成像系统获取信息方式， 提升其获取信息能力，增强资源利用，赋予其诸多传统光学显微成像技术难以 获得甚至无法获得的革命性的优势：例如，提高成像质量（信噪比，比照度，动 态范围），简化成像系统（无透镜、缩小体积、降低本钱），突破光学系统与图像 采集设备的物理限制（衍射极限、采样极限、成像维度、分辨力、视场尺寸），使 显微成像系统在信息获取能力、功能、性能指标（相位、相干度、三维形貌、景 深延拓、模糊复原、重聚焦、改变视角）等方面的获得显著提升，最终实现显微 成像设备的高性能、小型化、智能化。虽然“计算光学显微成像”这个词出现的历史并不长，但其思想早在几十 年前就已渗透在光学显微成像中。计算光学显微成像其实是伴随定量相位成像 技术，如光干涉测量、衍射计算、数字全息、相位恢复等技术的开展而诞生的 （这可能有所争议，因为严格来说很多荧光显微技术也落入计算光学显微成像的 范畴，如超分辨荧光显微技术。所以这里如果加上“无标记”的限定词可能更 为严谨）。这似乎并不难理解，因为计算成像的本质是实现光场的数学表征与信 息化调控，而相位那么是描述光场（严格来说是单色相干光场）最重要的、且无法直 接测量的物理参量之一。到目前为止，计算光学显微已经开展成为一个基础光 学、应用光学、信息光学、计算机视觉和生物光子学的交叉学科领域。伴随着 量子关联成像、穿透散射介质成像等新机制的出现，衍射光学元件、光子集成 器件、超材料、超外表、超透镜等新型光调制器件的引入，人工智能、量子计 算、全光神经网络等新型计算机制的结合，计算光学显微即将步入一个爆发性 的开展阶段。然而不得不成认的是，在计算光学显微成像这一领域，与这些高度前瞻性 “华丽”的机理与概念相映照却是现阶段尚“不成熟”的技术与应用。根据我 们所看到的，计算光学显微成像技术并没有（至少现在还没有）撼动传统显微技术 在生命科学界的地位，带来预计的革命性成果与技术变革。造成这种矛盾的主 要原因是多方面的，其中之一是现阶段大多数计算显微技术仍处于“概念验 证”或“原型验证”的早期阶段（基于传统商用显微镜平台所实现）。而对于任何 一个新技术而言，将这些新型的概念和技术转化为具有实用价值的工程化系第4页共12页统，即独立的光学设备与仪器，是使其在生物医学、工业和教育领域得以广泛 推广与实际应用的必经之路。Conventional light microscopyComputational light microscopyI图2与传统光学显微成像技术“先成像，后处理”的成像方式截然不同，计算光学显微成像 前端成像元件与后端数据处理二者相辅相成，构成一种“混合光学一数字计算成像系统”。3 .技术突破请知悉，您现在所阅读的这篇文章可能会有些“与众不同”。这篇文章的 作者，也就是“我们”，来自于南京理工大学的智能计算成像实验室(SCILab)。 正如其名，我们SQLab针对计算光学成像，特别是计算光学显微成像这一领域 开展了近十年的深入系统研究，建立了广义光强传输方程与相关理论体系，给 出了局部相干光场“相位”的严格定义，形成了 “非干涉定量相位显微成像” 理论与方法，为定量相位成像由“干涉”走向“非干涉”奠定了理论基础20- 25o更重要的是，我们实验室还一直致力于相关技术的工程化与仪器化。通过 我们的不懈努力，实验室历经多年研制出了四台基于计算成像原理的显微镜， 我们将它们统称为“智能计算光学显微镜，smart computational light microscopes(SCLMs)v (见图 3)。第5页共12页图3计算光学显微成像的工程化实现：智能计算成像显微镜。SCLM由一系列先进前沿的计算光学显微成像技术所赋能，包括数字全息显 微(DHM)、光强传输方程(TIE)、差分相衬成像(DPC)、无透镜片上全息成像(LFH) 以及傅里叶叠层显微成像(FPM)等。这些显微镜不仅可以对未染色的样品进行多 模态观察，还可以定量地获取其三维形貌数据，实现实时、动态、高精度、多 维度的定量检测与数据分析。本文的目的就是对这四台显微镜进行全方位的介 绍与剖析。我们将介绍它们的基本原理、硬件配置、重建算法和软件设计。我 们还测试了它们的成像功能与性能指标，并展示了它们在生物医学成像与工业 测量方面的典型应用。图4总结了这四台显微镜的设计概念、成像功能、性能 指标和预期的生物医学应用。下面对这四款显微镜进行分别介绍：第6页共12页DH-SCLMConceptCoherent laser illumination;Interference pattern;Fourier fringe analysis;Phase unwapping;Performance IndexLateral half-pitch resolution: 409nm(40x):Axial resolution: 10nm;Imaging FOV: 2.7104mm2(4x);Imaging speed: 20fps;(a)FunctionApplicationNanometric optical path length resolution; Label-free quantitative analysis of biological cells;Full-field measurement;Real-time dynamic quantitative imaging of living cells;Real-time quantitative phase imaging; Micro-optics metrology;Digital refocusing;Multi-scale imaging of biological samples;Automatic denoisingetc.Aberration compensation;ConceptProgrammable illumination modulation;Imaging optics coding;Defocusing aperture modulation;PTF with defocusing aperture;Deconvolution solver;Synthetic aperture;Function7 phase contrast imaging approaches;TIE-based QPI;360° phase gradient observation;Quantitative profile analysis;Multi-depth refocusing;High-throughput imaging;Performance IndexImaging approaches: 7;Lateral half-pitch resolution: 166nm(60x);Axial resolution: 10nm;Imaging FOV: 1.5166mm2(4x);Imaging speed: 30fps;zScanning: -300pm-300pm;Imaging SBP: 203.91 Mpix(FPM);ApplicationQuantitative imaging and analysis;Full color optical staining imaging;Multi-perspective 3D structure observation;Phase gradient imaging in 360J shear direction; Multi-contrast observation of label-free sample; High-throughput pathology detection;etc.MMC-SCLMConceptNon-standardized objective lens;Programmable illumination control;Asymmetric illumination modulation;PTF with asymmetric illumination;Deconvolution solver;Function5 phase contrast imaging approaches;DPC-based QPI;Quantitative profile analysis;360° phase gradient imaging;Cell counting analysis;MQP-SCLM S)Performance IndexSystem size:14> 16.5x20cm3;Imaging approaches: 5;Lateral half-pitch resolution: 970nm;Imaging FOV: 0.421 Ornrrje4x);Imaging speed: 30fps;(c)ApplicationPoint-of-care testing (POCT);Label-free multi-contrast observation;Real-time observation of cell status in the incubator;Telemedicine applications; etc.ConceptLensless holography;Multi-wavelength phase retneval;High-throughput imaging;Iterative reconstruction solver;FunctionQuantitative phase reconstruction;High-throughput imaging;360° phase gradient imaging;Quantitative profile analysis;Cell counting analysis;Performance IndexSystem size: 130x80 x75mm3;Lateral half-pitch resolution: 870nm;Imaging FOV: 29.8474mm2;Imaging SBP: 39.4Mpix;Imaging speed: 2fps;ApplicationTelemedicine applications;Point-of-care testing (POCT);Quantitative analysis in a large population of cells;Phase gradient imaging in 3600 shear direction;Wide FOV observation of cell status in the incubator; etc.HTL-SCLM(d)图4智能计算光学显微镜的设计概念、成像功能、性能指标和其典型应用。4 .数字全息智能计算光学显微镜一DH-SCLMDH-SCLM基于经典的数字全息显微成像，采用全息干涉技术实现了对无标 记细胞的高比照观察和高精度测量。系统采用我们所研发的主成分分析的像差 校正26, 2刀、亚像素定位、自动数字重聚焦等方法，从后处理角度上最大程第7页共12页 度上补偿了干涉成像所固有的散斑噪声、系统像差和环境敏感性等缺陷。通过 自主开发的配套软件系统，可对体外培养的活细胞进行长时程的定量三维数据 采集和分析，实现对其分裂、凋亡、病变等生命行为的监控。DH-SCLM的无标 记相位成像、高精度相位测量等优势将有望为细胞生物学、微光学检测等领域 提供了一种强大的观测与计量工具。Quantitative phase reconstruction图5基于dh-sclm对无标记海拉细胞进行动态、高比照度观察和高精度定量检测。5 .多模态定量相位智能计算光学显微镜一MQP-SCLMMQP-SCLM结合了计算光学显微成像中照明调制和光学编码的新概念，使 显微镜具备多模态、多尺度、高分辨、高通量的成像特性。系统采用可编程 LED作为照明光源来实现照明孔径、照明波长与照明角度的灵活调控28,配合 电控变焦透镜的快速、远心、无机械位移的焦平面调节能力29,赋予MQP- SCLM在同一系统配置中实现七个不同的成像模式的能力，包括明场、暗场、多 角度光场、莱茵伯格光学染色、差分相衬相位梯度、光强传输方程定量相位成 像21, 22和傅里叶叠层成像30 - 34。采用最优环形照明孔径来实现光强传输 方程定量相位成像方法，使横向分辨率从相干衍射极限拓展到了非相干衍射极 限2L 22o同时，我们为系统开发了配套操作软件，它集硬件控制、模态切 换、多维显示、精确分析为一体，可以满足多样化的生物医学成像和工业检测 需求。第8页共12页Multimode label-free imagingMulti-contrast Visualized observation of HeLa cellsT02&士图6DH-SCLM集七种成像模态于一体，可满足多样化的生物医学成像需求。.小型化多模态智能计算光学显微镜一MMC-SCLMMMC-SCLM是MQP-SCLM的结构剪裁化版本，采用定制的小型化镜头取代 了传统显微镜的成像光路，使整个系统缩小到14X16.5X20cm3。我们采用优 化的半环形照明来实现差分相衬定量相位成像35 - 37,赋予其可达非相干衍 射极限的高分辨率定量成像能力。止匕外，采用可编程LED实现照明孔径的灵活 调节，在同一系统集成明场、暗场、多角度光场、莱茵伯格光学染色、差分相 衬相位梯度、差分相衬定量相位成像六种成像功能28。所有成像功能通过智 能化操作软件一键切换，无需任何的硬件改造。MMC-SCLM具有小型化、智能 化、多模态、定量化的特性，可方便携带并可内置于细胞培养装置，将为细胞 工厂、药物筛选等应用提供强大的技术支持。第9页共12页