-
摘要:
生物医学光学成像技术因其高分辨率和无辐射毒性的优势成为了连接基础科学研究与临床应用的桥梁,对推动医学进步和提高公共健康水平起到了重要作用。然而,生物医学光学成像系统往往需要将光、机、电、控元件整合为一体,导致设备笨重且昂贵,难以满足人们对即时诊断和体内微创高分辨率成像的需求。随着元件加工手段的进步和新式技术的引入,微型化生物医学光学成像系统的设计制造逐渐开始成为了新的研究热点之一。本文分别对用于体外和体内检测的微型化生物医学光学成像系统的基本原理、关键技术以及在临床中的具体应用进行了深入地综述和总结,最后展望了该领域的发展方向。
Abstract:Biomedical optical imaging techniques have become essential for bridging fundamental scientific research and clinical applications, owing to their high resolution and absence of radiation toxicity. These advancements are crucial for driving medical innovation and improving public health outcomes. However, the integration of optical, mechanical, electrical, and control components in biomedical optical imaging systems often leads to bulky and costly equipment. This complexity limits their capacity to fulfill the growing demand for point-of-care testing (POCT) and high-resolution, minimally invasive imaging. Recent advancements in component fabrication techniques and the emergence of new technologies have positioned the design and manufacture of miniaturized biomedical optical imaging systems as a significant area of research. This review comprehensively addresses the fundamental principles, key technologies, and specific clinical applications of these systems for both in vitro and in vivo detection. Lastly, we provide insights into potential future directions in this evolving field.
-
Key words:
- biomedical /
- optical imaging systems /
- miniaturization /
- endoscopic imaging systems
-
Overview: Recent advancements in biomedical optical imaging have profoundly reshaped medical diagnostics and research, offering high-resolution, non-invasive methods that effectively connect fundamental science with clinical applications. Despite their potential, traditional imaging systems are often hindered by issues of size, complexity, and cost, limiting their utility in real-time diagnostics and in vivo imaging. This manuscript provides an in-depth explanation of miniaturized biomedical optical imaging systems, emphasizing their design principles, technological innovations, and varied applications in both in vitro and in vivo contexts.This study highlights pivotal advancements in miniaturization techniques that have led to the development of compact imaging systems capable of delivering high-quality images while being user-friendly and cost-effective. We examine the fundamental principles underlying these systems, particularly the integration of optical components with micro-electromechanical systems (MEMS) and innovative imaging modalities such as two-photon and three-photon microscopy.In this investigation, we categorize miniaturized imaging systems into two primary modules: in vitro detection systems, which encompass microfluidic optical systems and miniaturized microscopy, and in vivo detection systems, including macro-endoscopic and microscopic endoscopic imaging. We present a series of experimental results that demonstrate the efficacy of these systems across various applications, such as sensitive cellular analysis, real-time monitoring of biological processes, and early disease detection. Importantly, our findings indicate that these miniaturized systems not only enhance imaging resolution but also significantly reduce the invasiveness of procedures, thereby improving patient comfort and clinical outcomes.The manuscript also discusses the integration of artificial intelligence (AI) and machine learning (ML) algorithms with miniaturized imaging systems, highlighting their potential to revolutionize image analysis and interpretation. By leveraging AI and ML, we foresee advancements in automated diagnostics, enabling rapid and accurate assessments in clinical settings.In conclusion, miniaturized biomedical optical imaging systems represent a paradigm shift in medical imaging, offering unprecedented opportunities for improving diagnostic capabilities and therapeutic monitoring. As research continues to advance in this field, these systems are poised to address critical global health challenges, ultimately leading to enhanced patient care and outcomes. Our study underscores the importance of continued innovation in imaging technologies, advocating for further exploration into their integration with emerging computational techniques to maximize their potential impact in healthcare.
-
1. 引 言
生物医学[1]研究是现代科学与医疗健康领域中不可或缺的一部分。例如,通过基因组学[2-4]和蛋白质组学[5-6]的进步,我们能够更深入地了解个体差异对疾病易感性的影响,从而使个性化治疗成为可能。此外,生物医学技术的发展还推动了新药研发[7-8]、疾病诊断[9]以及手术技术[10]的进步,显著提高了公众的整体健康水平。光学成像技术[11-13]作为生物医学领域中的重要工具,经历了从早期显微镜到现代高分辨率成像技术的演变。最初,简单的明场显微镜[14]使科学家能够首次观察和描述微生物世界的奇妙细节。随后,荧光显微镜[15-17]的发展使得科学家能够在细胞和组织中标记特定的分子结构。共聚焦显微镜[18]进一步提升了成像分辨率和深度。传统体外检测所用的商业光学显微镜往往笨重且昂贵,限制了其在偏远和资源有限地区的样本分析和疾病诊断,无法普及即时医疗检测 (point-of-care testing, POCT)[19]。传统的体内成像设备如计算机断层扫描 (computerized tomography, CT)[20]和核磁共振成像 (magnetic resonance imaging, MRI)[21]等也有同样的问题,而且无法呈现光学成像系统可以提供的实时高分辨率的显微或宏观信息。随着光电子和光学微机电系统(microelectromechanical system, MEMS)等技术的发展,微型化和低成本化也逐渐成为了光学成像设备发展的主要方向之一[22]。通过对物镜、图像传感器等关键元件的设计和优化,可以把用于体外检测的光学显微系统高度集成,实现其微型化[23]。此外,随着计算光学技术的高速发展,进一步提升了系统的集成度,降低了体积和成本[24]。光学成像系统与微流控芯片的结合[25],极大地推动了即时医疗检测技术的发展。对于体内检测,微型化光学成像系统主要体现在内窥成像系统的发展。内窥成像系统通过自然通道或者微小切口将小尺寸探针深入体内,无创或者微创的实现对体内场景的光学分辨率成像,是多种疾病诊断和早期筛查的金标准[26]。
本文将详细阐述微型化生物医学光学成像系统的发展和应用,具体安排如图1所示。体外检测系统包括微型化显微系统和微型化光流控系统,进一步细分为透镜集成成像系统、无透镜集成成像系统、手机平台成像系统以及集成光流控成像系统。体内检测系统包括宏观内窥成像系统和显微内窥成像系统,可细分为二维宏观内窥成像系统、三维宏观内窥成像系统、胶囊内窥成像系统、共聚焦内窥系统、光学相干层析 (optical coherence tomography, OCT)内窥系统、微型化头戴式显微系统。为了避免内容交叉,本文将基于手机的成像系统并入透镜集成成像系统和集成光流控成像系统中综述。最后,对微型化生物医学光学成像系统的未来发展进行了展望。
2. 体外检测设备
2.1 微型化显微系统
2.1.1 透镜集成成像系统
便携且成本低廉的透镜集成成像系统应具有以下关键特性。首先是轻便性,显微镜应体积小巧、重量轻便,便于携带。其简化的光学系统主要由微型、低成本的透镜组成,这些透镜能大幅减少系统的体积和成本,但牺牲了一定的成像质量。其次,要考虑到系统在恶劣环境下的工作情况,降低设备损坏的潜在成本。显微镜的组件外壳和接口可以通过快速的模型制造技术制造,如3D打印。操作简便性同样十分重要,然而这类显微镜通常不包括自动位移系统,为了控制成本且不影响获取整个切片图像,样品的移动通常需要手动进行。此外,该系统还应具有低能耗的特性。最后,需要有独立的成像系统。此类显微镜依赖于独立的图像捕捉系统,通常使用手机相机以降低成本。这种设置不仅保证了系统的普适性,还能通过移动应用软件实现样本的可视化、处理、决策支持及与远程系统的连通性,包括访问移动服务和提供实时视频流。使用手机作为数码显微成像系统已被证明是一种在通信基础设施有限的偏远地区进行远程诊断的高效低成本解决方案[38]。微型化透镜集成成像系统的光路设计如图2所示,LED灯作为光源,经过激发滤光片和二向色镜折入物镜,进而对样本进行照射,样本激发的光通过管镜和发射滤光片聚焦到互补金属氧化物半导体(complementary metal-oxide semiconductor, CMOS)上成像。
斯坦福大学的Prakash等人[29]设计了一款名为Foldscope的低成本纸制显微镜,其设计灵感源自折纸艺术。这种显微镜由厚纸板构成主体结构,利用激光切割成特定形状,用户可通过折叠的方式组装,整体尺寸为7 cm×2 cm×0.5 cm,质量仅为8 g。它采用直径约1 mm的球形玻璃透镜作为光学系统,放大能力可达140倍。照明设备采用发光二极管(light-emitting diode, LED),利用纽扣电池供电。此外,Foldscope利用纸张的弹性及小型磁铁固定样本并调节焦距。这种显微镜的成本不超过1美元,具有高度的经济性和便携性,适合用于教育、环境监测、医疗诊断及生物多样性研究等领域。Khademhosseini等人[39]利用从微型摄像头上拆卸下来的CMOS,简单的微型化光学元件以及通过激光切割的聚甲基丙烯酸甲酯基片制备了一款便携式低成本的荧光显微镜。设备体积为5.5 cm ×5.5 cm×4.2 cm,质量为65 g,可以实现8~60倍放大以及2 μm的横向分辨率。
基于手机的显微镜作为一种新型的观察工具,其便携性强且安装简便,成本相对较低,适合在资源有限的环境下使用。Ozcan等人[40]利用简便、轻巧且成本效益高的光学部件所集成的组件,将普通手机改造为能够进行荧光和暗场成像的设备。该组件质量仅28 g,主要利用电池供电的LED从侧面对样本进行激发,利用波导效应使激发光在样品内均匀传播,从而均匀地激发标本。该平台的性能通过对不同荧光微样本进行双色成像得到验证,空间分辨率达到20 μm,通过压缩采样理论对手机捕获的图像进行数字处理后,分辨率可提升至10 μm。同样,Gibson等人[41]开发了一款手机显微镜附加夹,将其夹在手机镜头上就可以组成明、暗场双模态的显微成像系统。选择与手机镜头同款的镜组作为物镜,可以最大程度地降低成像像差,放大倍率虽然只有1倍,但像素尺寸仅为1.22 μm,因此系统奈奎斯特采样率为2.44 μm,明场分辨率为4.48 μm,暗场分辨率为5.60 μm。为了提升该系统的放大倍率,Nath等人[42]利用双球透镜结合平凸透镜的方式,得到了放大倍率高达520倍的物镜。基于手机平台的显微镜目前也已经成功商业化,如DIPLE®[43]。DIPLE®显微镜的设计特点在于其镜头与支撑台之间采用磁性耦合,且该设备并未将手机与镜头直接连接,可通过螺旋调节装置可以精细控制镜头与样本之间的距离。高端版本的DIPLE®还支持通过手动螺旋驱动系统进行二维样本扫描。
2.1.2 无透镜集成成像系统
传统镜头由于其较大的质量、体积以及高昂的成本,在一定程度上限制了微型化光学成像系统的发展。为此,对光学成像系统的重新定义和设计得到了长足的发展。近年来,得益于成像硬件的进步、制造技术的革新以及新算法的研究,研究者们已经开发出了无透镜成像系统。这类系统极其紧凑、重量轻、通量高,且能够实现更高维度的成像,展示出了广阔的应用前景[24]。微型化无透镜集成成像系统光路如图3所示,通过在CMOS前放置一个掩模采集样本信息,并进行后处理得到大视场高质量的图像。
为了提高显微成像系统在细胞计数过程中的视场,Ozcan等人[44]提出了一款无透镜片上血细胞成像设备 (LUCAS)。将细胞样本放置在图像传感器上,控制载玻片尺寸小于200 μm,通过非相干光垂直照射,将每个细胞的影子记录在传感器上,并进行计数,实现对细胞的监测和统计。此设备不需要任何机械扫描系统或光学元件就可以实现超过传统光学显微镜两个数量级的细胞监测和计数。LUCAS虽然构造极其简单,却无法对样本的真实形貌进行成像,两年后,Ozcan等人[45]又推出了一款基于非相干全息成像技术的紧凑型无透镜系统,如图4(a)所示。它采用简单的LED和紧凑的光电传感器记录样本的无透镜全息图,通过计算成像技术快速地数字化重构出普通的透射或微分干涉相衬(differential interference phase contrast, DIC)图像。该显微镜重约46 g,体积小于4.2 cm×4.2 cm×5.8 cm,能在约24 cm2的视野内实现亚细胞级别的分辨率。设备拍摄的聚苯乙烯颗粒组成的样品的全视场DIC图像如图4(b)所示。为了进一步提升系统的分辨率,Ozcan等人[46]提出了像素超分辨无透镜成像系统。通过对样本进行多次亚像素尺寸位移后的全息图采集和计算,克服了传感器芯片只能记录2 μm的全息震荡的限制,实现了大视场下0.6 μm的横向分辨率。
Figure 4. Lensless integrated microscopic imaging system. (a) Compact lensless system based on incoherent holographic imaging system[45]; (b) A full-field DIC image of the sample composed of polystyrene particles, acquired using the (a) device; (c) High contrast lensless system[48]; (d) A reconstructed depth-coded image of the fixed Hydra sample, captured using the (c) device; (e) High-resolution 3D fluorescent lensless imaging system, FlatScope[49]. Scale bars of 100 μm; (f) A reconstructed image of fluorescent particles, acquired using the (e) device. Scale bars of 100 μm (50 μm in inset); (g) High SNR lensless imaging system based on a random microlens diffuser[51]; (h) Zebrafish larval sample imaged using the (g) device.同样为了提高无透镜显微成像系统的分辨率,Zheng等人[47]也提出了一款近场盲叠层调制显微镜。通过在目标物体和图像传感器之间放置薄漫射器,利用盲扫描不同的x-y位置,获取一系列调制强度图像,实现定量目标恢复。这项技术通过调制光波在检测路径上的传播实现了盲扫描,即依赖于样本的复杂波前如何离开,而无需事先测量样本的位置信息,相比于传统的傅里叶叠层显微成像系统(Fourier ptychographic microscopy, FPM)更加简化和高效。该设备可以使整个传感器区域(6.4 mm×4.6 mm)成为成像视场,同时可以实现0.78 μm线宽的分辨率。
除数字全息外,添加平面光学调制掩模也可以实现无透镜成像。生物医学样本往往具有致密且对比度低的特点,这对于无透镜成像是一个考验。Robinson等人[48]展示了一款实现高对比度体内组织成像的无透镜系统,如图4(c)所示。通过一个精心设计的光学相位掩模,创建一个由具有宽频谱空间频率的高对比度轮廓组成的点传播函数,进而重建出高信噪比的生物样本信息。设备拍摄的固定水螅样本的重建的深度颜色编码图像如图4(d)所示。
此外,无透镜系统还可以实现单帧3D成像。Veeraraghavan等人[49]提出了一款名为FlatScope的高分辨率3D荧光无透镜成像系统,如图4(e)所示。FlatScope利用了一个优化的振幅掩模放置在传感器上方几百微米处,并结合基于Texas Two-Step (T2S)模型的高效算法,实现了约为2 μm的横向分辨率,约为15 μm的轴向分辨率。该设备重量约0.2 g,厚度不到1 mm。FlatScope是目前世界上最小和最轻的显微镜之一,能够实现微米级分辨率的3D成像。这种新的平面荧光显微镜范式有望应用于小创伤的可植入内窥镜、覆盖大面积的成像器件和适应复杂地形的可弯曲、柔性显微镜。由FlatScope拍摄的荧光粒子重建图像如图4(f)所示。
为了解决传统科研相机系统中需要庞大硬件和复杂设置的问题,Waller等人[50]提出了一种紧凑、便宜的单次拍摄无透镜3D成像光学系统Diffuser Cam。通过在图像传感器前放置散射器,将传感器上产生的伪随机焦散图案,结合压缩感知算法,能够重建比传感器像素更多的体素,从而实现高效的三维成像。此外,提出了新的理论来解释系统中分辨率的变化,为分析透视复杂性和解决逆问题提供了新的分析方法。该系统能够实现大量体素的重建,具有高分辨率、光效率高的特点。设备的体积小,质量轻,横向分辨率约为35 μm,轴向分辨率约为336 μm。然而在无透镜成像系统中,散射片或者编码掩模存在透光率低的特点,因此对于荧光或者弱光样品,其往往效果不理想,进而导致低工作距的问题。为了提高低光照条件下的成像性能,Waller等人[51]提出了使用随机微透镜漫射器的高信噪比无透镜成像系统,如图4(g)所示。该漫射器由许多小透镜随机置于掩模表面,生成的点扩散函数(point spread function, PSF)对噪声具有较强的鲁棒性,将工作距离提高到1.5 mm。此外,为了从原始数据中重构图像,提出了一种实用的校准方案和基于物理的前向模型,以有效处理空间变化的PSF。图4(h)是利用该系统拍摄并重建的斑马鱼幼虫样品图。
无透镜成像系统通过求解成像的逆问题,利用凸优化或深度神经网络来全局重建对象,这两种方法都需要大量的计算资源,且随着图像大小而改变。这种限制来源于需要整体重建的对象空间。高计算需求不仅降低了重建速度,还限制了能够重建的对象体素总数。Yang等人[52]报道了一种使用单层随机微透镜阵列的宽场荧光显微镜GEOMScope,采用创新的混合三维重建算法,几乎能实时处理图像,实现高分辨率的大体积成像,并大幅度减少了计算资源需求,提高了处理速度。
2.1.3 集成光流控成像系统
微流控芯片能够在芯片上操作微尺度液体,实现实验样本的制备、操作、观察和检测,促进了全自动化分析的发展。微流控技术具有微型化、自动化、高通量、高精度和节省样本等优点,这些优点提高了实验的效率,并极大地推动了生命科学的发展。将光学组件与微流控芯片结合,可以开发出紧凑便携的光流控系统[53]。微型化集成光流控成像系统光路如图5所示,微流控芯片内流过的荧光样本信息通过微型化荧光显微镜采集。
为了在环境微生物学研究中提供一种既强大、便携且经济的工具,Ozcan等人[54]介绍了一种在线全息成像流式细胞仪。该设备能够自动检测并实时提供连续流动水样本中无标记物体的彩色图像。该成像流式细胞仪重1 kg,体积为15.5 cm×15 cm×12.5 cm,基于运行在笔记本电脑上的深度学习驱动的相位恢复和全息重建框架进行计算和图像处理。与其它成像流式细胞仪相比,该设备显著更紧凑、更轻便,并且极其经济,配件成本不超过2500美元。通过对洛杉矶海岸线的海洋样本中的微观和纳观浮游生物组成进行成像,验证了设备的有效性。此外,还测量了有害藻类假菱形藻的浓度,并与加利福尼亚公共卫生部的独立测量结果达成了良好的一致性。
Zheng等人[55]将微流控技术与相干衍射成像 (coherent diffraction imaging, CDI)技术结合,开发了一种全芯片、无透镜的显微成像技术——光流控相干衍射成像(optofluidic ptychography),提高了样本的分辨率,同时该技术可以并行集成在许多光流控设备中。该设备通过微流控技术引导样本在通道中流动,流动的物体经过散射层后产生的衍射光被图像传感器捕获,并用于后续的相衍射重建,从而从衍射数据中恢复出高分辨率的定量图像。该设备可以在像素尺寸为1.85 μm的图像传感器上恢复出分辨率为550 nm的图像。
微流控技术与微型化光学系统集成,实现便携的流式细胞仪,也是目前一个十分重要的研究方向,可以实时完成对体液样本中细胞的识别、分选以及计数等,助力及时医疗。Ozcan等人[56]展示了一种在手机上集成流式细胞术和荧光显微技术的方案,如图6(a)所示。该方案设计了一款体积为38 mm×55 mm×27.9 mm,质量为18 g的低成本光流控附件,安装在手机上就可以成为一个便携式流式细胞仪。通过手机摄像头可以记录样本通过微流道流动时的荧光视频,从而量化目标溶液中标记颗粒/细胞的数目和浓度。该系统的细胞计数界面如图6(b)所示。为了解决微型化流式细胞仪的主要问题,即使用体积庞大、昂贵、复杂的泵和激光光学系统,同时保留基于其独特的表面受体检测靶细胞的能力,Choi等人[57]研发了一款无泵的微流式细胞计数仪,如图6(c)所示。使用黏度调节芯片和免疫珠标记的方式,解决了传统微型化流式细胞仪对庞大、昂贵和复杂的驱动系统的需求的问题。该设备体积为257 cm3,质量为250 g,能在9~298 cells/µL的动态范围内实现可靠的细胞计数,系统的细胞计数界面如图6(d)所示。为了进一步优化微型化流式细胞仪并扩展功能,Choi等人[58]提出了一款集成微型流式细胞仪,如图6(e)所示。通过选用能够进行片上流速调节和无鞘流细胞聚焦的微流控装置替换传统的鞘流基液体系统,并采用荧光纳米晶体标记技术,实现了用单一激发源和发射滤光片进行多色检测。此细胞计数仪体积为398.4 cm3,重量为613.9 g,从滴样到细胞计量分析仅需0.8 min,分析结果与传统流式细胞术的结果高度一致。为了进一步缩小整个血细胞计数系统,如图6(f)所示,Zhao等人[35]结合了微流控技术与微型化显微成像技术 (miniscope)实现了体积为35 mm× 30 mm× 80 mm,质量为39 g的掌上光流控血细胞计数仪,质量仅为商用流式细胞仪的5%。图6(g)展示了系统流道内白细胞的成像效果。
Figure 6. Miniaturized optofluidic flow cytometer. (a) Miniaturized optofluidic flow cytometer based on a mobile platform[56]; (b) The cell counting interface of the system in Figure (a); (c) Pumpless flow cytometer[57]; (d) The cell counting interface of the system in Figure (c); (e) Integrated miniaturized flow cytometer[58]; (f) Smart palm-size optofluidic hematology analyzer[35]; (g) Figure (f) Imaging effect of white blood cells in the system channel随着移动计算能力和微流控技术的进步,基于智能手机的移动健康平台引起了研究人员开发的极大关注,尤其是将微流控光学检测与人工智能分析相结合。这种系统在便携的前提下还结合了机器学习算法,可以从数据中提取独特的模式和特征,反映出传统方法难以获得的生物医学信息,促进了全球即时检测的发展和进步[59]。Sunny等人[60]开发了一种结合人工神经网络(artificial neural network, ANN)的风险分级模型的远程细胞学系统,用于检测早期潜在恶性口腔病变。通过自动扫描细胞学玻片并上传获取的图像至专用的网络服务器进行图像预处理和基于ANN的分析,此集成方法显著提高了恶性病变和高级别潜在恶性口腔病变的检测灵敏度。另外,Zeinhom 等人[61]展示了一种紧凑轻便的光学设备,该设备可以连接到智能手机现有的摄像模块,用于检测大肠杆菌O157∶H7。该设备能在2 h内快速且特异性地检测食品中的大肠杆菌O157∶H7。这些研究表明,智能手机平台上的图像处理和人工智能技术在疾病早期诊断和病原体检测方面具有重要应用潜力。在男性不育评估中,精液分析是最为关键的步骤之一。Kanakasabapathy等人[31]开发了一种基于智能手机的自动化精液分析器,用于现场诊断男性不育症,定量分析精子浓度和活力。该平台对350份临床精液样本进行了测试,能在不到5 s的平均处理时间内分析未处理的液化精液样本,并依据世界卫生组织的指南提供了约98%准确度的精液质量评估。继该研究之后,他们进一步评估了该平台在提供透明质酸结合试验得分、精子活力及精子DNA碎片化信息方面的能力。这些参数对于精确评估精子的功能状态具有重要意义,影响着不育治疗的策略和结果。此外,Kanakasabapathy等人[62]还报告了两个低成本自动化平台的开发,这些平台利用深度学习算法快速、可靠且准确地评估胚胎的形态学特征。利用分层学习方法,他们展示了预先用高质量胚胎图像数据训练的网络模型,可以使用在低成本、便携式光学系统上记录的数据进行重新训练,以便在使用相对低分辨率图像数据时进行胚胎评估和分类[63-64]。
3. 体内检测设备
3.1 宏观内窥成像系统
3.1.1 2D宏观内窥成像系统
微型化生物医学光学成像系统的发展,为2D宏观内窥成像技术的进步提供了强大动力。这些高度集成的微型化系统不仅提升了成像设备的灵活性和便携性,而且还使得在更复杂、更狭窄的机体环境中进行精确观察成为可能。特别是在疾病的早期诊断和实时监测治疗过程中,这些技术展现出巨大的潜力。随着光学元件的微型化,医生能够通过更小的切口甚至是体内自然通道,将成像设备引入病变部位,实现对病灶的直接观察。这种技术不仅减少了患者的痛苦和恢复时间,还提高了诊断的精确性。例如,在消化道或血管内部,2D宏观内窥成像系统能够捕捉到微小病变的细节,帮助医生在没有明显症状之前就发现潜在的健康风险[65-69]。2D宏观内窥成像系统光路如图7所示,样本通过LED灯照明,反射的信号光通过微型化物镜和中继透镜传导至CMOS上。
目前2D宏观内窥成像技术已经十分成熟并广泛商业化。Olympus公司生产的GIF-HQ190胃镜[70]的视场角为140°,探针直径为9.9 mm,工作长度为1030 mm,通过高分辨率成像技术,配合窄带成像(narrowband imaging, NBI)技术,增强对黏膜结构尤其是血管结构的识别能力,提高了早期癌症及前癌病变的检出率。此外,GIF-HQ190胃镜引入了双重聚焦技术,使医生能够随意操控标准与近距离的视野切换,从而在细节观察上更为精准。Olympus公司同样也生产了一款专为支气管检查和诊断设计高性能的支气管镜BF-1TH190[71]。BF-1TH190的探针直径为6.0 mm,工作长度为600 mm,高清成像技术搭配窄带成像功能,能够增强对细小病变和黏膜下血管的识别能力,从而提高对早期癌症的诊断精度。ELUXEO™[72]是由Fujifilm Holdings公司开发的一款先进的内镜系统,其设计主要针对消化道的检查和治疗。该系统采用了4 个LED的多光源技术,能够提供不同波长的照明,增强了黏膜和血管结构的可视化,从而提升了对病变的识别和诊断能力。ELUXEO™系统的内镜直径根据具体型号而有所不同,通常在8.9~13.2 mm之间,分辨率为1080 pixel,可适应不同的临床需求。Boston Scientific 公司开发的SpyGlass™ DS [73]是一款专为胆道和胰腺内窥镜检查设计的直视系统,拥有四向可操作的镜头,可以对 360°的全方位视角进行观察,直径为10 mm,内镜镜头直径为1.2 mm,可以在视觉检查的同时进行取石和活检等治疗操作。Karl Storz公司开发的C-MAC®内镜[74]是一款广泛应用于麻醉和急救领域的视频喉镜系统。这款设备配备了模块化的摄像头和多种尺寸的喉镜片,适合不同年龄和体型的患者使用。C-MAC®摄像头足够紧凑,能够适应狭窄的解剖结构,可以提供高达1080 p的高清视频输出,确保了操作过程中的图像清晰度和色彩准确性,提高了插管的精确性和安全性。此外,还拥有增强的光照系统用来优化视野,在低照度条件下也能保持清晰的视觉效果。宫腔镜检查是评估子宫内病变的金标准,因此,Karl Storz公司开发了一款型号为TROPHYSCOPE®[75]的宫腔镜。此设备探针直径仅为 2.9 mm,工作距为240 mm,视场角为30°,便于在无创伤的情况下进入宫腔,极大限度地减轻了检查过程中的不适感,因此适用于门诊宫腔镜检查。
3.1.2 3D宏观内窥成像系统
随着微型化成像系统的技术进步,三维内窥镜得到了显著的发展和创新。这一进步主要得益于高分辨率微型摄像头的应用、高效的图像处理算法的完善,以及先进光学元件的创新设计。这些技术的结合不仅使内窥镜设备更加小巧灵活,能够轻松进入人体更为狭小或复杂的部位,还大大提升了成像质量。与传统的二维内窥镜相比,三维内窥镜提供了更为立体的视图,极大地增强了医生的空间感知能力。这种立体的图像视觉使得医生或者机器人在进行微创手术等精细操作时,能够有更准确的深度和距离感,从而提高手术的精确性和安全性。三维内窥镜的另一个重要优势在于其图像的直观性,这不仅减少了误判的可能,还能帮助医生在手术中做出更快速的决策,有效缩短手术时间并减少患者的风险。因此,三维内窥镜的应用不仅推动了医疗成像技术的革新,也显著提升了医疗服务的整体质量和效率。总体来看,三维内窥镜相较于二维内窥镜,在操作精度、安全性以及效率上都表现出了显著的优势。3D宏观内窥成像系统光路如图8所示,样本通过LED灯照明,反射的信号光通过多目微型化物镜和中继透镜传导至CMOS上,再经算法重建出3D信息。
目前商用的有3D功能的宏观内窥成像系统如Karl Storz公式生产的TIPCAM®1S内镜,其通过双目镜头的视差来实现立体视觉和深度感知。然而这种内镜需要佩戴专门的偏振眼镜才能实现3D观察,长期佩戴还会导致操作医生精神紧张和眩晕[36]。此外,这种3D效果无法对深度信息进行定量测量以及进一步优化和处理图像与数据[76]。
为了得到精确的体内组织深度信息,Hornegger 等人[77]利用了时间飞行(time of flight, ToF)成像技术与RGB传感器结合的混合成像系统,融合高分辨率的RGB数据和范围数据,利用RGB数据中的亚像素运动估计来实现深度图像的高分辨率,首次将多帧超分辨率技术应用于3D内窥镜领域。Kim团队[78]开发了一种与现成内窥镜兼容的ToF成像模块适配器,并在动物组织上展示了单次亚毫米级的3D测量精度,与现有手术室设备和工作流程具有广泛的兼容性,并且适用于包括肿瘤、疝气和吻合口测量在内的多种临床相关手术任务,还可用于手术场景到高质量静态3D成像数据的术中标记,以及外科机器人的控制。
结构光技术同样也是常用的3D表面成像方法,通过投射一定的光纹图案(如条纹、网格等)到目标物体的表面上,再经由一台或多台摄像机捕捉这些图案,计算图像中光纹的位移和变形程度,从而推断出物体表面的深度信息和三维形状。Mathelin等人[79]把结构光技术应用于三维腹腔镜设备,实时重建腹腔内部器官的3D表面。该设备的探针直径为10 mm,成像速度为25 f/s。
双目视觉技术通过两个镜头采集图像,计算二者之间的视差,从而得到样本的三维坐标信息。相对于ToF技术和结构光技术,双目的成本低,集成难度小,更接近商用内镜的结构范式。Kim等人[80]提出了一种全景视野聚焦区域三维视觉内窥镜系统(3DMISPE),采用两台固定于一体的内窥摄像头,通过基于立体视觉合成理论的拼接算法,实现了三维重建与图像拼接的同步进行。此外,该方法通过计算重叠区域的视差并进行双视图图像拼接,有效重构了三维表面图像。实验结果表明,该方法能将两个内窥镜的视野合并为更广的视野,并在重叠区生成三维显示,提供了更多的深度信息。为了解决传统双目内窥镜三维重建算法中存在的精度低、视野小和尺度信息丢失的问题,Yang等人[81]针对胃部器官的特定场景,提出了一种基于特征点的三维内窥镜图像拼接方法。首先通过移动内窥镜获取左右图像,并通过双目匹配转换成点云。随后,为了补偿由场景特征如不均匀光照和弱纹理引起的误差,对其进行了预处理。通过检测和匹配相邻左图像的特征点,估计相机姿态变化。最后,基于计算出的变换矩阵,使用迭代最近点(iterative closest point, ICP)算法进行点云配准,实现了整个胃部器官的三维密集重建。实验结果表明,该方法使内窥镜重建的视场扩展了2.2倍。此外,Yang等人[82]又提出了一种基于深度学习的双目内窥镜三维测量方法,能够进一步优化传统双目匹配算法在无纹理区域的弱鲁棒性问题。通过3D扫描仪获取目标3D数据,并利用3D渲染软件模拟双目相机,创建模拟双目图像数据集来训练视差估计模型进行三维测量。实验结果表明,与传统双目匹配算法相比,此方法的测量精度和视差图生成速度分别提高了48.9%和90.5%。
光场技术[83-84]是一种先进的成像技术,它不仅能捕捉到图像的光强度和颜色,还能记录光线的方向。对记录的4D信息进行后处理,可以产生样品的透视图和焦点堆栈,能够捕获场景的定量三维信息。光场技术与内窥镜结合,通过后期处理,如对病灶的深度估计和3D重建,可以提高诊断精度。这对于需要精细操作的医疗程序如癌症切除或微创手术尤其重要。医生可以更清楚地看到操作区域的细微差别,从而作出更精确的手术决策。
Won等人[85]提出了一种采用电润湿透镜阵列光场3D内窥镜技术。这项技术解决了传统内窥镜技术中焦距调整和图像捕捉的难题。通过电润湿透镜阵列,可以快速调整焦距,并实现2D和3D模式的切换。该设备的探针直径为2.4 mm,具有-20D~28D的屈光度范围,并具有40 ms的响应速度。Osten等人[86]通过在常规内镜光路中引入微透镜阵列 (microlens array, MLA)捕获4D光场,实现了一款刚性内镜的光路原型,最大程度的保持了传统内镜的光路,提供了一种简易的2D到3D内镜的改装方案,如图9(a)所示。然而每个子微透镜都要捕捉物镜焦面的图像信息,使图像传感器的像素数无法充分利用,因此,相比于传统的二维成像,这种光场内窥系统重建横向分辨率会严重降低。为了解决这个问题,Jia等人[76]研究开发了一种基于梯度折射率透镜(Grin lens)阵列的光场内窥镜成像系统的验证机,对多角度光场信息进行直接采样,避免了引用微透镜阵列对样本分辨率的稀释,如图9(b)所示。并且,基于图9(b)系统拍摄的指纹样本如图9(c)所示。此外,梯度折射率透镜本身的小尺寸和优良的成像性能同样适合作为内窥系统的探针。通过结合波动光学模型和混合点扩散函数,实现了对样本高分辨率的3D重建。在横向和轴向,系统分别实现了20~60 μm和100~200 μm的空间分辨率,覆盖了约5 mm×5 mm×10 mm的成像体积。根据同样的原理,Jia 团队[36]制作了一款刚性3D内镜原型机(grin lens array microendoscope, GLAM),如图9(d)所示。利用直径为5 mm、长为52.5 mm的不锈钢管将7目梯度折射率透镜阵列以及中继透镜组固定,并集成在彩色(charge coupled device, CCD)相机上,实现了约100 μm的三维分辨率,22 mm的成像深度以及1 cm2的视场。图9(e)展示了GLAM系统拍摄的三维样品。目前的光场内窥镜大多为刚性内镜,适用于腹腔手术,然而消化道所需的柔性光场内镜同样具有十分广阔的应用前景。Zhao等人[11]通过集成多个微型化成像装置,提出了一款适用于消化系统的高柔性光场内镜(multiple micro-imaging devices, MIRD),如图9(f)所示。这些微成像设备被紧凑地集成在一个高度和直径均为5 mm的圆柱形探头中,该探头被封装在直径为7.5 mm的聚酰胺管中。与采用MLA或GLAM的光场获取方法不同,这种多摄像头光场获取方法的3D内窥镜提高了系统的灵活性和集成性。该系统的横向分辨率达到31 μm,轴向分辨率为255 μm,成像体积超过2.3 mm×2.3 mm×10 mm。MIRD能够通过自然通道轻松进入生物体内部,并通过对兔子胃部的观察实验得到验证,如图9(g)所示。
Figure 9. 3D endoscopes based on light-field method. (a) Rigid light-field endoscope based on microlens[86]; (b) Verification machine of light-field endoscope based on Grin lens array[76]; (c) Fingerprint sample taken by the device based on Figure (b), scale bar of 2.0 mm; (d) Prototype of light-field endoscope based on Grin lens array[36]; (e) 3D samples taken based on Figure (d) system; (f) Highly flexible light-field endoscope[11]; (g) Rabbit stomach depth map based on system of Figure (f), scale bar of 500 μm3.1.3 胶囊内窥成像系统
人体消化系统中,肠道的长度为7~10 m,且高度折叠盘踞在腹腔中,这使得传统内镜多用于人体靠近自然通道口的食道、胃、十二指肠、直肠、结肠等的检查,很难用于观测小肠。炎症、应激、克罗恩病以及肿瘤等小肠疾病严重影响人类的生活质量和寿命。为此,无线胶囊内窥镜应运而生。无线胶囊内窥镜是一种小型胶囊,内置有高分辨率摄像头、LED 光源、电池和数据传输设备等。患者吞咽胶囊,胶囊随着消化道的自然蠕动逐步通过胃部、小肠直至大肠并排出体外,将采集的图像和数据通过无线技术传输到外部设备,如接收器或者专用软件平台,帮助医生能够实时查看或后续分析患者的消化道内壁情况。胶囊内镜自2001年被美国食品及药监局(food and drug administration, FDA)批准后,便因其无创,舒适,安全的优势被广泛地商业化。胶囊内窥成像系统光路如图10所示,样本经过LED灯照明,反射的信号光通过微型化物镜传导至CMOS上,同时配备有数据存储单元和电池。
第一款商用胶囊内窥镜是由Given Imaging公司推出的M2A,目前由Medtronic公司销售,并更名为Pillcam SB,适用于小肠检查。该胶囊被患者吞服后,能在8~12 h的电池寿命内,以2~6 f/s的速度传输图像,生成320 pixel×320 pixel的高分辨率图像,用于详细检查胃肠道黏膜。系统的尺寸为11 mm×26 mm,质量为3 g,拥有156°的视场角。目前这款产品已经迭代到第三代,即Pillcam SB3,相对于第二代产品Pillcam SB2拥有更优越的图像清晰度,自然组织颜色,平衡照明能力以及整体图像质量[87-88]。为了弥补传统结肠镜无法完全检查完整结肠结构的缺点,Medtronic公司推出了Pillcam COLON 2和PillCam Crohn’s,旨在对程序性不良事件风险较高的患者进行结直肠癌筛查和炎症性肠病活动评估与可视化。前者专门用于观察结肠,后者则可以同时观察小肠和结肠,针对性地评估克罗恩病的进展。两个系统的视场角分别为172°和168°,尺寸均为11 mm×32 mm,质量为2.9 g,在最多10 h的续航时间内可以提供4~35 f/s的256 pixel×256 pixel的图像。为确保在保持电池寿命(最长10 h)的同时获得足够的结肠成像,在识别到十二指肠后以14 f/s的速率捕捉图像。经过内置的时间延迟后,胶囊利用自适应帧速技术在缓慢通过非结肠组织时,以4 f/s的速率捕捉图像,在快速通过结肠时以35 f/s的速率捕捉图像。PillCam UGI胶囊是目前唯一专门用于胃和食管应用的视频胶囊内窥镜系统。该系统的胶囊尺寸、传输波长、视野、分辨率以及解释软件与PillCam SB3相同。然而,PillCam UGI的电池续航时间仅为90 min,相对于小肠胶囊的8~12 h显著减少。胶囊在两端都装有摄像头,并以18~35 f/s的速率捕捉图像。在操作的前10 min内,变速帧技术以35 f/s的速率运行,而在后80 min内以18 f/s的速率运行。电池寿命可能是胶囊内窥镜检查的限制因素,16.5%的检查因电量不足而无法完成[89],因此Miro Cam推出了single-lens capsule,利用胶囊本身产生的电场延长电池续航,其中人体组织作为数据传输的导体。此系统的视场角为170°,尺寸均为10.8 mm×24.5 mm,质量为3.2 g,在最少12 h的续航时间内可以提供3 f/s的320 pixel×320 pixel的图像。为了实时观测体内情况,通常在腹部放置导线传感器阵列。这些传感器连接到记录仪,由患者佩戴或携带。CapsoVision 公司的CapsoCam Plus胶囊内镜是唯一不包括感应系统的视频胶囊内窥镜系统。该系统的胶囊内窥镜将图像存储在内置内存中,供患者在排出后下载。此外CapsoCam Plus胶囊内镜具有360°全景侧视相机,显著提高了内窥镜的视野范围,克服了传统端向摄像头的视角限制。而且,CapsoCam Plus胶囊内镜具有更高的图像分辨率,有助于捕捉更细微的病变。同时,该设备拥有双倍内存容量,能够存储更多图像和数据,这对于长时间的检查尤为重要,确保在整个消化道过程中都能记录足够的信息。常规胶囊内镜依赖消化道的自然蠕动进行移动,缺乏外部控制功能,限制了其在精确操控和定向检查方面的应用。于是,磁控胶囊内镜[90]应运而生。磁控胶囊内镜通过外部磁场实现对胶囊的精确操控,显著提高了对特定消化道区域的检查能力。因此,磁控胶囊内镜在需要详细观察和高诊断效率的医疗场景中展现出更广泛的适用性。在商业化磁控胶囊领域中,我国的安翰科技(Ankon)一直处于领先地位。安翰的NaviCam®磁控胶囊内窥镜内置磁性材料能响应外部磁场发生器的调控,实现了胶囊的精确导航和控制,从而能够精确观察并分析特定区域。此外,该设备提供的高清晰度图像进一步增强了对病变区域如溃疡、息肉的识别能力。同时,为了配合NaviCam®,安翰科技开发了ProScan胶囊内窥镜人工智能辅助阅片软件[91]。该软件集成了深度学习和图像识别技术,能够自动分析大量胶囊内窥镜图像,识别出如息肉、溃疡和肿瘤等潜在病变。通过自动化的图像分析功能,ProScan帮助医生快速筛选出疑似阳性的消化道图片,显著减轻了医生的工作负担,并利用实时反馈系统在图像审查过程中及时指出异常区域,增强了检查的全面性和诊断的准确性。此外,ProScan软件具备学习和适应功能,可通过不断积累的诊断案例优化其算法,随着使用量增加,其性能也得以提升,实现准确度的正反馈。
3.2 显微内窥成像系统
3.2.1 共聚焦内窥成像系统
受限于镜头的放大倍率,传统的宏观内窥镜所呈现的效果往往是大视场、低分辨率,适用于显性的病灶排查和手术辅助,较为隐性的病变难以被识别,需要医生拥有足够丰富的经验。因此,临床上对于病变尤其是癌症的诊断和分期的金标准依然是活检标本的体外组织学病理。然而,活检可能会损伤或进一步刺激原位组织,尤其是穿刺性活检,有癌细胞转移的风险。此外,活检无法实时得出结果,可能会延误患者的病情。因此细胞水平分辨率的原位实时检查是内窥成像系统的重要发展方向之一[92]。共聚焦内窥成像系统光路如图11所示,样本后端是一套共聚焦显微镜的光路,即激发光通过扫描系统聚焦至光纤探针中对样本成像,样本的荧光信息经过针孔滤除离焦杂散光后聚焦在PMT上。
共聚焦内窥成像系统因其小尺寸和较高的细胞尺度分辨率,可以在原位组织上呈现与活检病理学高度一致的细胞形态,为消化系统疾病,尤其是癌症的早期筛查以及现场分型提供可能。“共聚焦”的概念最开始由Minsky[93]提出,指在照明聚焦点和探测聚焦点各放置一个针孔用以滤除离焦面的杂散光,从而提高信号的横向分辨率、轴向切片能力以及信噪比,这一点在内窥成像系统上同样拥有广阔的前景和应用价值。
共聚焦内窥镜可分为用于腹腔或者宫颈的刚性内镜和用于消化道的柔性内镜。Solgaard等人[94]介绍了一种手持双轴刚性共聚焦内窥镜,如图12(a)所示,该系统基于二维微机电扫描系统(MEMS)设计,能够在488 nm波长下进行明场和荧光成像,具备三维成像能力。该内窥镜的直径为10 mm,能以4 f/s的速率获取400 μm×260 μm视野范围的图像,其横向和轴向分辨率分别为1.7 μm和5.8 μm。随后为评估皮肤病分子治疗的临床效果,Solgaard等人[95]利用手持双轴刚性共聚焦内窥镜,通过在小鼠和人类皮肤上使用近红外(near infrared, NIR)染料进行活体荧光成像,如图12(b),观察表皮角质形成细胞的三维结构变化,证明了活体共聚焦内窥技术可作为评估实验性分子疗法效果的有效临床手段。
Figure 12. Confocal endoscopic imaging system. (a) Handheld dual-axes confocal endoscope[94]; (b) Image of a mouse tissue taken in vitro by the device in Figure (a); (c) Handheld endomicroscope using a fiber-optic harmonograph[96]; (d) Ex vivo image of isolated mouse colon cells taken by the device in Figure (c), scale bar of 10 μm; (e) Electrothermal MEMS fiber scanner for optical endomicroscopy[99], scale bar of 2 mm; (f) Endoscopic imaging system based on two-photon and second harmonic imaging[102]; (g) Image of isolated mouse liver cells taken by the device in Figure (f), scale bar of 20 μm然而,MEMS扫描镜虽然具有高设计灵活性,但在紧凑型封装和光束偏转方面存在局限,而且MEMS扫描镜头因惯性限制难以实现快速扫描。 Jeong等人[96]提出了一款基于光纤谐波仪的手持式共聚焦内窥镜系统,如图12(c)所示,该系统采用李萨如焦扫描进行实时、高分辨率的活体细胞成像。系统核心包括一根与四极压电管耦合的单模光纤,通过共振扫描两个轴线以生成李萨如焦图案,频率约为1 kHz。这款共聚焦内窥镜可以在10 f/s的速率下提供3.2 μm的横向分辨率以及350 μm×350 μm的视场。图12(d)是该设备拍摄的小鼠离体结肠图片。共聚焦技术拥有良好的轴向切片能力,而共聚焦内窥系统却受限于样本,往往用于获取二维信息。Kiesslich等人[97]通过在手持刚性腹腔镜探头上搭载波常为780 nm的二极管激光器,配合靛青绿(ICG)染料,实时生成了不同深度的肝脏亚表面图像,横向分辨率小于1 μm,最大成像深度超过350 μm。随着光纤加工技术和应用技术的发展,柔性共聚焦内窥镜也随着发展,从传输模式上可分为单模光纤传输和单模光纤束传输。在单模光纤传输领域中,Kino等人[98]提出了一款基于共振悬臂对与菲涅耳波带片微型物镜相连的单模光纤扫描方法,并用于共聚焦内镜中。通过电场偏转,悬臂的震动频率为3.4 kHz,采集时间为1/15 s,这是MEMS系统首次用于扫描内窥成像系统。Jeong等人[99]提出了一种用于激光扫描内镜的新型电热MEMS光纤扫描器,如图12(e)所示。该扫描器采用直接安装光纤的电热硅微制动器驱动扫描。微制动器包括具有连接桥的双热臂和冷臂结构,光纤沿硅光纤槽线排列并固定在连接桥上。在静态电热操作中,光纤显示出由于热臂和冷臂微结构之间的热膨胀差异引起的横向运动(x方向)以及由于电热硅微制动器与冷光纤之间的差异引起的纵向运动(y方向)。微制动器的尺寸为1.28 mm×7 mm×0.44 mm,光纤长度为20 mm,当横向和纵向共振扫描频率分别为239.4 Hz和218.4 Hz时,在16 Vpp脉冲序列下,扫描面积为451 μm×558 μm。
除了MEMS之外,还可以通过压电材料驱动单模光纤进行扫描。Smithwick等人[100]利用直径为5.3 μm的压电致动器驱动直径为3.8 μm单模光纤进行振动,发射的激光在测试样本上进行二维扫描,通过逐像素检测光功率来构建数字图像,实现了最高10 μm的横向分辨率。Li 等人[101]用管状压电致动器实现二维光束扫描,并通过双包层光纤传送激发光和收集双光子荧光,实现了双光子内窥成像系统和深度成像,并可以达到2 μm的横向分辨率。Xu等人[102]开发了一款用于生物组织的双光子激发内源性荧光和二次谐波成像的内窥镜,如图12(f)所示。该系统采用了微型谐振光纤光栅扫描器和Grin lens组合,外径仅为3 mm,刚性长度为4 mm,实现了视场110 μm×110 μm下水平和轴向分辨率分别为0.8 μm和10 μm,拍摄的小鼠离体肝细胞如图12(g)所示。
若要实现单模光纤的扫描系统,需要在光纤远端设置扫描装置(MEMS或压电材料),这会导致探针的成本和尺寸增加,极大地限制了应用和推广。近端扫描单模光纤束可以避免将扫描系统集成到探针内,不仅降低了成本和尺寸,也较容易实现。这种扫描系统的分辨率与光纤束中的单个光纤的直径和间距有关。Vicaut等人[103]基于近端光纤束扫描,开发了一款光纤共聚焦荧光内窥镜(fiber confocal fluorescence microendoscope, FCFM),可以实现最高400 μm×280 μm视场下2.5 μm的横向分辨率。Drezek等人[104]提出了一款高分辨率、低成本的反射式光纤显微镜(reflective fiber optic microscope, RFM)。RFM使用偏振成像配置来抑制由镜面反射产生的背景噪声,实现了3.5 μm的横向分辨率。Fu等人[105]研发了一种激光源波长为785 nm的近红外共聚焦内窥镜(pCM)。此设备配备了一个工作距离为300 μm、直径为2.6 mm的光纤探针,可以通过胃肠镜的活检通道插入。此外,该设备在不同深度(最深达300 μm)对食管的肌层黏膜组织以及结肠的正常与溃疡性结肠炎异常组织进行成像,结果显示了明显的组织特征差异。为了提高共聚焦内窥系统的有效视场,Fu等人[106]通过设计了一款2.2倍放大率的微型物镜并优化了中继系统的像差,实现了整个视场细胞尺度的分辨率。随后进一步研发了一款探针式共聚焦微内窥镜(pCM),其视场直径超过500 μm,横向分辨率为1.95 μm,外径为2.6 μm,可兼容传统胃镜的活检通道。与传统pCM相比,此系统在保持探针尺寸和细胞分辨率的前提下,将视场增大了4倍。
3.2.2 光学相干层析(OCT)内窥成像系统
OCT技术是一种基于低光学干涉原理的高分辨率成像技术,于1991年由麻省理工学院的Fujimoto等人[107]提出后,得到了高速发展并广泛应用于医学和生物医学领域。它利用两路相干光,一路直接射向样本,另一路射向反射镜或光学路径调制器,再次汇合形成干涉图样。通过分析干涉信号的强度和相位差异来获取样本各深度的反射或散射信息,从而重建出高分辨率的深度剖面图像。技术上OCT可分为时间域OCT (TD-OCT)和频域OCT (FD-OCT)两种,FD-OCT又可以细分成谱域OCT (SD-OCT)和扫频OCT (SS-OCT)。其中FD-OCT由于光谱分析技术的应用使得只需要一次谱扫描就能获取完整的A-scan信号,无需进行TD-OCT所必须的参考臂扫描,极大地提高了成像速度和灵敏度,是目前主流的技术[108]。OCT内窥成像系统光路如图13所示,由分束器、参考臂和光纤探针组成,通过干涉原理测量样本的反射信号。光源发出的光束通过分束器分成两条路径,一条照射样本,另一条照射参考镜,最终通过干涉合成得到高分辨率的图像。
常规OCT仪器由于探头尺寸限制,在医学中往往用于眼科、皮肤科和牙科等多个领域。例如,在眼科领域,OCT能够准确成像视网膜层和血管结构,对于黄斑裂孔、视网膜变性等疾病的早期诊断至关重要[109-114]。常规光学相干层析(OCT)技术向内窥OCT的发展具有重要意义。内窥OCT通过提升深度成像能力,使其能够在胃肠道、呼吸道等深层组织中高分辨率地成像,实时观察微结构和病变特征,提高诊断准确性和治疗效果。其非侵入性和实时成像特性,有效地支持早期病变检测和实时治疗,为医疗技术的进步带来了新的进展和应用前景。内窥OCT的核心是微型化探头的设计和制造。
Tearney等人[115]首先提出把基于单模光纤的探针与OCT系统结合,得到内窥OCT系统。探针由Grin lens光纤远端粘贴微型化棱镜组成,棱镜的作用是将光路偏折90°,实现血管或肠道壁的截面成像。集成后的探针直径仅1.1 mm,并通过体外人体静脉成像证明了其效果。随后,通过进一步优化光源等设计,设计了轴向分辨率为10 μm、信噪比为110 dB的内窥OCT系统,首次在兔子活体内实现了消化道和气管的断面层析成像[116]。随后,该团队采用超连续激光器,并利用圆柱波导在探头远端分割波前,产生多个同轴焦点,通过高数值孔径(NA>0.1)的透镜传输,开发了一种单光纤自成像波前分割探头,其直径为500 μm,刚性长度不超过4 mm,并且与传统聚焦光束相比,深度聚焦范围扩展了20倍。这种探头能够在较大距离上维持一个紧密聚焦的光斑,这对于实现体内器官跨层次的微米级光学相干层析成像(μOCT)至关重要[117]。2017年,该团队[118]又介绍了一种新型的OCT探头,该探头采用光纤系统生成同轴聚焦的多模(coaxially focused multimode, CAFM)光束,显著扩展了焦深(deep-of-field, DOF)。通过与传统高斯光束比较,CAFM光束将DOF提高了5倍以上,使得在超过400 μm的深度范围内能清晰解析生物组织的细胞及亚细胞结构。该团队于2019年提出了一种基于少模干涉的新型血管内成像系统[119],通过使用同轴聚焦的多模光束,克服了传统高数值孔径物镜的焦深限制。该系统能在活体内通过亚毫米级的柔性导管进行三维细胞级分辨率的血管内成像,显著扩展了成像深度(达到1 mm)。此技术能够清晰显示动脉壁内的细胞和亚细胞结构,如晶体、平滑肌细胞及炎症细胞,为未来人类冠状动脉疾病的研究与诊断提供了更高的精确度。
OCT技术虽然可以进行一定深度的成像,但红外光源穿透能力依然有极限,尤其对于强散射组织。因此,Fujimoto等人[120]开发了一款新型的OCT成像探针,可以插入固态组织和器官进行微创间质成像,同时保持微米级的分辨率,极大地减少了组织损伤。该成像针的核心技术为一个新式旋转耦合器,该耦合器利用玻璃毛细管将光从旋转单模光纤传输到静态单模光纤,有效实现了光的耦合。研发团队已成功开发出27号针规(外径为410 μm)的原型,并在活体动物模型上进行了实验验证。为了进一步缩小探针尺寸,Lorenser等人[121]介绍了一种新型的OCT探头,其特点是极小的体积和高度的集成。该探头的外径仅为0.31 mm(30号针规),采用全光纤结构,通过角度抛光和反射涂层的光纤尖端实现光束偏转,从而达到进一步的微型化。
上述探头都是Grin lens光纤与棱镜的组合,制造和装配的难度较大,而且引入的光学胶一定程度上影响了系统的鲁棒性。因此Flueraru等人介绍了用于超小型生物医学成像的球形探头,其透镜模块由直径小于0.3 mm的单模光纤和球形光纤透镜组成[122]。Li等人[123]报道了一种超紧凑(外径为520 μm,刚性长度为5 mm)且超消色差的微探头,如图14(a)所示,该探头内置单体光纤球透镜,实现了在800 nm波长下的超高分辨率(组织中轴向分辨率为1.7 μm,横向分辨率为6 μm) OCT成像。Wang等人[112]介绍了一种新型的无间隔器探针设计,采用小梯度常数的Grin lens,简化了制造过程,适合大规模生产。新型探针输出窄且近似准直的铅笔光束,改善了传统设计中的深部组织横向分辨率问题。该设计经过临床近端驱动的冠状动脉光学相干断层成像系统 (ICOCT)验证,显示其在体内成像中的有效性如图14(b)所示。
Figure 14. OCT endoscopic system. (a) Super-achromatic OCT microprobe[123]; (b) 4 mm-long rat esophagi imaged by the device shown in Figure (a); (c) Optical probe with a phase filter[124]; (d) Nano-optic OCT endoscope[125]; (e) Ex vivo imaging of the pig trachea using the device shown in Figure (d), scale bar of 500 μm; (f) Ultrathin monolithic 3D printed OCT endoscope[32]; (g) Imaging of the arterial vasculature in healthy mice using the device shown in Figure (f)随着加工技术的更新迭代,对于OCT内窥探头的加工也有了更多的选择。在光学相干层析中,常面临光斑尺寸与DOF之间的权衡问题。为了在微型化光学探头中实现焦深的扩展,Yoo等人[124]采用了二元相位空间滤波器(binary phase space filters, BPSF)的方法,并通过软光刻技术在探头末端处制造了直径为1 mm 的BPSF图案,如图14(c)所示。通过优化该图案,实现了光斑直径和光效率的提升以及焦深的扩展,焦深从73.9 μm提升至199.7 μm,增加了2.7倍。Suter等人[125]设计了一种基于纳米光学内窥镜的设备,如图14(d)所示。该系统整合了一种能在亚波长级别修改入射光相位的超构透镜,通过消除非色差像差,实现近衍射极限的成像。通过在人类切除的肺部样本及活体猪的呼吸道中的应用实验,如图14(e)所示,验证了其有效性。McLaughlin等人[32]开发了一种利用3D打印的新型超薄探头制造技术,如图14(f)所示。该团队在单模光纤上设计了直径小于130 μm的侧向自由形态微光学元件,并且使用此技术构建了一款功能齐全的超薄OCT探头,直径为0.457 mm,这是迄今为止报道的最小的自由形态3D成像探头。通过对人类和小鼠的动脉粥样硬化成像,如图14(g)所示,展示了该探头的图像质量和机械灵活性。该超薄OCT内窥镜通过矫正微型化探头的像差,实现了12.4 μm的FWHM焦点尺寸和1100 μm纵向的有效焦深,并进行了临床实验验证效果。
3.2.3 头戴式微型化显微成像系统
过去几十年,神经科学尤其是脑科学领域经历了巨大的发展。为了解析神经元信息处理的基本原则,必须对大脑的结构组织和功能动态进行多尺度描述。现有的宏观大脑成像技术,如核磁共振成像、正电子发射断层扫描、X-射线计算机断层扫描和光声断层成像技术,提供了不同层面的视角。然而,要将动物的行为与特定脑区的神经元和神经回路活动联系起来,传统的台式光学显微镜由于其笨重和固定的特性,需要对动物进行麻醉或固定头部,这限制了实验的持续时间和复杂性,同时容易引发动物的应激反应。传统方法不利于进行涉及身体和头部运动(如在自然环境中导航)、社会行为(如亲子互动或打斗)以及长时间行为(如睡眠或昼夜节律)的实时成像研究[126]。Dombeck 等人[127]将小鼠头部固定在虚拟现实设备中,借助双光子荧光显微镜研究神经回路的动态。然而,虚拟环境中的行为与自然状态可能存在差异,并且虚拟场景的局限性影响了复杂社交行为神经机制的研究。光纤光度法[128]则能够对自由移动的小鼠进行实时的神经活动监测,解决了行为限制问题,并具有操作简便、成本低廉等优势。尽管如此,该方法的空间分辨率较低,无法达到单细胞级的成像精度。微型荧光显微镜技术的出现极大地推动了这一领域的发展。这项技术使得科学家们能够在模式动物自由活动的状态下进行长时间、单细胞分辨率的实时成像,从而能够更精准地捕捉大脑活动和结构动态。微型化显微系统因其对动物干扰小的优点,成为了连接动物行为与神经活动的理想工具,为神经科学研究提供了新的方法和视角[129]。头戴式微型化显微成像系统的光路如图15所示,通过小型光学元件将LED光源聚焦到样本表面,并收集激发荧光,通过管镜聚焦至CMOS上,生成高分辨率的成像数据。
Ghosh等人[130]于2011年首次介绍了一种重量仅为1.9 g的单光子微型化集成荧光显微镜,该设备由可大规模生产的部件组成,包括半导体光源、物镜和CMOS。这种显微镜能够在自由活动的小鼠脑中进行高速细胞成像,横向分辨率为2.5 μm,覆盖约0.5 mm2的区域,并能同时追踪超过200个神经元的钙离子活动。2016年,UCLA的Aharoni等人[131]开发了一套开源的微型化显微成像系统 (Miniscope),通过微型化CMOS、Grin lens以及3D打印的外壳等组装而成,质量仅为2.9 g,实现了60 f/s速率下700 μm×450 μm的视场和1 μm的横向分辨率。随后, Gardner等人[132]也开发了更为灵活的无线微型化显微成像系统Finchscope。单光子微型化显微成像系统多为宽场成像,其成像速度只与探测器的帧率有关,所以拓展视场、实现更大范围神经元闪烁的观测是重点研究的方向之一。Guo等人[133]介绍了一种大视野开源微型显微镜 (MiniLFOV),可以对自由行动的大型动物进行大尺度(3.6 mm × 2.7 mm)、细胞级分辨率的神经成像,如图16(a)所示。该设备集成了头部定位传感器,且重量仅为13.9 g。MiniLFOV可以进行大脑皮层和深层的成像,已在自由行动的大鼠中通过同时成像超过1000个表达GCaMP7s的海马CA1区神经元进行验证,并且在头部固定的小鼠中通过颅窗成像了约2000个皮层神经元。Kodandaramaiah等人[134]展示了一款名为 (mini-mScope)的微型头戴式荧光显微镜,如图16(b)所示,可与透明聚合物颅骨技术兼容,实现对自由移动小鼠全皮层观测。该设备重量不足4 g,视野达到8 mm×10 mm,分辨率在39~56 μm之间。为了深入研究小鼠行为时脊髓细胞活动模式及其在痛觉传递中的作用,Nimmerjahn等人[135]开发了一种可穿戴的微型化宽场显微镜,它配备了定制的复合微透镜,能够高分辨率、高速地测量行为中的动物多个脊髓段的特定细胞的活动。该设备具有7.9 mm2的视场,约3~4 μm的横向分辨率,2.7 mm的工作距离,整体重量不超过10 g。
对于微型化显微镜,在保持足够视场的前提下,提升系统的分辨率同样重要。Gibson等人[136]介绍了一款微型光纤耦合共聚焦荧光显微镜,该设备集成了电润湿调焦透镜,实现三维成像的轴向与横向扫描。其光学部件装配于自制的3D打印外壳中,重量不超过2 g。显微镜通过共聚焦技术,获得了约12 μm的轴向与1.8 μm的横向分辨率,并成功应用于神经组织与细胞标本的成像分析。Ventalon等人[137]结合了多点扫描共聚焦显微技术与宽场显微技术开发了一种新型光纤镜系统,有效去除了成像的杂散背景,成功实现了小鼠大脑皮层内深达120 μm的微血管快速荧光成像,并且背景干扰比传统宽场显微镜降低了两个数量级,轴向分辨率达到10.5 μm。随后,Gibson等人[138]通过相干光纤传输结构光,提出了结构光微型化显微成像系统 (SIMscope3D),有效去除焦外和散射光,实现了18 μm的轴向分辨率以及深达260 μm的体成像能力。早期的单光子微型荧光显微镜在设计上通常不具备三维成像功能。一旦系统安装在实验动物头上,其物镜与成像焦面的距离则固定不变,限制了对不同深度神经细胞活动的观察与追踪能力。Galstian等人[139]研发了一款新型的微型化单光子成像设备,该设备配备了可电调的液晶透镜,实现了无需机械移动的深度扫描功能。该微型化显微镜体积为10 mm×17 mm×12 mm,重量约为1.4 g,且拥有1.4 μm的高分辨率,能有效观察自由活动小鼠在执行各种行为任务时大脑深部区域的精细神经过程中的钙信号活动。除了使用硬件进行焦平面的控制,计算光学也对拓展轴向视野具有重要的意义。Vaziri等人[34]通过引入微透镜阵列对多角度信息进行捕捉,实现了一种头戴式微型化光场显微镜 (MiniLFM),用于观察自由移动小鼠的3D神经网络活动。该设备能够在海马体内的700 μm×600 μm×360 μm空间范围内,以16 f/s的速率捕捉神经元活动,实现对最小约15 μm距离和最深360 μm深度的神经元的有效分辨。然而,微透镜阵列的PSF会导致轴向分辨率的不均匀,为解决此问题,Waller等人[140]通过在传统二维微型显微镜的物镜孔径处置入优化的多焦相位掩模,确保了在广泛深度范围内的高均匀分辨率,并显著降低了设备的体积和重量。
由于微型化单光子显微成像系统使用的是可见光,其观察深度较浅,且在长时间成像中容易造成较高的光毒性和光损伤,同时也存在低对比度问题。多光子显微成像利用近红外光,能更有效穿透生物组织,观察深层细胞和组织结构。由于其激发过程主要集中在焦点区域,减少了光损伤和光毒性,同时也提高了成像的分辨率和对比度,因此微型化多光子显微成像特别适用于长时间的动态成像和深层组织成像。然而,多光子系统的光源为脉冲光源,样本信号通过非线性效应产生,因此对传输和接收媒介都有很高的要求。此外,引入的扫描系统也提高了微型化设备的制造和集成难度。2009年,Kerr等人[141]通过设计的水浸式镜头和一个非共振式光纤扫描器,开发了一种总重量为5.5 g的微型头戴式多光子显微镜。2017年,Cheng等人[142]研发设计了一种微型双光子显微镜 (FHIRM-TPM),用来观察自由行为动物的树突棘活动,如图16(c)所示。该设备重量仅为2.15 g,采用空心光子晶体光纤HC-PCF传递920 nm的飞秒激光脉冲,实现了微弱的非线性脉冲展宽,保证了高质量的成像。其内置的微机电系统MEMS扫描器支持高速自由线扫描和随机访问成像,极大地增强了其在动态复杂生物学实验中的应用效果。该显微镜具备高空间时间分辨率,横向分辨率为0.64 μm,轴向分辨率为3.35 μm,扫描速度可达10 kHz,使其能够持续精准地记录动物的神经元活动。2021年,他们进一步开发了 (FHIRM-TPM 2.0)[143],通过配备轴向扫描系统和长工作距离的物镜,实现了在420 μm×420 μm×18 μm的体积内大约1 μm的横向分辨率。为了进一步提高观测深度,该团队于2023年研发了一款重量仅为2.17 g的微型三光子显微镜 (m3PM)[144] ,如图16(d)所示。该设备采用了简化的无限远微型物镜 (SIMO),具有较少的镜片和更短的长度,以及扁平化的表面,有助于保留散射的荧光光子。此外,在SIMO的出瞳处添加了阿贝聚光镜,并通过一个柔性光纤束SFB收集散射光子。通过这一优化的光学配置,显微镜能够在安全的激光功率下,深入至1.2 mm观测整个大脑皮层和背侧海马CA1区的钙活动。
4. 微型化生物医学光学成像系统未来发展方向
4.1 基于超透镜的微型化生物医学光学成像系统
在现代光学系统设计中,传统透镜由于其体积庞大和难以克服某些光学缺陷,如像差和色差,逐渐显露出局限性。这些透镜依赖于较高的折射率和复杂的透镜组合来改善成像质量,但这往往导致系统笨重且难以与现代轻便设备的需求相匹配。因此,光学领域迫切需要一种能够支持更加集成化和微型化的技术。基于超表面[145]原理的超透镜[14]技术,为传统光学元件带来了革命性的突破。这种技术通过精密设计的纳米级结构直接在光学元件表面调制光波的传播路径,从而精确控制光波的相位和幅度。这些微型结构的尺寸和排列可以根据具体应用需求进行定制,使得超透镜能够在极小的空间内实现复杂的光学功能,如矫正像差和实现高分辨率成像等。相较于传统光学透镜,超透镜的优势主要体现在其极薄的物理厚度和轻便的质量。这些特性使得超透镜非常适合用于那些对设备尺寸和重量有严格限制的应用场景,如微型化成像设备[146-147]和医疗内窥镜[32-148]等。此外,超透镜的设计灵活性也极大地简化了生产过程,有潜力快速定制和批量生产,从而满足了快速发展的市场需求。超透镜在显微成像领域中尤其表现出巨大潜力。它能提供比传统透镜更高的成像精度,有效处理多波长光的成像需求,且在非球面成像技术中展现出更高的性能。超透镜因其优异的光学特性和微型化优势,正逐渐成为推动现代光学应用发展的关键技术之一。总体来看,超透镜技术的发展不仅为解决传统光学系统中的限制提供了有效途径,也为光学设备的未来发展方向指明了道路,即向更高性能、更小型化及更高集成度的方向发展。
4.2 融合人工智能的微型化生物医学光学成像系统
深度学习技术在生物医学光学成像系统中正日益显示其强大的潜力,这一技术不仅优化了成像过程,也为医学诊断和治疗提供了更高效和准确的支持。首先,深度学习能显著提高光学成像系统的时空分辨率[149-150]。传统的生物医学成像技术受限于光学元件的物理特性和成像环境,难以在不增加设备体积和成本的情况下进一步提升分辨率。而深度学习通过算法优化,可以有效补偿这些物理限制。例如,通过训练深度神经网络模型处理成像数据,可以识别并增强图像中的微小细节,提高成像质量,使得细胞结构或微小病变得以更清晰地显示。其次,深度学习技术还可以实现图像的自动分割和特征提取[151-152]。在微型化生物医学光学成像中,手动标注和分析图像不仅耗时耗力,而且容易受到操作者技术水平的影响,影响诊断的一致性和准确性。深度学习模型能自动识别图像中的关键生物标志物,如细胞、组织等不同结构,并进行精确分割,极大提高了数据处理的速度和质量。除了提升成像技术本身,深度学习还与云计算技术结合,进一步扩展了其应用范围[59]。通过将成像数据上传至云平台,可以利用云计算的强大处理能力进行深度学习模型的训练和推理。这一过程可以在服务器上集中进行,充分利用云计算的高性能计算资源,不仅加速了大规模数据的处理,还降低了对本地处理能力的需求。此外,云计算还提供了数据存储和共享的功能,使得医疗机构之间可以更容易地共享成像资料和诊断结果,支持远程医疗和协同工作。例如,位于不同地区的专家可以同时访问云平台中的成像数据,共同分析病例,提供诊断意见,这对于提高医疗服务的可达性和质量具有重要意义。总之,深度学习技术在提升微型化生物医学光学成像系统的时空分辨率、实现图像的自动处理以及与云计算的结合等方面展示了巨大的潜力。这不仅优化了医学成像流程,提高了诊断的准确性,也推动了医疗信息化和智能化的发展,预示着医学成像技术未来的发展方向。
4.3 面临的问题与挑战以及可能得解决方案
微型化生物医学光学成像系统在缩小光学元件体积的同时,常常面临分辨率下降和成像质量受限的问题。通过引入平面光学器件(如超表面技术)和金属光学元件,可以在大幅度减少系统体积的同时提升分辨率与光学性能,从而有效解决衍射极限带来的技术瓶颈,为高质量成像奠定基础。
在深层组织成像中,微弱信号和高背景噪声的存在降低了成像系统的灵敏度和信噪比(SNR)。为克服这一挑战,可以采用高灵敏度探测器(如单光子雪崩二极管)、结合光学相干检测和锁相放大器技术来增强微弱信号的提取,同时运用高效的压缩感知方法和深度学习算法进行后处理,显著提高信号质量和成像效果。
在微型化过程中,将光学、机械和电子系统紧凑集成,容易增加系统复杂性并降低稳定性。利用MEMS技术实现精确的光学扫描与控制,开发高度集成的光学芯片。采用柔性电子技术,在降低系统重量和体积的同时,确保设备的稳定性与可靠性,推动便携式和可穿戴设备的发展。
微型化光学元件的体积缩小使制造与装配过程有更高的校准精度要求。为此,可以引入激光自动调校设备等自动化装配技术,开发实时调整光学路径的自校准算法,并通过单体成型技术将多个光学组件整合到单一芯片上,从而有效减少制造复杂度,提高装配精度,确保系统的性能和稳定性。
5. 总 结
微型化生物医学光学成像系统在推动生物医学进展方面的重要性不容忽视。这类系统通过其小巧的设备结构和高效的成像能力,特别适合用于偏远地区的即时医疗服务以及体内检测和微创手术。在资源匮乏的偏远地区,传统的大型医疗设备难以普及,而微型化成像系统因其便携性和高成本效益,能够极大地提高当地居民的医疗服务水平。此外,这些先进的光学成像系统为医生提供了实时、高清的成像支持,使得在进行微创手术时能够更精确地定位和识别病变组织。这一技术在癌症等重大疾病的早期发现和治疗中尤其重要,能显著提高患者的生存率。总之,微型化生物医学光学成像系统在全球范围内推动了精准医疗和医疗质量的提升。随着技术的不断进步和普及,其在改善全球健康状况中的潜力将更加显著。这些技术创新不仅推动了医疗领域的发展,也凸显了科技在解决全球健康问题中的重要价值。
本文重点从体外检测和体内检测两个方面对微型化生物医学光学成像系统的设计路线和应用领域进行了深入的介绍和探讨。其中,体外检测模块分为微型化显微系统和微型化光流控系统;体内检测模块分为宏观内窥成像系统以及显微内窥成像系统。最后,对微型化生物医学光学成像系统未来的发展方向和前景提出了科学合理的预测。
-
图 4 无透镜集成显微成像系统。(a) 基于非相干全息成像技术的紧凑型无透镜系统[45];(b) 由(a)设备拍摄的聚苯乙烯颗粒组成的样品的全视场DIC图像;(c) 高对比度无透镜系统[48];(d) 由(c)设备拍摄的固定水螅样本的重建的深度颜色编码图像;(e) 高分辨率3D荧光无透镜成像系统FlatScope[49]。标尺:100 μm;(f) 由(e)设备拍摄的荧光粒子重建图像。标尺:100 μm(插图中为50 μm);(g) 基于随机微透镜漫射器的高信噪比无透镜成像系统[51];(h) 由(g)设备拍摄的斑马鱼幼鱼样本。
Figure 4. Lensless integrated microscopic imaging system. (a) Compact lensless system based on incoherent holographic imaging system[45]; (b) A full-field DIC image of the sample composed of polystyrene particles, acquired using the (a) device; (c) High contrast lensless system[48]; (d) A reconstructed depth-coded image of the fixed Hydra sample, captured using the (c) device; (e) High-resolution 3D fluorescent lensless imaging system, FlatScope[49]. Scale bars of 100 μm; (f) A reconstructed image of fluorescent particles, acquired using the (e) device. Scale bars of 100 μm (50 μm in inset); (g) High SNR lensless imaging system based on a random microlens diffuser[51]; (h) Zebrafish larval sample imaged using the (g) device.
图 6 微型化光流控流式细胞仪。(a) 基于手机平台的流式细胞仪[56]; (b) 图(a)系统的细胞计数界面; (c) 无泵式流式细胞仪[57]; (d) 图(c)系统的细胞计数界面; (e) 集成式微型流式细胞仪[58]; (f) 智能掌上光流控血细胞计数仪[35]; (g) 图(f)系统流道内白细胞的成像效果
Figure 6. Miniaturized optofluidic flow cytometer. (a) Miniaturized optofluidic flow cytometer based on a mobile platform[56]; (b) The cell counting interface of the system in Figure (a); (c) Pumpless flow cytometer[57]; (d) The cell counting interface of the system in Figure (c); (e) Integrated miniaturized flow cytometer[58]; (f) Smart palm-size optofluidic hematology analyzer[35]; (g) Figure (f) Imaging effect of white blood cells in the system channel
图 9 基于光场技术的3D内窥镜。(a) 基于微透镜阵列的刚性光场内窥镜[86]; (b) 基于Grin lens阵列的光场内窥镜验证机[76]; (c) 基于图(b)设备拍摄的指纹样本,比例尺:2.0 mm; (d) 基于Grin lens阵列的光场内窥镜原型机(GLAM)[36]; (e) 基于图(d)系统拍摄的三维样品; (f) 高柔性光场内镜[11]; (g) 基于图(f)系统拍摄的兔子胃部深度图,比例尺:500 μm
Figure 9. 3D endoscopes based on light-field method. (a) Rigid light-field endoscope based on microlens[86]; (b) Verification machine of light-field endoscope based on Grin lens array[76]; (c) Fingerprint sample taken by the device based on Figure (b), scale bar of 2.0 mm; (d) Prototype of light-field endoscope based on Grin lens array[36]; (e) 3D samples taken based on Figure (d) system; (f) Highly flexible light-field endoscope[11]; (g) Rabbit stomach depth map based on system of Figure (f), scale bar of 500 μm
图 12 共聚焦内窥成像系统。(a) 手持双轴刚性共聚焦内窥镜[94]; (b) 通过图(a)设备拍摄的小鼠离体组织图像; (c) 基于光纤谐波仪的手持式共聚焦内窥成像系统[96]; (d) 由图(c)设备拍摄的小鼠离体结肠图片,比例尺:10 μm; (e) 基于电热MEMS激光扫描内窥成像系统[99],比例尺:2 mm; (f) 基于双光子和二次谐波成像的内窥成像系统[102]; (g) 由图(f)设备拍摄的小鼠离体肝细胞图片,比例尺:20 μm
Figure 12. Confocal endoscopic imaging system. (a) Handheld dual-axes confocal endoscope[94]; (b) Image of a mouse tissue taken in vitro by the device in Figure (a); (c) Handheld endomicroscope using a fiber-optic harmonograph[96]; (d) Ex vivo image of isolated mouse colon cells taken by the device in Figure (c), scale bar of 10 μm; (e) Electrothermal MEMS fiber scanner for optical endomicroscopy[99], scale bar of 2 mm; (f) Endoscopic imaging system based on two-photon and second harmonic imaging[102]; (g) Image of isolated mouse liver cells taken by the device in Figure (f), scale bar of 20 μm
图 14 OCT内窥系统。(a) 高消色差OCT微探针[123]; (b) 由图(a)中的设备拍摄的4 mm长的大鼠食管; (c) 带有相位滤波器的光学探针[124]; (d) 纳米光学OCT内窥镜[125]; (e) 由图(d)中的设备对猪气道的离体成像,比例尺:500 μm; (f) 超薄单片三维打印OCT内窥镜[32]; (g) 由图(f)中的设备对健康小鼠动脉血管的成像
Figure 14. OCT endoscopic system. (a) Super-achromatic OCT microprobe[123]; (b) 4 mm-long rat esophagi imaged by the device shown in Figure (a); (c) Optical probe with a phase filter[124]; (d) Nano-optic OCT endoscope[125]; (e) Ex vivo imaging of the pig trachea using the device shown in Figure (d), scale bar of 500 μm; (f) Ultrathin monolithic 3D printed OCT endoscope[32]; (g) Imaging of the arterial vasculature in healthy mice using the device shown in Figure (f)
图 16 微型化显微成像系统。(a) 大视场微型化显微镜(MiniLFOV)[133]; (b) 微型化全脑中微镜(mini-mScope)[134];(c) 微型化双光子显微镜(FHIRM-TPM)[142]; (d) 微型化三光子显微镜(m3PM)[144]
Figure 16. Miniaturized microscopic imaging system. (a) Large-field-of-view miniscope(MiniLFOV)[133]; (b) Miniaturized microscope for whole-cortex mesoscale imaging(mini-mScope)[134]; (c) Miniaturized two photon microscope(FHIRM-TPM)[142]; (d) Miniaturized three photon microscope(m3PM)[144]
-
[1] Kellerer T, Sailer B, Byers P, et al. Two-photon microscopy of acoustofluidic trapping for highly sensitive cell analysis[J]. Lab Chip, 2024, 24(14): 3456−3469. doi: 10.1039/D4LC00144C
[2] Lim J, Chin V, Fairfax K, et al. Transitioning single-cell genomics into the clinic[J]. Nat Rev Genet, 2023, 24(8): 573−584. doi: 10.1038/s41576-023-00613-w
[3] Shi J P, Tian Z X, Lai J S, et al. Plant pan-genomics and its applications[J]. Mol Plant, 2023, 16(1): 168−186. doi: 10.1016/j.molp.2022.12.009
[4] Theissinger K, Fernandes C, Formenti G, et al. How genomics can help biodiversity conservation[J]. Trends Genet, 2023, 39(7): 545−559. doi: 10.1016/j.tig.2023.01.005
[5] Naba A. Ten years of extracellular matrix proteomics: accomplishments, challenges, and future perspectives[J]. Mol Cell Proteomics, 2023, 22(4): 100528. doi: 10.1016/j.mcpro.2023.100528
[6] Yu F C, Teo G C, Kong A T, et al. Analysis of DIA proteomics data using MSFragger-DIA and FragPipe computational platform[J]. Nat Commun, 2023, 14(1): 4154. doi: 10.1038/s41467-023-39869-5
[7] Emmerich C H, Gamboa L M, Hofmann M C J, et al. Improving target assessment in biomedical research: the GOT-IT recommendations[J]. Nat Rev Drug Discov, 2021, 20(1): 64−81. doi: 10.1038/s41573-020-0087-3
[8] Pan Y C, Hu X Y, Guo D S. Biomedical applications of calixarenes: state of the art and perspectives[J]. Angew Chem Int Ed, 2021, 60(6): 2768−2794. doi: 10.1002/anie.201916380
[9] Clasky A J, Watchorn J D, Chen P Z, et al. From prevention to diagnosis and treatment: biomedical applications of metal nanoparticle-hydrogel composites[J]. Acta Biomater, 2021, 122: 1−25. doi: 10.1016/j.actbio.2020.12.030
[10] Hamedi H, Moradi S, Hudson S M, et al. Chitosan based bioadhesives for biomedical applications: a review[J]. Carbohydr Polym, 2022, 282: 119100. doi: 10.1016/j.carbpol.2022.119100
[11] Su D E, Gao W D, Li H Y, et al. Highly flexible and compact volumetric endoscope by integrating multiple micro-imaging devices[J]. Opt Lett, 2023, 48(24): 6416−6419. doi: 10.1364/OL.506261
[12] Su D E, Wang X W, Shang G Y, et al. Amplitude-phase modulation metasurface hologram with inverse angular spectrum diffraction theory[J]. J Phys D Appl Phys, 2022, 55(23): 235102. doi: 10.1088/1361-6463/ac5699
[13] 苏德尔, 李浩宇, 高伟达, 等. 用于管道检测机器人的微型化成像系统(特邀)[J]. 激光与光电子学进展, 2024, 61(2): 0211013. doi: 10.3788/LOP232771
Su D E, Li H Y, Gao W D, et al. Miniaturized imaging system designed for pipeline detection robots (invited)[J]. Laser Optoelectron Prog, 2024, 61(2): 0211013. doi: 10.3788/LOP232771
[14] Wang X W, Wang H, Wang J L, et al. Single-shot isotropic differential interference contrast microscopy[J]. Nat Commun, 2023, 14(1): 2063. doi: 10.1038/s41467-023-37606-6
[15] Zhao W S, Huang X S, Yang J Y, et al. Quantitatively mapping local quality of super-resolution microscopy by rolling Fourier ring correlation[J]. Light Sci Appl, 2023, 12(1): 298. doi: 10.1038/s41377-023-01321-0
[16] Zhao W S, Zhao S Q, Han Z Q, et al. Enhanced detection of fluorescence fluctuations for high-throughput super-resolution imaging[J]. Nat Photonics, 2023, 17(9): 806−813. doi: 10.1038/s41566-023-01234-9
[17] Zhao W S, Zhao S Q, Li L J, et al. Sparse deconvolution improves the resolution of live-cell super-resolution fluorescence microscopy[J]. Nat Biotechnol, 2022, 40(4): 606−617. doi: 10.1038/s41587-021-01092-2
[18] Stachelek P, MacKenzie L, Parker D, et al. Circularly polarised luminescence laser scanning confocal microscopy to study live cell chiral molecular interactions[J]. Nat Commun, 2022, 13(1): 553. doi: 10.1038/s41467-022-28220-z
[19] Peeling R W, Mabey D. Point-of-care tests for diagnosing infections in the developing world[J]. Clin Microbiol Infect, 2010, 16(8): 1062−1069. doi: 10.1111/j.1469-0691.2010.03279.x
[20] Koetzier L R, Mastrodicasa D, Szczykutowicz T P, et al. Deep learning image reconstruction for CT: technical principles and clinical prospects[J]. Radiology, 2023, 306(3): 221257. doi: 10.1148/RADIOL.221257
[21] Güngör A, Dar S U H, Öztürk Ş, et al. Adaptive diffusion priors for accelerated MRI reconstruction[J]. Med Image Anal, 2023, 88: 102872. doi: 10.1016/j.media.2023.102872
[22] Zhu H Y, Isikman S O, Mudanyali O, et al. Optical imaging techniques for point-of-care diagnostics[J]. Lab Chip, 2013, 13(1): 51−67. doi: 10.1039/C2LC40864C
[23] Holzner G, Du Y, Cao X B, et al. An optofluidic system with integrated microlens arrays for parallel imaging flow cytometry[J]. Lab Chip, 2018, 18(23): 3631−3637. doi: 10.1039/C8LC00593A
[24] Boominathan V, Robinson J T, Waller L, et al. Recent advances in lensless imaging[J]. Optica, 2022, 9(1): 1−16. doi: 10.1364/OPTICA.431361
[25] Paiè P, Bragheri F, Claude T, et al. Optofluidic light modulator integrated in lab-on-a-chip[J]. Opt Express, 2017, 25(7): 7313−7323. doi: 10.1364/OE.25.007313
[26] Mwachiro M M, Burgert S L, Lando J, et al. Esophageal squamous dysplasia is common in asymptomatic kenyans: a prospective, community-based, cross-sectional study[J]. Am J Gastroenterol, 2016, 111(4): 500−507. doi: 10.1038/ajg.2016.26
[27] Asif M S, Ayremlou A, Sankaranarayanan A, et al. FlatCam: thin, lensless cameras using coded aperture and computation[J]. IEEE Trans Comput Imaging, 2017, 3(3): 384−397. doi: 10.1109/TCI.2016.2593662
[28] Ciuti G, Caliò R, Camboni D, et al. Frontiers of robotic endoscopic capsules: a review[J]. J Micro-Bio Robot, 2016, 11(1): 1−18. doi: 10.1007/s12213-016-0087-x
[29] Cybulski J S, Clements J, Prakash M. Foldscope: Origami-Based Paper Microscope[J]. PLoS ONE, 2014, 9(6): e98781. doi: 10.1371/journal.pone.0098781
[30] Gordon G S D, Joseph J, Alcolea M P, et al. Quantitative phase and polarization imaging through an optical fiber applied to detection of early esophageal tumorigenesis[J]. J Biomed Opt, 2019, 24(12): 126004. doi: 10.1117/1.JBO.24.12.126004
[31] Kanakasabapathy M K, Sadasivam M, Singh A, et al. An automated smartphone-based diagnostic assay for point-of-care semen analysis[J]. Sci Transl Med, 2017, 9(382): eaai7863. doi: 10.1126/scitranslmed.aai7863
[32] Li J W, Thiele S, Quirk B C, et al. Ultrathin monolithic 3D printed optical coherence tomography endoscopy for preclinical and clinical use[J]. Light Sci Appl, 2020, 9(1): 124. doi: 10.1038/s41377-020-00365-w
[33] Quang T, Schwarz R A, Dawsey S M, et al. A tablet-interfaced high-resolution microendoscope with automated image interpretation for real-time evaluation of esophageal squamous cell neoplasia[J]. Gastrointest Endosc, 2016, 84(5): 834−841. doi: 10.1016/j.gie.2016.03.1472
[34] Skocek O, Nöbauer T, Weilguny L, et al. High-speed volumetric imaging of neuronal activity in freely moving rodents[J]. Nat Methods, 2018, 15(6): 429−432. doi: 10.1038/s41592-018-0008-0
[35] Su D E, Li X Y, Gao W D, et al. Smart palm-size optofluidic hematology analyzer for automated imaging-based leukocyte concentration detection[J]. Opto Electron Sci, 2023, 2(12): 230018. doi: 10.29026/oes.2023.230018
[36] Urner T M, Inman A, Lapid B, et al. Three-dimensional light-field microendoscopy with a GRIN lens array[J]. Biomed Opt Express, 2022, 13(2): 590−607. doi: 10.1364/BOE.447578
[37] Wallace M B, Fockens P. Probe-based confocal laser endomicroscopy[J]. Gastroenterology, 2009, 136(5): 1509−1513. doi: 10.1053/j.gastro.2009.03.034
[38] Salido J, Bueno G, Ruiz-Santaquiteria J, et al. A review on low-cost microscopes for open science[J]. Microsc Res Tech, 2022, 85(10): 3270−3283. doi: 10.1002/jemt.24200
[39] Zhang Y S, Ribas J, Nadhman A, et al. A cost-effective fluorescence mini-microscope for biomedical applications[J]. Lab Chip, 2015, 15(18): 3661−3669. doi: 10.1039/C5LC00666J
[40] Zhu H Y, Yaglidere O, Su T W, et al. Cost-effective and compact wide-field fluorescent imaging on a cell-phone[J]. Lab Chip, 2011, 11(2): 315−322. doi: 10.1039/C0LC00358A
[41] Orth A, Wilson E R, Thompson J G, et al. A dual-mode mobile phone microscope using the onboard camera flash and ambient light[J]. Sci Rep, 2018, 8(1): 3298. doi: 10.1038/s41598-018-21543-2
[42] Rabha D, Sarmah A, Nath P. Design of a 3D printed smartphone microscopic system with enhanced imaging ability for biomedical applications[J]. J Microsc, 2019, 276(1): 13−20. doi: 10.1111/jmi.12829
[43] Cesaretti M, Gal J, Bouveyron C, et al. Accurate assessment of nonalcoholic fatty liver disease lesions in liver allograft biopsies by a smartphone platform: a proof of concept[J]. Microsc Res Tech, 2020, 83(9): 1025−1031. doi: 10.1002/jemt.23478
[44] Ozcan A, Demirci U. Ultra wide-field lens-free monitoring of cells on-chip[J]. Lab Chip, 2008, 8(1): 98−106. doi: 10.1039/B713695A
[45] Mudanyali O, Tseng D, Oh C, et al. Compact, light-weight and cost-effective microscope based on lensless incoherent holography for telemedicine applications[J]. Lab Chip, 2010, 10(11): 1417−1428. doi: 10.1039/c000453g
[46] Bishara W, Su T W, Coskun A F, et al. Lensfree on-chip microscopy over a wide field-of-view using pixel super-resolution[J]. Opt Express, 2010, 18(11): 11181−11191. doi: 10.1364/OE.18.011181
[47] Jiang S W, Zhu J K, Song P M, et al. Wide-field, high-resolution lensless on-chip microscopy via near-field blind ptychographic modulation[J]. Lab Chip, 2020, 20(6): 1058−1065. doi: 10.1039/C9LC01027K
[48] Adams J K, Yan D, Wu J M, et al. In vivo lensless microscopy via a phase mask generating diffraction patterns with high-contrast contours[J]. Nat Biomed Eng, 2022, 6(5): 617−628. doi: 10.1038/s41551-022-00851-z
[49] Adams J K, Boominathan V, Avants B W, et al. Single-frame 3D fluorescence microscopy with ultraminiature lensless FlatScope[J]. Sci Adv, 2017, 3(12): e1701548. doi: 10.1126/sciadv.1701548
[50] Antipa N, Kuo G, Heckel R, et al. DiffuserCam: lensless single-exposure 3D imaging[J]. Optica, 2018, 5(1): 1−9. doi: 10.1364/optica.5.000001
[51] Kuo G, Liu F L, Grossrubatscher I, et al. On-chip fluorescence microscopy with a random microlens diffuser[J]. Opt Express, 2020, 28(6): 8384−8399. doi: 10.1364/OE.382055
[52] Tian F, Hu J J, Yang W J. GEOMScope: large field-of-view 3D lensless microscopy with low computational complexity[J]. Laser Photonics Rev, 2021, 15(8): 2100072. doi: 10.1002/lpor.202100072
[53] Zhou P, He H P, Ma H B, et al. A review of optical imaging technologies for microfluidics[J]. Micromachines, 2022, 13(2): 274. doi: 10.3390/MI13020274
[54] Gӧrӧcs Z, Tamamitsu M, Bianco V, et al. A deep learning-enabled portable imaging flow cytometer for cost-effective, high-throughput, and label-free analysis of natural water samples[J]. Light Sci Appl, 2018, 7(1): 66. doi: 10.1038/s41377-018-0067-0
[55] Song P M, Guo C F, Jiang S W, et al. Optofluidic ptychography on a chip[J]. Lab Chip, 2021, 21(23): 4549−4556. doi: 10.1039/D1LC00719J
[56] Zhu H Y, Mavandadi S, Coskun A F, et al. Optofluidic fluorescent imaging cytometry on a cell phone[J]. Anal Chem, 2011, 83(17): 6641−6647. doi: 10.1021/ac201587a
[57] Kim B, Oh S, Shin S, et al. Pumpless microflow cytometry enabled by viscosity modulation and immunobead labeling[J]. Anal Chem, 2018, 90(13): 8254−8260. doi: 10.1021/acs.analchem.8b01804
[58] Lee Y, Kim B, Choi S. Integrated microflow cytometry for portable immunophenotypic cell analysis[J]. Sensors Actuators A Phys, 2020, 309: 112038. doi: 10.1016/j.sna.2020.112038
[59] Wang B F, Li Y W, Zhou M F, et al. Smartphone-based platforms implementing microfluidic detection with image-based artificial intelligence[J]. Nat Commun, 2023, 14(1): 1341. doi: 10.1038/s41467-023-36017-x
[60] Sunny S, Baby A, James B L, et al. A smart tele-cytology point-of-care platform for oral cancer screening[J]. PLoS One, 2019, 14(11): e0224885. doi: 10.1371/journal.pone.0224885
[61] Zeinhom M M A, Wang Y J, Song Y, et al. A portable smart-phone device for rapid and sensitive detection of E. coli O157: H7 in Yoghurt and egg[J]. Biosens Bioelectron, 2018, 99: 479−485. doi: 10.1016/j.bios.2017.08.002
[62] Kanakasabapathy M K, Thirumalaraju P, Bormann C L, et al. Development and evaluation of inexpensive automated deep learning-based imaging systems for embryology[J]. Lab Chip, 2019, 19(24): 4139−4145. doi: 10.1039/C9LC00721K
[63] Bormann C L, Curchoe C L, Thirumalaraju P, et al. Correction to: deep learning early warning system for embryo culture conditions and embryologist performance in the ART laboratory[J]. J Assisted Reprod Genet, 2021, 38(7): 1893−1893. doi: 10.1007/s10815-021-02225-x
[64] Bormann C L, Kanakasabapathy M K, Thirumalaraju P, et al. Performance of a deep learning based neural network in the selection of human blastocysts for implantation[J]. Elife, 2020, 9: e55301. doi: 10.7554/eLife.55301
[65] Abraham E, Zhou J X, Liu Z W. Speckle structured illumination endoscopy with enhanced resolution at wide field of view and depth of field[J]. Opto Electron Adv, 2023, 6(7): 220163. doi: 10.29026/oea.2023.220163
[66] Chen Y W, He Y, Ye H, et al. Unified deep learning model for predicting fundus fluorescein angiography image from fundus structure image[J]. J Innovative Opt Health Sci, 2024, 17(3): 156−159. doi: 10.1142/S1793545824500032
[67] Xu X, Luo Q, Wang J X, et al. Large-field objective lens for multi-wavelength microscopy at mesoscale and submicron resolution[J]. Opto Electron Adv, 2024, 7(6): 230212. doi: 10.29026/oea.2024.230212
[68] 张子建, 王天义, 徐欣, 等. 偏振激光照明对多层薄膜结构成像对比度影响[J]. 光电工程, 2023, 50(7): 230089. doi: 10.12086/oee.2023.230089
Zhang Z J, Wang T Y, Xu X, et al. Effect of polarized laser illumination on imaging contrast of multilayer thin film structure[J]. Opto-Electron Eng, 2023, 50(7): 230089. doi: 10.12086/oee.2023.230089
[69] 张子建, 徐欣, 王吉祥, 等. 光片荧光显微镜研究进展[J]. 光电工程, 2023, 50(5): 220045. doi: 10.12086/oee.2023.220045
Zhang Z J, Xu X, Wang J X, et al. Review of the development of light sheet fluorescence microscopy[J]. Opto-Electron Eng, 2023, 50(5): 220045. doi: 10.12086/oee.2023.220045
[70] Gjeorgjievski M, Sarkar A, Shahid H, et al. Endoscopic full-thickness resection with reconstruction of the rectal wall[J]. Endoscopy, 2023, 55(S1): E133−E134. doi: 10.1055/A-1948-2007
[71] Hsia D W, Tanner N T, Shamblin C, et al. The latest generation in flexible bronchoscopes: a description and evaluation[J]. J Bronchol Interv Pulmonol, 2013, 20(4): 357−362. doi: 10.1097/LBR.0000000000000014
[72] Tomita Y, Yoshida N, Inoue K, et al. Two cases of colonic tumors observed by linked color imaging and texture and color enhancement imaging with the tablet-image comparison method[J]. DEN Open, 2021, 2(1): e47. doi: 10.1002/deo2.47
[73] Beltrán V P, Alonso-Lázaro N, Mansilla-Vivar R, et al. Single-operator cholangiopancreatoscopy in pancreatobiliary diseases: clinical experience in a tertiary referral hospital[J]. Rev Esp Enferm Dig, 2018, 110(12): 748−754. doi: 10.17235/reed.2018.5837/2018
[74] Wong C H K, Ko S, Wong O F, et al. A manikin study comparing the performance of the GlideScope®, the Airtraq® and the C-MAC® in endotracheal intubation using suction-assisted laryngoscopy airway decontamination techniques in a simulated massive haematemesis scenario by emergency doctors[J]. Hong Kong J Emerg Med, 2021, 28(5): 291−304. doi: 10.1177/1024907920957796
[75] Leon M G, Nguyen A, Nguyen A, et al. Diagnostic office hysteroscopy with the Storz TrophyScope® versus cooper surgical Endosee®[J]. Minerva Ginecol, 2020, 72(5): 310−315. doi: 10.23736/S0026-4784.20.04568-2
[76] Guo C L, Urner T, Jia S. 3D light-field endoscopic imaging using a GRIN lens array[J]. Appl Phys Lett, 2020, 116(10): 101105. doi: 10.1063/1.5143113
[77] Köhler T, Haase S, Bauer S, et al. ToF meets RGB: novel multi-sensor super-resolution for hybrid 3-D endoscopy[C]//16th International Conference on Medical Image Computing and Computer Assisted Intervention (MICCAI), Nagoya, Japan, 2013: 139–146. https://doi.org/10.1007/978-3-642-40811-3_18.
[78] Stolyarov R, Buharin V, Val M, et al. Sub-millimeter precision 3D measurement through a standard endoscope with time of flight[C]//Proceedings of SPIE 11949, Advanced Biomedical and Clinical Diagnostic and Surgical Guidance Systems XX, San Francisco, 2022: 119490E. https://doi.org/10.1117/12.2605993.
[79] Maurice X, Albitar C, Doignon C, et al. A structured light-based laparoscope with real-time organs' surface reconstruction for minimally invasive surgery[C]//34th Annual International Conference of the IEEE Engineering in Medicine and Biology Society, San Diego, 2012: 5769–5772. https://doi.org/10.1109/EMBC.2012.6347305.
[80] Kim D T, Cheng C H, Liu D G, et al. Designing a new endoscope for panoramic-view with focus-area 3D-vision in minimally invasive surgery[J]. J Med Biol Eng, 2020, 40(2): 204−219. doi: 10.1007/s40846-019-00503-9
[81] Zhou C J, Yu H, Yuan B, et al. Three-dimensional stitching of binocular endoscopic images based on feature points[J]. Photonics, 2021, 8(8): 330. doi: 10.3390/PHOTONICS8080330
[82] Yu H, Zhou C J, Zhang W, et al. A three-dimensional measurement method for binocular endoscopes based on deep learning[J]. Front Inf Technol Electron Eng, 2022, 23(4): 653−660. doi: 10.1631/FITEE.2000679
[83] Broxton M, Grosenick L, Yang S, et al. Wave optics theory and 3-D deconvolution for the light field microscope[J]. Opt Express, 2013, 21(21): 25418−25439. doi: 10.1364/OE.21.025418
[84] Levoy M, Ng R, Adams A, et al. Light field microscopy[J]. ACM Trans Graphics, 2006, 25(3): 924−934. doi: 10.1145/1141911.1141976
[85] Lee J S, Jung G S, Won Y H. Light field 3D endoscope based on electro-wetting lens array[C]//Proceedings of SPIE 10061, Microfluidics, BioMEMS, and Medical Microsystems XV, San Francisco, 2017: 100610J. https://doi.org/10.1117/12.2251660.
[86] Liu J D, Claus D, Xu T F, et al. Light field endoscopy and its parametric description[J]. Opt Lett, 2017, 42(9): 1804−1807. doi: 10.1364/OL.42.001804
[87] Beg S, Parra-Blanco A, Ragunath K. Optimising the performance and interpretation of small bowel capsule endoscopy[J]. Frontline Gastroenterol, 2018, 9(4): 300−308. doi: 10.1136/flgastro-2017-100878
[88] Nakajima F, Furumatsu Y, Yurugi T, et al. Investigation of small intestinal lesions in dialysis patients using capsule endoscopy[J]. Hemodial Int, 2019, 23(1): 77−80. doi: 10.1111/hdi.12683
[89] Ou G, Shahidi N, Galorport C, et al. Effect of longer battery life on small bowel capsule endoscopy[J]. World J Gastroenterol, 2015, 21(9): 2677−2682. doi: 10.3748/wjg.v21.i9.2677
[90] Cao Q, Deng R Y, Pan Y, et al. Robotic wireless capsule endoscopy: recent advances and upcoming technologies[J]. Nat Commun, 2024, 15(1): 4597. doi: 10.1038/s41467-024-49019-0
[91] Spada C, Piccirelli S, Hassan C, et al. AI-assisted capsule endoscopy reading in suspected small bowel bleeding: a multicentre prospective study[J]. Lancet Digital Health, 2024, 6(5): e345−e353. doi: 10.1016/S2589-7500(24)00048-7
[92] Inoue H, Igari T, Nishikage T, et al. A novel method of virtual histopathology using laser-scanning confocal microscopy in-vitro with untreated fresh specimens from the gastrointestinal mucosa[J]. Endoscopy, 2000, 32(6): 439−443. doi: 10.1055/s-2000-654
[93] Minsky M. Memoir on inventing the confocal scanning microscope[J]. Scanning, 1988, 10(4): 128−138. doi: 10.1002/sca.4950100403
[94] Ra H, Piyawattanametha W, Mandella M J, et al. Three-dimensional in vivo imaging by a handheld dual-axes confocal microscope[J]. Opt Express, 2008, 16(10): 7224−7232. doi: 10.1364/OE.16.007224
[95] Ra H, Piyawattanametha W, Gonzalez-Gonzalez E, et al. In vivo imaging of human and mouse skin with a handheld dual-axis confocal fluorescence microscope[J]. J Invest Dermatol, 2011, 131(5): 1061−1066. doi: 10.1038/jid.2010.401
[96] Hwang K, Seo Y H, Kim D Y, et al. Handheld endomicroscope using a fiber-optic harmonograph enables real-time and in vivo confocal imaging of living cell morphology and capillary perfusion[J]. Microsyst Nanoeng, 2020, 6(1): 72. doi: 10.1038/s41378-020-00182-6
[97] Goetz M, Deris I, Vieth M, et al. Near-infrared confocal imaging during mini-laparoscopy: a novel rigid endomicroscope with increased imaging plane depth[J]. J Hepatol, 2010, 53(1): 84−90. doi: 10.1016/j.jhep.2010.01.039
[98] Dickensheets D L, Kino G S. Scanned optical fiber confocal microscope[C]//Proceedings of SPIE 2184, Three-Dimensional Microscopy: Image Acquisition and Processing, San Jose, 1994: 39–47. https://doi.org/10.1117/12.172104.
[99] Seo Y H, Hwang K, Park H C, et al. Electrothermal MEMS fiber scanner for optical endomicroscopy[J]. Opt Express, 2016, 24(4): 3903−3909. doi: 10.1364/OE.24.003903
[100] Seibel E J, Smithwick Q Y J. Unique features of optical scanning, single fiber endoscopy[J]. Lasers Surg Med, 2002, 30(3): 177−183. doi: 10.1002/lsm.10029
[101] Myaing M T, MacDonald D J, Li X D. Fiber-optic scanning two-photon fluorescence endoscope[J]. Opt Lett, 2006, 31(8): 1076−1078. doi: 10.1364/OL.31.001076
[102] Rivera D R, Brown C M, Ouzounov D G, et al. Compact and flexible raster scanning multiphoton endoscope capable of imaging unstained tissue[J]. Proc Natl Acad Sci USA, 2011, 108(43): 17598−17603. doi: 10.1073/pnas.1114746108
[103] Laemmel E, Genet M, Le Goualher G, et al. Fibered confocal fluorescence microscopy (Cell-viZio™) facilitates extended imaging in the field of microcirculationa comparison with intravital microscopy[J]. J Vasc Res, 2004, 41(5): 400−411. doi: 10.1159/000081209
[104] Sun J T, Shu C H, Appiah B, et al. Needle-compatible single fiber bundle image guide reflectance endoscope[J]. J Biomed Opt, 2010, 15(4): 040502. doi: 10.1117/1.3465558
[105] Wang J F, Li H, Tian G, et al. Near-infrared probe-based confocal microendoscope for deep-tissue imaging[J]. Biomed Opt Express, 2018, 9(10): 5011−5025. doi: 10.1364/BOE.9.005011
[106] Li H, Hao Z Y, Huang J F, et al. 500 μm field-of-view probe-based confocal microendoscope for large-area visualization in the gastrointestinal tract[J]. Photonics Res, 2021, 9(9): 1829−1841. doi: 10.1364/PRJ.431767
[107] Huang D, Swanson E A, Lin C P, et al. Optical coherence tomography[J]. Science, 1991, 254(5035): 1178−1181. doi: 10.1126/science.1957169
[108] 刘德军, 黄梓毅, 李卓荣, 等. 光学相干层析显微内窥成像技术研究进展(特邀)[J]. 激光与光电子学进展, 2024, 61(2): 0211025. doi: 10.3788/LOP232208
Liu D J, Huang Z Y, Li Z R, et al. Recent advances in micro-endoscopies based on optical coherence tomography (invited)[J]. Laser Optoelectron Prog, 2024, 61(2): 0211025. doi: 10.3788/LOP232208
[109] Ge X, Chen S, Lin K, et al. Deblurring, artifact-free optical coherence tomography with deconvolution-random phase modulation[J]. Opto Electron Sci, 2024, 3(1): 230020. doi: 10.29026/oes.2024.230020
[110] Huang J J, Fan J Y, He Y, et al. Physical compensation method for dispersion of multiple materials in swept source optical coherence tomography[J]. J Biophotonics, 2023, 16(10): e202300167. doi: 10.1002/jbio.202300167
[111] Kang J Q, Zhu R, Sun Y X, et al. Pencil-beam scanning catheter for intracoronary optical coherence tomography[J]. Opto Electron Adv, 2022, 5(3): 200050. doi: 10.29026/oea.2022.200050
[112] Wang J, Zong Y, He Y, et al. Domain adaptation-based automated detection of retinal diseases from optical coherence tomography images[J]. Curr Eye Res, 2023, 48(9): 836−842. doi: 10.1080/02713683.2023.2212878
[113] 李云耀, 樊金宇, 蒋天亮, 等. 光学相干层析技术在眼科手术导航方面的研究进展[J]. 光电工程, 2023, 50(1): 220027. doi: 10.12086/oee.2023.220027
Li Yunyao, Fan Jinyu, Jiang Tianliang, et al. Review of the development of optical coherence tomography imaging navigation technology in ophthalmic surgery[J]. Opto-Electron Eng, 2023, 50(1): 220027. doi: 10.12086/oee.2023.220027
[114] 杨建文, 黄江杰, 何益, 等. 线聚焦谱域光学相干层析成像的分段色散补偿像质优化方法[J]. 光电工程, 2024, 51(6): 240042. doi: 10.12086/oee.2024.240042
Yang J W, Huang J J, He Y, et al. Image quality optimization of line-focused spectral domain optical coherence tomography with subsection dispersion compensation[J]. Opto-Electron Eng, 2024, 51(6): 240042. doi: 10.12086/oee.2024.240042
[115] Tearney G J, Boppart S A, Bouma B E, et al. Scanning single-mode fiber optic catheter-endoscope for optical coherence tomography[J]. Opt Lett, 1996, 21(7): 543−545. doi: 10.1364/OL.21.000543
[116] Tearney G J, Brezinski M E, Bouma B E, et al. In vivo endoscopic optical biopsy with optical coherence tomography[J]. Science, 1997, 276(5321): 2037−2039. doi: 10.1126/science.276.5321.2037
[117] Yin B W, Chu K K, Liang C P, et al. μOCT imaging using depth of focus extension by self-imaging wavefront division in a common-path fiber optic probe[J]. Opt Express, 2016, 24(5): 5555−5564. doi: 10.1364/OE.24.005555
[118] Yin B W, Hyun C, Gardecki J A, et al. Extended depth of focus for coherence-based cellular imaging[J]. Optica, 2017, 4(8): 959−965. doi: 10.1364/OPTICA.4.000959
[119] Yin B W, Piao Z L, Nishimiya K, et al. 3D cellular-resolution imaging in arteries using few-mode interferometry[J]. Light Sci Appl, 2019, 8: 104. doi: 10.1038/s41377-019-0211-5
[120] Li X D, Chudoba C, Ko T, et al. Imaging needle for optical coherence tomography[J]. Opt Lett, 2000, 25(20): 1520−1522. doi: 10.1364/OL.25.001520
[121] Lorenser D, Yang X, Kirk R W, et al. Ultrathin side-viewing needle probe for optical coherence tomography[J]. Opt Lett, 2011, 36(19): 3894−3896. doi: 10.1364/OL.36.003894
[122] Mao Y, Chang, S, Flueraru, C. Fiber lenses for ultra-small probes used in optical coherent tomography[J]. Journal of Biomedical Science and Engineering, 2010, 3(1): 27−34. doi: 10.4236/jbise.2010.31004
[123] Yuan W, Brown R, Mitzner W, et al. Super-achromatic monolithic microprobe for ultrahigh-resolution endoscopic optical coherence tomography at 800 nm[J]. Nat Commun, 2017, 8(1): 1531. doi: 10.1038/s41467-017-01494-4
[124] Xing J C, Kim J, Yoo H. Design and fabrication of an optical probe with a phase filter for extended depth of focus[J]. Opt Express, 2016, 24(2): 1037−1044. doi: 10.1364/OE.24.001037
[125] Pahlevaninezhad H, Khorasaninejad M, Huang Y W, et al. Nano-optic endoscope for high-resolution optical coherence tomography in vivo[J]. Nat Photonics, 2018, 12(9): 540−547. doi: 10.1038/s41566-018-0224-2
[126] Chen S Y, Wang Z C, Zhang D, et al. Miniature fluorescence microscopy for imaging brain activity in freely-behaving animals[J]. Neurosci Bull, 2020, 36(10): 1182−1190. doi: 10.1007/s12264-020-00561-z
[127] Dombeck D A, Harvey C D, Tian L, et al. Functional imaging of hippocampal place cells at cellular resolution during virtual navigation[J]. Nat Neurosci, 2010, 13(11): 1433−1440. doi: 10.1038/nn.2648
[128] Flusberg B A, Cocker E D, Piyawattanametha W, et al. Fiber-optic fluorescence imaging[J]. Nat Methods, 2005, 2(12): 941−950. doi: 10.1038/nmeth820
[129] 刘晓宇, 刘紫千, 斯科, 等. 微型化显微成像系统的关键技术及研究进展(特邀)[J]. 激光与光电子学进展, 2024, 61(2): 0211009. doi: 10.3788/LOP232709
Liu X Y, Liu Z Q, Si K, et al. Key technologies and progresses of miniaturized microscopic imaging system (invited)[J]. Laser Optoelectron Prog, 2024, 61(2): 0211009. doi: 10.3788/LOP232709
[130] Ghosh K K, Burns L D, Cocker E D, et al. Miniaturized integration of a fluorescence microscope[J]. Nat Methods, 2011, 8(10): 871−878. doi: 10.1038/nmeth.1694
[131] Cai D J, Aharoni D, Shuman T, et al. A shared neural ensemble links distinct contextual memories encoded close in time[J]. Nature, 2016, 534(7605): 115−118. doi: 10.1038/nature17955
[132] Liberti W A, Perkins L N, Leman D P, et al. An open source, wireless capable miniature microscope system[J]. J Neural Eng, 2017, 14(4): 045001. doi: 10.1088/1741-2552/aa6806
[133] Guo C L, Blair G J, Sehgal M, et al. Miniscope-LFOV: a large-field-of-view, single-cell-resolution, miniature microscope for wired and wire-free imaging of neural dynamics in freely behaving animals[J]. Sci Adv, 2023, 9(16): eadg3918. doi: 10.1126/sciadv.adg3918
[134] Rynes M L, Surinach D A, Linn S, et al. Miniaturized head-mounted microscope for whole-cortex mesoscale imaging in freely behaving mice[J]. Nat Methods, 2021, 18(4): 417−425. doi: 10.1038/s41592-021-01104-8
[135] Shekhtmeyster P, Duarte D, Carey E M, et al. Trans-segmental imaging in the spinal cord of behaving mice[J]. Nat Biotechnol, 2023, 41(12): 1729−1733. doi: 10.1038/s41587-023-01700-3
[136] Ozbay B N, Losacco J T, Cormack R, et al. Miniaturized fiber-coupled confocal fluorescence microscope with an electrowetting variable focus lens using no moving parts[J]. Opt Lett, 2015, 40(11): 2553−2556. doi: 10.1364/OL.40.002553
[137] Dussaux C, Szabo V, Chastagnier Y, et al. Fast confocal fluorescence imaging in freely behaving mice[J]. Sci Rep, 2018, 8(1): 16262. doi: 10.1038/s41598-018-34472-x
[138] Supekar O D, Sias A, Hansen S R, et al. Miniature structured illumination microscope for in vivo 3D imaging of brain structures with optical sectioning[J]. Biomed Opt Express, 2022, 13(4): 2530−2541. doi: 10.1364/BOE.449533
[139] Bagramyan A, Tabourin L, Rastqar A, et al. Focus-tunable microscope for imaging small neuronal processes in freely moving animals[J]. Photonics Res, 2021, 9(7): 1300−1309. doi: 10.1364/PRJ.418154
[140] Yanny K, Antipa N, Liberti W, et al. Miniscope3D: optimized single-shot miniature 3D fluorescence microscopy[J]. Light Sci Appl, 2020, 9(1): 171. doi: 10.1038/s41377-020-00403-7
[141] Sawinski J, Wallace D J, Greenberg D S, et al. Visually evoked activity in cortical cells imaged in freely moving animals[J]. Proc Natl Acad Sci USA, 2009, 106(46): 19557−19562. doi: 10.1073/pnas.0903680106
[142] Zong W J, Wu R L, Li M L, et al. Fast high-resolution miniature two-photon microscopy for brain imaging in freely behaving mice[J]. Nat Methods, 2017, 14(7): 713−719. doi: 10.1038/nmeth.4305
[143] Zong W J, Wu R L, Chen S Y, et al. Miniature two-photon microscopy for enlarged field-of-view, multi-plane and long-term brain imaging[J]. Nat Methods, 2021, 18(1): 46−49. doi: 10.1038/s41592-020-01024-z
[144] Zhao C Z, Chen S Y, Zhang L F, et al. Miniature three-photon microscopy maximized for scattered fluorescence collection[J]. Nat Methods, 2023, 20(4): 617−622. doi: 10.1038/s41592-023-01777-3
[145] Yu N F, Genevet P, Kats M A, et al. Light propagation with phase discontinuities: generalized laws of reflection and refraction[J]. Science, 2011, 334(6054): 333−337. doi: 10.1126/science.1210713
[146] Arbabi E, Li J Q, Hutchins R J, et al. Two-photon microscopy with a double-wavelength metasurface objective lens[J]. Nano Lett, 2018, 18(8): 4943−4948. doi: 10.1021/acs.nanolett.8b01737
[147] Wang C H, Chen Q M, Liu H L, et al. Miniature two-photon microscopic imaging using dielectric metalens[J]. Nano Lett, 2023, 23(17): 8256−8263. doi: 10.1021/acs.nanolett.3c02439
[148] Ren H R, Jang J, Li C H, et al. An achromatic metafiber for focusing and imaging across the entire telecommunication range[J]. Nat Commun, 2022, 13(1): 4183. doi: 10.1038/s41467-022-31902-3
[149] Jin L H, Liu B, Zhao F Q, et al. Deep learning enables structured illumination microscopy with low light levels and enhanced speed[J]. Nat Commun, 2020, 11(1): 1934. doi: 10.1038/s41467-020-15784-x
[150] Zhou H, Cai R Y, Quan T W, et al. 3D high resolution generative deep-learning network for fluorescence microscopy imaging[J]. Opt Lett, 2020, 45(7): 1695−1698. doi: 10.1364/OL.387486
[151] Falk T, Mai D, Bensch R, et al. U-Net: deep learning for cell counting, detection, and morphometry[J]. Nat Methods, 2019, 16(1): 67−70. doi: 10.1038/s41592-018-0261-2
[152] Todorov M I, Paetzold J C, Schoppe O, et al. Machine learning analysis of whole mouse brain vasculature[J]. Nat Methods, 2020, 17(4): 442−449. doi: 10.1038/s41592-020-0792-1
-