查看原文
其他

The Innovation | 超分辨结构光照明显微技术的高速无伪影图像重构

TY Zhao & M Lei TheInnovation创新 2023-12-20

超分辨成像技术需要后期对图像进行重构,然而,当前相互分离的数据采集和结果展现操作,限制了超分辨显微镜的应用。本文通过配合空频域联合重构算法、频谱滤波器和GPU加速技术,实现了高质量超分辨结果的实时显示,为活细胞超分辨成像提供了新技术


图1 图文摘要


光学成像技术在人类探索和发现未知世界奥秘的活动中扮演着重要的角色。大到宏观宇宙,小到微观分子,看得更“清楚”是人类不断追求的目标。但受限于光的衍射特性,传统光学显微镜的空间分辨率存在瑞利-阿贝物理极限。中国光学工程学会2023年发布的年度15个重大科学问题之一就是“如何突破时-空极限实现超快超分辨成像”。超分辨光学成像技术将光学显微镜的空间分辨率从几百纳米提高到了几纳米,是近些年来发展最快、受关注度最高的光学成像技术之一,是学者们研究微观结构和动态过程的强大工具。

结构光照明超分辨显微技术(Super Resolution Structured Illumination Microscopy, SR-SIM)是一种基于特殊空间调制光场照明和面阵图像传感器探测的宽场超分辨成像技术,其空间分辨率在60-100 nm左右,可以实现毫秒量级的时间分辨率和大的视场范围,而且需要的光照剂量小,无需特殊的荧光蛋白,是现阶段最适合拍摄活细胞的超分辨显微技术。然而传统的SR-SIM重构算法涉及到大量频率域计算,重构过程比较耗时(一般需要秒级的时间重构一帧图像)。西安交通大学雷铭团队近年来围绕如何提升光学显微镜的时空分辨率以及空间带宽积等问题,创新性地提出了基于空域和频域联合处理的快速超分辨图像重构方法(Joint Spatial-Frequency Reconstruction, JSFR-SIM),实现了毫秒级的超分辨图像重构。但是JSFR-SIM的重构过程中的计算误差和光学传递函数失配等因素有可能会导致在重构图像中出现伪影,从而影响最终超分辨图像的保真度。基于频谱优化的高保真SIM重构算法(HiFi-SIM)以及深度学习等高保真的重构方法可以很好地消除伪影噪声,但是这些方法的计算量很大,非常耗时。

表1 JSFR-AR-SIM可以提供更高的图像重建速度

为了克服重构时间慢和伪影信号干扰等困扰SR-SIM推广的技术难题,最近,雷铭团队联合北京大学,华南师范大学以及内布拉斯加大学医学中心等多家单位设计了一个新的高速无伪影联合空频域重构方案(JSFR-AR-SIM),同时实现了重构速度的提升和伪影噪声的抑制。JSFR-AR-SIM的图像保真度与HiFi-SIM相同,但重构速度相较HiFi-SIM提升两个数量级,重构一幅高保真1024*1024像素的超分辨图像仅需5.7 ms(表1,图2)。

图2 HeLa细胞中的细胞骨架成像结果对比。(a)-(c) 宽场、JSFR-SIM、HiFi-SIM和JSFR-AR-SIM结果对比。相比其他算法,JSFR-AR-SIM在抑制了重构伪影的同时,重建时间(RT)更短;(d)-(e) , (a)中方框处的局部放大图;(f)-(g) 局部放大图中直线处的强度分布曲线。

雷铭团队使用自主研发的多波长高速结构光照明超分辨显微镜并结合JSFR-AR-SIM重构方案(图3),并通过对多种活细胞和细胞器的成像实验研究,实现了高质量超分辨结果的实时重构。我们期待JSFR-AR-SIM可以为细胞生物学、微生物学等领域提供新的成像工具。

图3  (a) 多波长结构光照明超分辨显微镜光路图和(b)实物照片(样机尺寸:100*60*20 cm)


总结与展望

本研究提出了一种用于SR-SIM的快速、无伪影重构算法:JSFR-AR-SIM。该算法在保留HiFi-SIM高品质成像结果的同时极大地简化了图像重构流程,配合GPU加速技术,实现了超分辨结果的实时显示。另外,本研究可以进一步扩展到其他SR-SIM技术,为实时、精确的超分辨率成像和分析活细胞提供一个强大的工具




责任编辑


成泽怡   瑞金医院

王   健    Helmholtz Institute Ulm




扫二维码|查看原文


原文链接:https://www.cell.com/the-innovation/fulltext/S2666-6758(23)00053-X

本文内容来自Cell Press合作期刊The Innovation第四卷第三期以Article发表的“Rapid, artifact-reduced, image reconstruction for super-resolution structured illumination microscopy” (投稿: 2023-02-04;接收: 2023-04-10;在线刊出: 2023-04-12)。


DOI: https://doi.org/10.1016/j.xinn.2023.100425


引用格式:Wang Z., Zhao T., Cai Y., et al. (2023). Rapid, artifact-reduced, image reconstruction for super-resolution structured illumination microscopy. The Innovation. 4(3),100425.



作者简介

雷 铭,教授,博士生导师,2015年国家基金委优秀青年科学基金获得者,2016年中国科学院拔尖青年科学家基金获得者,2017年中国科学院青年促进会优秀会员,2018年入选西安交通大学青年拔尖人才A类,陕西省“先进光学成像融合人工智能科技创新团队”负责人。中国激光杂志社青年编辑委员会常务委员,中国光学学会生物医学光子学专业委员会常委,中国光学学会高速摄影和光子学专业委员会委员,中国仪器仪表学会显微仪器分会理事。主要从事先进光学成像以及多功能光学微操纵技术的研究。对突破光学衍射极限的细胞成像,特殊光束光学微操纵,三维光学显微等问题进行了系统地研究。在国际刊物上发表论文200余篇,第一发明人授权中国发明专利20项,授权美国发明专利1项。曾获中科院刘永龄奖学金特别奖,中科院院长奖,陕西省科学技术奖一等奖,陕西省科学技术奖二等奖,中国光学工程学会科技创新二等奖等。

Web:http://www.opticaltweezers.net/



往期推荐

_

时空深度挖掘,AI赋能城市计算新时代

► 点击阅读

_

流浪地球2:一次科学家与电影人的双向奔赴

► 点击阅读

_

智能无人集群威胁将至,如何防御和对抗?

► 点击阅读

_

SparkLink:超低时延和超高可靠的无线短距离通信技术

► 点击阅读

_

AI视角下的元宇宙之路


► 点击阅读

_

模数融合的全新训练模式:物理神经网络的构建

► 点击阅读

_

新一代智能避障:仿生视觉模拟助力安全驾驶

► 点击阅读



期刊简介



扫二维码 | 关注期刊官微


The Innovation是一本由青年科学家与Cell Press于2020年共同创办的综合性英文学术期刊:向科学界展示鼓舞人心的跨学科发现,鼓励研究人员专注于科学的本质和自由探索的初心。作者来自全球54个国家;已被123个国家作者引用;每期1/5-1/3通讯作者来自海外。目前有196位编委会成员,来自21个国家;50%编委来自海外;包含1位诺贝尔奖获得者,35位各国院士;领域覆盖全部自然科学。The Innovation已被DOAJ,ADS,Scopus,PubMed,ESCI,INSPEC,EI等数据库收录。秉承“好文章,多宣传”理念,The Innovation在海内外各平台推广作者文章。


期刊官网1(Owner):

www.the-innovation.org

期刊官网2(Publisher):

www.cell.com/the-innovation/home

期刊投稿(Submission):

www.editorialmanager.com/the-innovation

商务合作(Marketing):

marketing@the-innovation.org



Logo|期刊标识

See the unseen & change the unchanged

创新是一扇门,我们探索未知;  

创新是一道光,我们脑洞大开;  

创新是一本书,我们期待惊喜;  

创新是一个“1”,我们一路同行。



第4卷第2期

第4卷第1期

第3卷第6期

第3卷第5期

第3卷第4期

第3卷第3期

第3卷第2期

第3卷第1期

第2卷第4期

第2卷第3期

第2卷第2期

第2卷第1期

第1卷第3期

第1卷第2期

第1卷第1期



继续滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存