The Innovation | 深度学习的新型加速器：物理系统vs电子芯片

导 读

当我们需要利用深度学习算法完成某些终端应用时，电子芯片（尤其是GPU，即图形处理器）是当前首选的工具。然而随着数据量与模型复杂度的激增，电子芯片的运算能力与内存愈显不足，且能耗显著增加。最新研究表明基于物理系统的处理器可极大地克服上述缺点，并有望在未来取代电子芯片成为高能效的深度学习处理器。

图1  (A) 数据量增大对深度学习（deep learning）与传统方法（conventional methods）的不同增益；(B) 深度学习中可被加速的步骤，其中Inference与Training能耗占比为90:10；(C) 深度学习加速器的发展趋势。MZI: Mach-Zehnder interferometers

在众多物理系统中，基于光学机制的物理系统最受关注。这得益于无与伦比的光速及与神经网络所需运算高度一致的光学变换，例如傅立叶光学、成像过程中的卷积关系等。这些光学操作或运算在Computer Vision（CV，即计算机视觉）中尤为重要。因此，在最新的研究报道中，我们可以看到基于光学系统实现的神经网络同样可用于图像分类和图像变换。其中卷积核的实现是CV的核心，需要利用适当的光学元件实现在多通道上对光进行调制。当前可满足这一需求的元件很多，例如毛玻璃片、衍射片、多模光纤以及超构表面等。由于这些元件对光的调制是被动的，对应网络的权重相对固定，它们大多被用于Inference过程，而该过程占据了90%的能耗（图1B）。当然，除了利用物理系统模拟神经网络的数学运算，利用物理系统本身的特殊变换（如一些线性或非线性的声、光、电等原理）来完成某些特定的深度学习任务同样可行。

另一方面，物理系统在深度学习中同样可以延伸到Training，即开发可训练的物理系统。但不同于仅用在Inference的物理系统（权重固定），Training需要物理系统内的权重可调，即主动调制。譬如在光子电路中（photonics circuits），相位可调的元件用于保存神经网络中的权重。另外，可调的权重也可以和输入数据同时编码，此时的物理系统便可作为一个运算器，只不过这一运算器的运算规则是由对应的物理机制来定义。得益于科学家近年来不懈的开发与改进，物理系统目前已在一些特定任务中实现与电子芯片相媲美的性能（但速度更快、能耗更低）。

总结与展望

在某些特定任务方面实现相媲美的性能不是终点（图1C），或许在不远的将来可开发出基于纯物理系统的深度学习处理器。当然，实现此目标需要更多时间加以研发，而电子芯片在目前依然必不可少。它与物理系统的无缝衔接将会是下一个关注点，否则电子芯片的热损耗和高延时性会反过来制约整个处理器的效率。另外，正如过去一个房间大小的计算机不但缩小至手掌大小，其运行的任务也比以往更加复杂且处理速度更加迅速。我们期待物理系统的微型化，支持更加复杂的神经网络及更多可执行的任务，譬如图像分割、图像风格转换和语言翻译等。

责任编辑

张 晋   河海大学

杨 军   广州医科大学

扫二维码｜查看原文

原文链接：https://www.cell.com/the-innovation/fulltext/S2666-6758(22)00047-9

本文内容来自Cell Press合作期刊The Innovation第三卷第四期以Commentary发表的“Accelerating deep learning with high energy efficiency: From microchip to physical systems” (投稿: 2022-03-17；接收: 2022-04-23；在线刊出: 2022-04-26)。

DOI: https://doi.org/10.1016/j.xinn.2022.100252

引用格式：Li H., Yu Z., Zhao Q., et al. (2022). Accelerating deep learning with high energy efficiency: From microchip to physical systems. The Innovation. 3(4),100252.

作者简介

赖溥祥，香港理工大学生物医学工程系副教授和博导。赖博士长期致力于声光结合及其在生物医学成像、治疗、操控以及人工智能领域的应用研究，在诸如光声成像、散射光聚焦、光遗传、光纤成像等方面在过去的十多年开展了大量原创和前瞻性的工作，成果得到了国际同行的初步关注与肯定，以第一作者或者通讯作者在Nature Photonics，Nature Communications等杂志发表论文60余篇，多次获得国际会议最佳论文荣誉。赖博士2016年入选国家高层次青年人才计划，香港2016-2017年度杰出青年学者，2018 年香港理工大学工学院杰出科研基金奖，2019年王宽城“一带一路”访问学者，2020年香港理工大学工学院卓越科研奖。目前担任中国光学学会生物医学光子学分会常委，中国生物医学工程学会生物医学光子学分会委员，及数个国际学术期刊副主编或者编委。

Web: https://www.polyu.edu.hk/bme/people/academic-staff/dr-puxiang-lai/

往期推荐

期刊简介

扫二维码 ｜ 关注期刊官微

The Innovation 是一本由青年科学家与Cell Press于2020年共同创办的综合性英文学术期刊：向科学界展示鼓舞人心的跨学科发现，鼓励研究人员专注于科学的本质和自由探索的初心。作者来自全球46个国家/地区；每期1/4-1/3通讯作者来自海外；已被95个国家/地区作者引用。目前有192位编委会成员，来自21个国家；50%编委来自海外；包含1位诺贝尔奖获得者，33位各国院士；领域覆盖全部自然科学。The Innovation已被DOAJ，ADS，Scopus，PubMed，ESCI等数据库收录。秉承“好文章，多宣传”理念，The Innovation在海内外各平台推广作者文章。

期刊官网1（Owner）：

www.the-innovation.org

期刊官网2（Publisher）：

www.cell.com/the-innovation/home

期刊投稿（Submission）：

www.editorialmanager.com/the-innovation

商务合作（Marketing）：

marketing@the-innovation.org

Logo｜期刊标识

See the unseen & change the unchanged

创新是一扇门，我们探索未知；  

创新是一道光，我们脑洞大开；  

创新是一本书，我们期待惊喜；  

创新是一个“1”，我们一路同行。