基于光学矩阵向量乘法器实现编码与解码任务的图像处理。 导读
在光学神经网络（ONN）图像处理领域，传统电子系统能耗高、并行性受限，韩国汉阳大学团队提出光学神经网络自动编码器，创新性地设计了Type 1/Type 2两类光学矩阵向量乘法：Type 1适配编码，Type 2优化解码，有效地解决了传统光学矩阵向量乘法器中解码低效、抗失真差的问题。
自动驾驶、医学影像等领域需实时低功耗图像处理，传统电子自动编码器能耗高，现有光学神经网络多聚焦编码，解码依赖电子辅助且需相干光输入。该研究成果通过三原色光复用简化权重表征、系统内迭代调优补偿硬件缺陷，实现了非相干图像光学编码-解码一体化，还拓展至去噪、生成任务。
该研究成果近日发表于国际顶级学术期刊《Light: Science Applications》，题为Image processing with Optical matrix vector multipliers implemented for encoding and decoding tasks，韩国汉阳大学Minjoo Kim、Yelim Kim为共同第一作者，Won Il Park为论文通讯作者。
研究背景
光学图像处理在自动驾驶、医学诊断等领域需求激增，传统电子深度学习系统因能耗高、并行性与速度受限，难以满足实时低功耗需求；光学神经网络虽凭借矩阵向量乘法并行优势成为替代方案，但现有研究多聚焦编码环节，解码仍依赖电子辅助，导致编码-解码链路效率低下。
当前光学神经网络面临三大未解决问题：一是光学矩阵向量乘法器适配性局限，传统结构仅高效处理输入维度大于输出的编码任务，对输出维度更大的解码任务，因光扇出/扇入复杂度升高导致效率骤降；二是相干光依赖，衍射深度神经网络等系统需相干光输入，非相干自然图像需额外光电转换，引入延迟与复杂度；三是硬件缺陷影响，透镜像差、颜色干扰等导致图像重建精度低，且缺乏有效补偿手段。
创新研究
为解决上述问题，研究团队创新性地设计了两类适配不同任务的光学矩阵向量乘法结构（如图1示意）：
Type 1矩阵向量乘法器通过输入复制-像素级乘法-聚焦求和流程，高效处理输入维度大于输出的编码任务，依托微透镜阵列/衍射光学元件实现光扇出，适配图像压缩需求；
Type 2矩阵向量乘法器针对输出维度更大的解码任务，优化为输入放大-标量乘法-图像叠加流程，解决传统矩阵向量乘法器解码效率低、易受像素串扰影响的问题，使320 GBd信号解码均方误差低至0.0251，接近数字基准。
图1. 基于光学神经网络的自动编码器中所用光学矩阵向量乘法操作示意图
在系统优化层面，团队提出三原色光色域复用+迭代调优方案（如图2硬件示意）。利用有机发光二极管与液晶显示器的三原色光通道表征正负权重，将解码所需权重块数量从12块缩减至4块，简化硬件架构；引入基于误差反向传播的系统内迭代调优，同时提升系统抗失真能力。
图2. 基于光学神经网络的自动编码器硬件实现与评估
此外，研究团队还进一步拓展了光学自动编码器功能边界（如图3、4 示意），将其改造为去噪自动编码器。通过输入干净-噪声图像对训练，在高斯噪声场景下，使图像峰值信噪比从～8 dB 提升至实用水平，迭代7次后重建损失从0.0765降至0.0348；还实现变分自动编码器与生成对抗网络的光学化，从随机噪声向量生成接近真实的数字图像，填补光学生成模型在图像处理领域的空白。
图3. 光学自动编码器作为去噪自动编码器的应用
图4. 采用2型乘法器的变分自动编码器与生成对抗网络的实现及结果
总结与展望
该研究针对传统电子深度学习系统图像处理能耗高、并行性差，及现有光学神经网络解码依赖电子辅助、需相干光输入的问题，提出含两类光学矩阵向量乘法的光学神经网络自动编码器。
未来还需进一步开发硅光子集成光学矩阵向量乘法器单元，用无机发光二极管/激光二极管阵列与高速互补金属氧化物半导体传感器提升处理速度；优化Type 2矩阵向量乘法器算法解决薄结构图像重建偏差，探索全光学减法与非线性激活集成；针对医学影像、自动驾驶复杂图像开展适配研究，推动技术从实验室走向产业化。（来源：LightScienceApplications微信公众号）
相关论文信息：https://doi.org/10.1038/s41377-025-01904-z
作者：Won Il Park 来源：《光：科学与应用》
