krantbrity/Single-Image-Reflection-Removal-Papers-and-Code-Collection

15

120 commits

updated Sep 20, 2026

See the code

README

Single Image Reflection Removal / Separation Papers and Code Collection

更新时间:2026-09-20

2026

- Single Image Reflection Removal with Patch Reflectance Prior (Information Sciences 2026, Online First)
ScienceDirect | DOI | arXiv | GitHub:暂未确认官方仓库

摘要翻译(根据 Information Sciences 公开 Abstract):单图像反射去除面临玻璃表面透射与反射过程中多种图像退化带来的挑战。现有方法常依赖特定的反射先验假设。该研究引入反射率(reflectance)先验,利用透射图像与反射图像之间的关系辅助恢复,并首先利用图像级和像素级真值反射率验证这一先验的有效性。由于推理时无法获取真值反射率,方法进一步训练网络预测图像块级反射率。在固定反射率预测网络后,利用预测的局部先验调制反射去除骨干网络特征。多个真实世界基准上的实验表明,该方法能够取得具有竞争力的反射去除性能。该论文曾以早期预印本形式公开,2026 年 9 月 10 日上线正式期刊版本。


- RefMover: Diffusion-Based Single Image Reflection Removal With Language and Region Guidance (IEEE TPAMI 2026, Early Access)
DOI | PubMed | GitHub:暂未确认官方仓库

摘要翻译(根据公开 Abstract):单图像反射去除是一项高度不适定的任务。虽然已有研究尝试利用 RAW 数据更准确地描述成像过程,但实际场景中广泛使用的处理后 8 位图像仍需要能够应对非线性退化的恢复方法。现有方法可能因缺乏高层语义引导而难以处理此类图像;语言引导的扩散模型虽然具有潜力,但反射污染输入会带来语义与空间区域难以对齐、恢复结果不够忠实等问题。为此,RefMover 提出多指令扩散框架,结合语言与区域引导,缩小语义与空间之间的对应差距。方法还设计了更精简的条件生成流程,以减轻条件冲突并保留图像细节,同时构建大规模 ComRR 数据集用于训练和评测。实验验证了该方法在反射去除任务中的有效性及其在交互式与云端辅助应用中的潜力。


- Frequency-Domain Enhancement and Multi-Scale Residual Modeling for Single-Image Reflection Separation (Electronics 2026)
Journal | PDF | DOI | GitHub:暂未确认官方仓库

摘要翻译(根据期刊公开 Abstract):单图像反射分离旨在从透过玻璃拍摄的混合图像中恢复透射层和反射层。现有双流交互方法主要依赖空间域的线性特征建模和单尺度残差预测,在处理复杂反射混合时存在局限。该研究提出一种基于预训练双流基线的结构增强方法。受同态滤波启发,同态频域增强模块(HFEM)结合对数变换和 Haar 小波分解提取互补频域特征,并通过零初始化投影将其注入两条流的局部先验分支;多尺度残差建模模块(MSRM)聚合不同层级的解码器特征,替代原有的单尺度残差模块。训练时冻结预训练基线,仅优化新模块。最终新增 1.528M 可训练参数,约占完整 328.49M 参数模型的 0.47%。在包含 494 张图像的五个公开基准上,加权平均 PSNR/SSIM 从 26.52 dB/0.916 提升至 26.74 dB/0.917。消融结果表明,HFEM 是性能增益的主要来源,MSRM 提供补充收益。


- GenSIRR: Rectifying Latent Space for Generative Single-Image Reflection Removal (CVPR 2026)
CVF | PDF | Project | arXiv | GitHub

摘要翻译(严格对应 arXiv 当前 Abstract):单图像反射去除是一个高度病态的问题,现有方法难以推理受损区域的组成关系,这导致它们在野外场景中的恢复与泛化表现不佳。本文将一种面向图像编辑的潜在扩散模型重新构建,使其能够有效感知并处理高度模糊的层叠图像输入,从而生成高质量结果。我们认为,这种转换的挑战源于一个关键但被忽视的问题,即语义编码器的潜空间缺乏将复合图像解释为其组成层线性叠加的内在结构。我们的方法由三个相互协同的组件构成,包括:一种反射等变 VAE,用于使潜空间与反射形成的线性物理规律对齐;一种可学习的任务特定文本嵌入,用于提供精确引导并绕开模糊语言;以及一种深度引导的早期分支采样策略,用于利用生成过程中的随机性来获得更有潜力的结果。大量实验表明,我们的模型在多个基准上取得了新的最先进性能,并且能够很好地泛化到具有挑战性的真实世界案例。


- LightRR: A Lightweight Network for Single Image Reflection Removal (CVPR 2026)
CVF | PDF | GitHub:暂未找到官方仓库

摘要翻译(严格对应 CVF 公开 Abstract):单图像反射去除既具有高度病态性,也通常需要较高计算成本。现有基于 CNN 或 Transformer 的方法往往依赖大感受野和繁重计算,限制了其在资源受限设备上的部署。为此,本文提出 LightRR,一种将小波机制与状态空间建模统一起来的轻量级反射去除网络。具体而言,方法设计非对称频率 Mamba 块(AFM),利用离散小波变换将特征分解为低频和高频成分,并通过基于 Mamba 的状态空间动态有针对性地建模不同频率的依赖关系。该设计能够高效捕获长程上下文,同时降低空间分辨率和计算量,并保留关键细节。此外,知识蒸馏增强的编码器使网络在训练阶段继承大型预训练模型的表征能力,从而实现轻量推理。多个真实世界基准上的实验表明,LightRR 在仅使用 RDNet 约 3.01% 参数量和 5.22% FLOPs 的情况下,取得了与最先进方法相当的性能。


- Reflection Separation from a Single Image via Joint Latent Diffusion (CVPR 2026)
CVF | PDF | Project | arXiv | GitHub

摘要翻译(严格对应 CVF 公开 Abstract):在眩光或弱反射等极端条件下,单图像反射分离具有很高难度。由于可用信息不足,现有方法往往难以同时恢复透射层和反射层。本文提出一种针对该任务显式微调的扩散模型,利用生成扩散先验实现稳健分离。该方法通过统一扩散模型同时生成透射层和反射层,并引入跨层自注意力机制以改善特征解耦。进一步地,本文提出非联合采样策略,在扩散过程中迭代降低两个图层之间的干扰,并采用带有可学习合成函数的潜变量优化步骤,以改善复杂真实场景中的结果。多个真实世界基准上的大量实验表明,该方法优于现有最先进方法。


- ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation (CVPR 2026)
CVF | PDF | Project | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):单图像反射分离(SIRS)将混合图像解耦为透射层和反射层。现有方法在非线性混合下存在透射—反射混淆问题,尤其是在深层解码器层中,这是由隐式融合机制和不足的多尺度协调造成的。我们提出 ReflexSplit,这是一个具有三项关键创新的双流框架。(1)跨尺度门控融合(CrGF)在层级深度之间自适应聚合语义先验、纹理细节和解码器上下文,从而稳定梯度流并保持特征一致性。(2)层融合—分离块(LFSB)在用于共享结构提取的融合和用于层特定解耦的差异分离之间交替进行。受 Differential Transformer 启发,我们通过跨流相减将注意力抵消扩展到双流分离。(3)课程训练通过依赖深度的初始化和按轮次预热,逐步增强差异分离。合成和真实世界基准上的大量实验表明,该方法取得了最先进性能,并具有更优的感知质量和稳健泛化能力。代码可在 GitHub 获取。


- GFRRN: Explore the Gaps in Single Image Reflection Removal (CVPR 2026)
CVF | PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):具有特征交互机制的先前双流方法已经在单图像反射去除(SIRR)中取得了显著性能。然而,它们往往仍面临两个困难:(1)预训练模型特征与反射去除模型特征之间的语义理解差距;(2)合成训练数据与真实世界训练数据之间的反射标签不一致。本文首先采用参数高效微调(PEFT)策略,将若干可学习的 Mona 层集成到预训练模型中,以对齐训练方向。随后,我们设计标签生成器,以统一合成数据和真实世界数据的反射标签。此外,我们提出基于高斯的自适应频率学习块(G-AFLB),以自适应学习并融合频率先验;并采用动态 Agent 注意力(DAA)替代基于窗口的注意力,通过动态建模窗口之间以及单个窗口内部的重要性水平。这些组件构成了我们提出的 Gap-Free Reflection Removal Network(GFRRN)。大量实验表明 GFRRN 的有效性,并相较最先进 SIRR 方法取得了更优性能。


- Polarization State Tracing for Reflection Removal and Color-Consistent Reconstruction (CVPR 2026)
CVF | PDF | GitHub:暂未找到官方仓库

摘要翻译(严格对应 CVF 公开 Abstract):彩色玻璃广泛存在于日常环境中,但其反射与吸收特性会在拍摄图像中引入重影和颜色偏差。现有方法通常忽略吸收问题,因此难以处理彩色玻璃造成的颜色偏差。本文首次利用偏振成像理论对玻璃内部的光传输过程进行建模,提出偏振状态追踪模型(PSTM),沿多条传播路径追踪偏振光,并考虑波长选择性吸收,从而联合实现反射去除与颜色一致性重建。在 PSTM 的指导下,本文设计通道环注意力(CRA)机制,以高效捕获不同偏振角之间的依赖关系并增强偏振通道间的特征交互。恢复的偏振信息还可直接用于偏振形状恢复等下游任务。本文构建了包含多种玻璃材料的真实数据集 GlassPol;实验表明,该方法优于现有方法,PSNR 最高提升约 3 dB。


- NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods (CVPR Workshops 2026)
CVF | PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):本文回顾 NTIRE 2026 野外单图像反射去除(SIRR)挑战赛。SIRR 是图像复原中的一项基础任务。尽管学术研究已经取得进展,大多数方法仍在合成图像或有限的真实世界图像上进行测试,从而在真实世界应用中形成差距。在本挑战赛中,我们为参赛者提供 OpenRR-5k 数据集,要求他们处理覆盖多种反射场景和反射强度的真实世界图像,目标是生成没有反射的干净图像。该挑战赛吸引了超过 100 个注册队伍,其中 11 支参与最终测试阶段。排名靠前的方法推进了最先进的反射去除性能,并获得了该领域五位专家的一致认可。所提出的 OpenRR-5k 数据集可在 Hugging Face 获取,挑战赛主页位于 GitHub。由于篇幅限制,本文只展示部分内容;完整报告和详细分析见扩展 arXiv 版本。


- Reflection Removal through Efficient Adaptation of Diffusion Transformers (WindowSeat, CVPR Workshops 2026, NTIRE)
CVF | PDF | arXiv | GitHub | Demo

摘要翻译(严格对应公开 Abstract):本文提出一种用于单图像反射去除的扩散 Transformer(DiT)框架,利用基础扩散模型在复原任务中的泛化能力。不同于依赖任务特定架构,本文重新利用一个预训练的、基于 DiT 的基础模型,通过以受反射污染的输入为条件,并引导其生成干净透射层。本文系统分析了现有反射去除数据源在多样性、可扩展性和照片真实感方面的情况。为解决合适数据不足的问题,本文在 Blender 中构建了一个基于物理的渲染(PBR)流程,该流程围绕 Principled BSDF 构建,用于合成真实的玻璃材料和反射效果。基于 LoRA 的基础模型高效适配与所提出的合成数据相结合,在域内和零样本基准上实现了最先进性能。这些结果表明,当预训练扩散 Transformer 与基于物理的数据合成和高效适配相结合时,可以为反射去除提供可扩展且高保真的解决方案。项目页面:https://hf.co/spaces/huawei-bayerlab/windowseat-reflection-removal-web。


- ReLo-IRR: Reflection-Guided LoRA Framework for Image Reflection Removal (ICASSP 2026)
ICASSP | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):单幅图像反射去除(SIRR)旨在从受反射污染的图像中恢复干净的透射层。尽管近年来的方法借助大型扩散模型取得了较好的结果,但它们通常依赖与图像内容无关的适配策略,例如微调或 ControlNet,这类策略会在不同反射强度下施加统一的反射抑制。因此,强反射图像中往往仍会出现反射残留,而弱反射图像则容易发生细节损失。为此,本文提出 ReLo-IRR,一种建立在 Rectified Flow 模型之上的反射引导 LoRA 框架。首先,方法设计轻量级估计器来预测反射强度描述符,为每幅图像提供显式的反射主导程度先验,并实现图像依赖的 LoRA 调制。其次,方法引入时间条件机制,将反射描述符与时间步嵌入融合,使 LoRA 调制能够随着由粗到细的去噪过程一致演化。通过联合建模反射强度和去噪动态,ReLo-IRR 能够在多样化反射条件下实现稳健的反射抑制。大量挑战性基准实验验证了该方法的有效性,表明其具有更优的去反射性能和稳健的泛化能力。


- MERLINet: Multi-Exposure Reflection Elimination Network for Real-World Scenes (ICASSP 2026)
IEEE Xplore | PDF | GitHub:暂未找到官方仓库

摘要概述(根据 IEEE 公开摘要):本文面向真实场景反射去除提出多曝光反射消除网络 MERLINet。方法从单张输入构造不同曝光条件的图像表示,并通过层次化多尺度特征提取与融合,利用曝光变化对反射和透射成分产生的不同响应来抑制反射。网络结合多尺度 U 形结构与感知特征约束,以增强复杂场景中的背景恢复和细节保持。实验表明,该方法能够改善真实世界图像中的反射残留和强度失真。


- SIRR-LMM: Single-image Reflection Removal via Large Multimodal Model (WACV Workshops 2026)
CVF | PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):玻璃表面会产生反射光和透射光之间复杂的相互作用,使单图像反射去除(SIRR)具有挑战性。现有数据集存在合成数据物理真实性有限或真实采集规模不足的问题。我们提出一种合成数据集生成框架,该框架在真实背景图像上对 3D 玻璃模型进行路径追踪,从而生成具有不同玻璃属性、相机设置和后处理效果的物理精确反射场景。为了利用大型多模态模型(LMM)的能力,我们将图像层拼接为一个单一的复合输入,应用联合字幕描述,并使用任务特定 LoRA 对模型进行微调,而不是进行全参数训练。这使我们的方法相比最先进方法取得了更好的反射去除和反射分离性能。


- Dereflection: Any Image with Diffusion Priors and Diversified Data (AAAI 2026)
AAAI | PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):单图像反射去除仍然是一项高度具有挑战性的任务,这是由于目标场景和不需要的反射之间存在复杂缠结。尽管已经取得显著进展,现有方法仍受到高质量、多样化数据稀缺和复原先验不足的限制,导致其在各种真实世界场景中的泛化能力有限。本文提出 Dereflection Any Image,这是一个包含高效数据准备流程和可泛化模型的综合解决方案,用于稳健反射去除。首先,我们引入一个名为 Diverse Reflection Removal(DRR)的数据集,该数据集通过在目标场景中随机旋转反射介质来创建,使反射角度和强度发生变化,并在规模、质量和多样性方面建立新的基准。其次,我们提出一种基于扩散的框架,通过一步扩散实现确定性输出和快速推理。为确保稳定学习,我们设计了三阶段渐进训练策略,其中包括反射不变微调,以鼓励模型在表征我们数据集的不同反射模式下输出一致结果。大量实验表明,我们的方法在常见基准和具有挑战性的野外图像上均达到最先进性能,并在多样真实世界场景中表现出更优泛化能力。


- Depth-Synergized Mamba Meets Memory Experts for All-Day Image Reflection Separation (AAAI 2026)
AAAI | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):图像反射分离旨在从混合图像中解耦透射层和反射层。现有方法依赖来自单张图像的有限信息,当两层对比度相似时容易混淆两层,而这一挑战在夜间更加严重。为解决这一问题,我们提出深度—记忆解耦网络(DMDNet)。它采用深度感知扫描(DAScan)来引导 Mamba 关注显著结构,促进信息沿语义一致性流动以构建稳定状态。与 DAScan 协同工作的是深度协同状态空间模型(DS-SSM),它通过深度调制状态激活的敏感性,抑制会干扰层解耦的模糊特征传播。此外,我们引入记忆专家补偿模块(MECM),利用跨图像历史知识指导专家提供层特定补偿。为解决夜间反射分离数据集缺乏的问题,我们构建 Nighttime Image Reflection Separation(NightIRS)数据集。大量实验表明,DMDNet 在日间和夜间均优于最先进方法。


- FUMO: Prior-Modulated Diffusion for Single Image Reflection Removal (ECCV 2026)
PDF | arXiv | GitHub(代码已开放,预训练权重仍待补充)

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)在真实场景中具有挑战性,其中反射强度在空间上变化,且反射模式与透射结构紧密缠结。本文提出一种带有先验调制的扩散模型框架(FUMO),引入显式引导信号,以提升空间可控性和结构保真度。我们直接从混合图像中提取两类先验:一种是估计空间反射严重程度的强度先验,另一种是通过多尺度残差聚合捕获细节敏感响应的高频先验。我们提出一种由粗到细的训练范式。在第一阶段,这些线索被结合起来,对条件残差注入进行门控,使条件信息聚焦于同时具有反射主导性和结构敏感性的区域。在第二阶段,一个细粒度精修网络在图像空间中校正局部不对齐并锐化细节。在标准基准和具有挑战性的野外图像上进行的实验表明,该方法取得了具有竞争力的定量结果,并持续提升了感知质量。官方代码仓库已开放,但预训练权重仍待补充。


- Single-Image Reflection Removal via Iterative Prompt Learning of Reflection Level (IEEE TIP 2026)
IEEE Xplore | DOI | GitHub

摘要翻译(严格对应公开 Abstract):单图像反射去除旨在从受反射污染的图像中恢复潜在背景层。尽管深度学习方法已经取得进展,现有方法通常没有充分利用负训练样本以及描述反射严重程度的提示,从而限制了去反射性能和泛化能力。本文定义与不同反射干扰程度对应的反射等级,并学习反射等级提示来监督去反射过程。在此基础上,本文提出迭代反射等级降低(IRLR)框架,由恢复网络训练模块(RNTM)和反射等级学习模块(RLLM)组成。RNTM 在 RLLM 学习的提示引导下预测背景层,RLLM 再利用 RNTM 的输出更新提示,两者迭代训练以逐步降低估计背景层中的反射等级。为初始化提示,本文构建专用反射等级数据集进行预训练,并设计反射等级感知策略实现自适应监督。实验显示,该方法相较最先进方法平均提升约 0.74 dB PSNR 和 0.0122 SSIM。


- Complementary Mixture-of-Experts and Complementary Cross-Attention for Single Image Reflection Separation in the Wild (TIP 2026)
DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):单图像反射分离(SIRS)旨在从一张包含透射和反射叠加的图像中重建透射图像和反射图像,该图像通常是透过类似玻璃的反射表面拍摄的。近期基于学习的 SIRS 方法已经显著提升了在具有轻微反射伪影的典型图像上的性能;然而,它们在处理野外捕获的、包含挑战性反射的多样图像时通常仍然困难。本文提出一种基于灵活双流架构的通用 SIRS 框架,能够处理多样反射伪影。具体而言,我们引入混合专家机制,根据空间异质的反射特性,动态地将专门专家分配给图像块。被分配的专家随后协同工作,以自适应方式在透射流和反射流之间提取互补特征。此外,我们利用 Transformer 的多头注意力机制,同时利用高交叉相关和低交叉相关,并以互补方式促进自适应的流间特征交互。在多样真实世界数据集上的实验结果表明,所提出方法在定性和定量上均显著优于现有最先进方法。


- DS3former: Dual-Stream Semantic Separation Transformer for Single Image Reflection Separation (IEEE TMM 2026, Accepted/In Press)
DOI | Publication Page | GitHub:暂未找到官方仓库

摘要翻译(根据公开 Abstract):由于反射表面和光照条件多样,单图像反射分离是一个具有挑战性的不适定问题。本文提出 DS3former,一种采用语义分离策略的双流 Transformer 网络,用于有效区分透射层和反射层。作者观察到,混合图像的预训练深层语义特征中,不同通道对透射层或反射层具有不同亲和性。基于这一观察,本文提出语义分离注意力机制,从不同通道中自适应提取图层特定特征,并执行流间特征传递和聚合以增强分离。此外,网络利用深层解码特征和外部预训练特征指导浅层编码过程。实验表明,DS3former 在多个基准上获得了较好的定量指标和视觉质量。


- Single Image Reflection Separation via Collaborative Reverse Attention and Geometric Guidance (IEEE TMM 2026, Early Access)
DOI | GitHub:暂未找到官方仓库

摘要概述(根据公开 Abstract):本文研究从单张混合图像中恢复透射层和反射层。作者观察到,在一个图层的恢复过程中被抑制的特征往往包含有助于恢复另一图层的信息,因此提出协同反向注意力机制,在双流之间重新利用这些互补信息。此外,从混合图像估计的深度通常主要反映透射层的几何结构,本文据此引入几何引导以辅助图层分离,并将协同反向注意力与几何指导嵌入双流 Transformer 架构。


- Human-like Single Image Reflection Removal via Deep Unfolding with Large Kernels (IEEE TCSVT 2026, Accepted/In Press)
DOI | Publication Page | GitHub:暂未找到官方仓库

摘要翻译(根据公开 Abstract):现有基于数学模型或深度学习的单图像反射去除方法通常没有充分考虑人类视觉系统对全局信息的感知。受人类由整体到局部的分层视觉处理机制启发,本文提出结合大核卷积与深度展开的 LKCDU-Net。其初始化模块利用大核卷积捕获全局结构和长程依赖,随后将基于优化的反射去除过程展开为网络阶段,对局部细节进行逐步细化。该方法兼顾可解释性、全局感知与局部恢复,并以较少参数在多个真实世界基准上取得具有竞争力的性能。


- PA-NAFNet: An Improved Nonlinear Activation Free Network with Pyramid Attention for Single Image Reflection Removal (Digital Signal Processing 2026)
ScienceDirect | DOI | GitHub:暂未确认可验证的官方完整仓库

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)是低层视觉中的活跃课题,旨在消除被反射物体或光源对图像质量的影响。然而,由于 SIRR 的病态属性以及缺乏大规模真实世界反射图像数据集,现有方法在真实数据集上性能下降,并存在反射残留问题。为解决这些问题,我们提出一种有效的 SIRR 网络,称为 PA-NAFNet。它以无非线性激活网络(NAFNet)为基线,并结合金字塔注意力模块以捕获长程像素交互。此外,在训练阶段引入颜色抖动技术,以增加训练数据集的多样性,从而缓解反射去除后潜在的颜色失真问题。在多个反射去除基准测试上的实验结果证明了 PA-NAFNet 的有效性。论文页面称相关代码可通过链接获取,但目前尚未确认可验证的官方完整仓库。


- Explicit Semantic Guidance for Single Image Reflection Removal via Perceptual Influence Modeling (Pattern Recognition 2026)
ScienceDirect | DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):透过玻璃拍摄造成的反射伪影通常会降低图像可见性,并损害下游视觉任务。由于其病态性质以及反射层和透射层外观相互缠结,单图像反射去除(SIRR)仍然具有挑战性。虽然近期方法探索了语义先验,但大多数方法依赖隐式特征融合,而没有显式建模感知扰动。为解决这一问题,我们引入感知反射影响图(PRIM),这是一种基于亮度的相对度量,用于捕获由反射引起的干扰在空间上的分布和强度。PRIM 作为一种显式监督信号,引导网络关注感知敏感区域。在此基础上,我们设计 PRIM 自适应融合模块(PAFM),利用由 PRIM 派生的线索动态整合语义特征和局部特征。此外,我们提出受物理启发的反射去除单元(RRU),同时利用统计频域先验和物理图像形成模型,实现稳健的特征解耦。在多个真实世界 SIRR 基准上的大量实验表明,我们的方法达到最先进性能,验证了该语义引导和物理启发框架的有效性。


- Single Image Reflection Removal via Reflection Location Awareness (Journal of Shanghai Jiao Tong University (Science), 2026)
Springer | DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应出版社公开 Abstract):透过玻璃表面拍摄图像时,采集结果中不可避免地会包含反射。反射不仅降低图像视觉质量,还会影响后续计算机视觉任务。虽然现有反射去除算法能够消除部分干扰,但结果中仍常存在残余反射和伪影。利用输入图像中的反射物体不会出现在对应无反射真值图像中的特性,本文提出反射位置感知(RLA)方法。该方法首先检测输入图像中的反射区域并生成反射位置的显式表示,随后将该表示作为空间先验,与输入图像共同输入后续网络模块,以恢复背景透射层的纹理细节。多个基准数据集上的定性和定量实验验证了该方法的有效性。


- Reflection Removal Using Recurrent Polarization-to-Polarization Network (Machine Vision and Applications 2026)
Springer | arXiv | Project | GitHub(目前仅有 README 和补充材料,尚未发布实现代码)

摘要翻译(严格对应公开 Abstract):本文研究利用偏振图像进行反射去除。现有偏振方法通常以偏振图像为输入,却直接预测非偏振的反射和透射强度图像。与之不同,本文提出偏振到偏振的方法,使用两个串联网络预测具有偏振信息的反射层和透射层,从而利用两层之间相互关联的偏振信息促进分离。进一步地,本文采用循环框架,使预测的反射图像和透射图像彼此迭代细化。公开数据集上的实验表明,该方法优于其他先进方法。


- Polarization Information Restoration for Visual Reflection Removal via Cross Dual-stream Network (Knowledge-Based Systems 2026)
ScienceDirect | DOI | GitHub:暂未找到官方仓库

摘要概述(根据出版社公开信息):本文提出一种偏振引导的交叉双流网络,用于同时完成视觉反射去除和准确的偏振信息恢复。方法显式利用多角度偏振观测之间的关联,在透射与反射分支间进行跨流特征交互,并约束恢复结果保持合理的偏振属性。该研究不仅关注无反射强度图像的恢复,也将偏振信息本身作为需要重建的目标,以服务后续偏振视觉任务。


- RRFormer: A New Transformer-Based Method for Ultra High-Definition Reflection Removal (Information Fusion 2026)
Information Fusion | arXiv | GitHub(仓库已开放,部分资源仍待补充) | [中文]

摘要翻译(严格对应公开 Abstract):基于深度学习的方法已经在单图像反射去除(SIRR)中取得显著成功。然而,这些方法大多关注高清/标准清晰度图像,而忽略了超高清(UHD)图像等更高分辨率图像。随着现代设备拍摄的 UHD 图像日益普及,我们旨在解决 UHD SIRR 问题。具体而言,我们首先合成了两个分别为 4K 和 8K 分辨率的大规模 UHD 数据集。据我们所知,它们是首个用于 SIRR 的大规模 UHD 数据集。随后,我们在所提出数据集上对 12 个最先进的 SIRR 方法进行了全面评估。此外,我们提出一种名为 RRFormer 的基于 Transformer 的反射去除架构,由三个模块组成:预处理嵌入模块、自注意力特征提取模块和多尺度空间特征提取模块。这些模块分别提取 hypercolumn 特征、全局和局部注意力特征,以及多尺度空间特征。为确保有效训练,我们使用由像素损失、特征损失和对抗损失组成的组合损失函数。实验结果表明,RRFormer 在现有非 UHD 基准和我们提出的 UHD 数据集上均达到最先进性能。



- PRISM: Latent Composition Consistency for Single-Image Reflection Removal (ECCV 2026)
PDF | arXiv | Project | GitHub(官方代码仓库已公开)

摘要翻译(严格对应 arXiv 当前 Abstract):单图像反射去除旨在从受反射污染的混合图像中恢复透射层,是一个高度不适定问题。现有方法通常在像素空间中操作,而非线性的 sRGB 成像过程会使两个图层相互缠结并限制泛化。本文观察到,预训练 VAE 的潜空间中不同图层之间的相干性显著低于像素空间,因此更适合进行分解。基于这一发现,本文提出 PRISM,将 SIRR 重新解释为潜空间中的近似线性分离问题。PRISM 在预训练 FLUX 骨干上学习流匹配速度场,并在一次前向过程中同时恢复透射层和反射层。为实现稳健解耦,本文提出潜空间组成一致性(LCC)策略,通过在样本间交换反射潜变量构造合成混合,并利用循环损失约束一致分解;同时提出图层对比分离(LCS)损失,通过块级对比学习促进语义分离,而不需要显式反射真值。六个基准上的实验表明,PRISM 具有较强性能和野外泛化能力。


- Principled Reflection Separation via Nonlinear Superposition and Feature Interaction (DIRS, arXiv 2026)
PDF | arXiv | Project | GitHub

摘要翻译(严格对应 arXiv 当前 Abstract):单图像反射分离的根本困难在于,透射层与反射层在复杂成像过程中相互缠结。现有方法大多依赖简化假设或独立建模,限制了其处理真实场景的能力。本文从统一视角重新审视该问题,并指出在 sRGB 域中广泛使用的线性合成模型无法刻画真实图像信号处理流程引入的非线性耦合。为此,本文提出可学习的非线性叠加模型,以更准确地描述图层交互并提高分解保真度。在此基础上,本文构建通用双流交互框架,通过特征交换显式建模透射层和反射层之间的双向依赖。该框架统一了基于激活、门控和注意力的交互机制,并兼容 CNN 与 Transformer 骨干。多个真实世界基准上的实验表明,该方法具有较好的性能和泛化能力。官方代码与模型已经公开。


- Unified Removal of Raindrops and Reflections: A New Benchmark and A Novel Pipeline (ECCV 2026)
PDF | arXiv | Project / GitHub(官方项目仓库已公开;训练、推理代码与预训练模型仍待发布) | Dataset

摘要翻译(严格对应公开 Abstract):在雨天透过玻璃表面或挡风玻璃拍摄图像时,雨滴和反射经常共同出现,并显著降低所捕获图像的可见性。这一实际问题缺乏关注,亟需解决。先前的去雨滴、去反射以及 all-in-one 模型都未能解决这种复合退化。为此,我们首次正式定义统一去除雨滴和反射(UR³)任务,并构建一个真实拍摄数据集,即 RainDrop and ReFlection(RDRF),它提供了一个包含大量、高质量、多样化图像对的新基准。随后,我们提出一种新的基于扩散的框架(即 DiffUR³),并通过若干针对性设计来解决这一具有挑战性的任务。通过利用强大的生成先验,DiffUR³ 成功去除了两种退化。大量实验表明,我们的方法在所提出基准和具有挑战性的野外图像上达到最先进性能。RDRF 数据集的项目页面已公开,训练、推理代码与预训练模型仍待发布。



2026 年相关扩展任务(非标准单幅 RGB 图像反射去除)

- From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection (arXiv 2026, 视频反射去除)
PDF | arXiv | Project | GitHub:项目页面标注代码待发布

摘要翻译(根据 arXiv 公开 Abstract):透过玻璃拍摄的视频中常包含反射,影响视觉质量和后续视觉任务。与单图像反射去除相比,视频反射去除面临成对训练数据不足、跨帧恢复一致性难以维持及缺少专用评测基准等问题。该研究提出 S2R 框架,统一基于物理的反射视频合成、扩散式视频去反射与基准评测。S2R-Synthesis 通过结构空间中的物理增强和视频扩散渲染器生成成对视频,并模拟由玻璃粗糙度、厚度和反射率变化带来的退化;S2R-Removal 通过反射感知潜空间适配与单步像素几何精修,利用预训练视频扩散先验恢复透射内容;S2R-Bench 提供全参考评价与真实世界主观感知评价。该论文研究对象为视频,而非标准单图像输入。


- Diffusion-Based Dual-View Reflection Removal (ECCV 2026, 双视角反射去除)
Springer Proceedings | Publication List | GitHub:暂未确认官方仓库

内容概述(根据公开会议论文目录及作者论文列表):该论文由 Tianyi Xu、Zifeng Wang、Boyang Lv、Shuchen Weng 和 Boxin Shi 完成,发表于 ECCV 2026,研究基于扩散模型的双视角反射去除。由于公开检索资料尚不足以核对具体模块及完整摘要,此处暂不扩展为方法细节翻译。其输入为双视角观测,不属于标准单图像反射去除。

2025

- Single Image Reflection Removal Guided by Controllable Diffusion Repair (IEEE Signal Processing Letters 2025)
DOI | GitHub:暂未找到官方仓库

摘要翻译(根据公开 Abstract):由于目标场景和反射层之间存在非线性耦合,单图像反射去除一直具有较高难度。现有分离式方法在处理强反射时可能由于无法充分捕获图像语义而难以恢复正确目标内容。本文提出由可控扩散修复引导的单图像反射去除模型。首先,使用可控扩散模型对反射区域进行预修复,使其与场景语义相匹配;随后,将预修复结果作为先验信息,引导反射去除网络进行分离。此外,本文设计通道门控卷积模块,通过动态调整通道权重增强有效特征提取与学习。多个真实世界基准上的实验表明,该方法优于现有方法。


- Single Image Reflection Separation via Visual State Space Model and Feature Interactions (PRCV 2025)
Springer | DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应出版社公开 Abstract):本文提出一种基于视觉状态空间模型(VSSM)和特征交互机制的单图像反射分离方法。该方法采用两阶段级联网络,由浅层分离网络(SSNet)和深层分离网络(DSNet)组成。SSNet 从混合图像中提取多尺度特征并获得初始透射与反射特征;随后,DSNet 对这些特征进行更细粒度、更完整的分离,最终生成透射图像和反射图像。两个网络均采用排斥与互补特征交互模块(ECFIM)实现不同特征成分之间的交互;DSNet 还使用 VSSM 捕获并融合多尺度、多通道的全局空间信息。多个真实世界基准上的实验表明,该方法能够生成较高质量的透射与反射图像。


- Single Image Reflection Separation by Using Reflection and Refraction Estimations (IEEE SMC 2025)
IEEE Xplore | PDF | GitHub:暂未找到官方仓库

摘要概述(根据 IEEE 公开摘要片段):本文利用反射估计和折射估计辅助单图像反射分离。方法显式建模反射伪影及玻璃折射造成的强度或空间变化,并利用估计结果指导透射层恢复。实验结果表明,该方法能够减弱反射伪影并校正强度失真,从而改善输出图像质量。


- A Dual-Stream Diffusion Model with Physically-Based Rendering for Single Image Reflection Removal (APSIPA ASC 2025)
IEEE Xplore | PDF | GitHub:暂未找到官方仓库

摘要概述(根据 IEEE 公开 Abstract):本文提出一种基于扩散模型的单图像反射去除方法,以降低对手工假设的依赖。模型采用双流网络架构,同时预测残差和反射层,从而增强扩散模型对复杂数据分布的建模能力。为缓解真实图像与合成训练数据之间的差距,本文进一步使用基于物理的渲染方法生成训练数据。实验表明,双流扩散建模与物理渲染数据能够改善反射去除效果。


- A Lightweight Deep Exclusion Unfolding Network for Single Image Reflection Removal (PAMI 2025)
PDF | arXiv | GitHub | 中文

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)是一个典型的盲源分离问题,指的是将一幅受反射污染的图像分离为透射图像和反射图像的问题。其核心挑战在于尽量减少不同源之间的共性。现有深度学习方法要么忽视特征交互的重要性,要么依赖启发式设计的网络结构。本文提出一种新的深度排斥展开网络(DExNet),它是一种用于 SIRR 的轻量、可解释且有效的网络结构。DExNet 主要通过展开并参数化一个简单的迭代稀疏与辅助特征更新(i-SAFU)算法来构建,该算法专门用于求解一种新的、引入通用排斥先验的基于模型的 SIRR 优化公式。该通用排斥先验使展开后的 SAFU 模块能够内在地识别并惩罚透射特征与反射特征之间的共性,从而实现更准确的分离。DExNet 的原则性设计不仅增强了其可解释性,也显著提升了其性能。在四个基准数据集上的综合实验表明,DExNet 在仅使用领先方法约 8% 参数量的情况下,实现了最先进的视觉和定量结果。


- Reversible Decoupling Network for Single Image Reflection Removal (CVPR 2025)
CVF | PDF | arXiv | GitHub | 中文

完整RDNet结果
DatasetPSNRSSIM
Real25.71380.8501
Postcard26.33430.9221
Solidobject26.94570.9262
Wild27.84400.9173
Nature26.30530.8463
Overall26.72360.9173
只使用线性矫正器
DatasetPSNRSSIM
Real20.95790.7611
Postcard23.18050.8838
Solidobject25.33360.8977
Wild26.18790.8987
Nature22.23900.7835
Overall24.25900.8820
无处理基线结果
DatasetPSNRSSIM
Real19.22940.7430
Postcard21.32690.8767
Solidobject23.80500.8831
Wild26.17480.8941
Nature20.69160.7847
Overall22.75920.8721

摘要翻译(严格对应公开 Abstract):近年来,基于深度学习的单图像反射去除方法展现出有前景的进展,主要有两个原因:1)将识别预训练特征作为输入;2)双流交互网络的设计。然而,根据信息瓶颈原理,高层语义线索在逐层传播过程中往往会被压缩或丢弃。此外,双流网络中的交互在不同层之间遵循固定模式,限制了整体性能。为解决这些局限,本文提出一种名为可逆解耦网络(RDNet)的新架构,它采用可逆编码器来保护有价值的信息,同时在前向传播过程中灵活解耦与透射和反射相关的特征。进一步地,本文定制了一个透射率感知的提示生成器,用于动态校准特征,从而进一步提升性能。大量实验表明,RDNet 在五个广泛使用的基准数据集上优于现有最先进方法。代码已在 GitHub 发布。


- Removing Reflections from RAW Photos (CVPR 2025 Oral)
CVF | PDF | arXiv | Project

摘要翻译(严格对应公开 Abstract):本文描述了一个用于消费级摄影中去除真实世界图像反射的系统。该系统在用于线性照片的 RAW 图像上运行,并接受一张可选的、朝相反方向拍摄的上下文照片(例如移动设备上的“自拍”摄像头)。这张可选照片用于消除“什么应当被视为反射”的歧义。该系统完全使用真实 RAW 照片的合成混合图像进行训练,而这些混合图像是通过具有光度和几何准确性的反射模拟方法组合得到的。该系统包含一个基础模型,它以拍摄照片和可选上下文照片作为输入,并在 256p 分辨率下运行;随后是一个上采样模型,将 256p 图像转换为全分辨率图像。该系统在 MacBook 或 iPhone 14 Pro 上能够在 4.5–6.5 秒内生成 1K 预览图像。本文展示了在野外拍摄并代表典型消费照片的 RAW 照片上的最先进结果,并表明使用 RAW 模拟数据训练所带来的性能提升超过了已有工作之间的架构差异。


- Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation (CVPR 2025)
CVF | PDF | arXiv | Project | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):透明表面(如玻璃)会产生复杂反射,遮挡图像并影响下游计算机视觉应用。本文提出 Flash-Split,一种使用单对(可能未对齐的)闪光/无闪光图像来分离透射光和反射光的稳健框架。核心思想是在低维潜空间中迭代地执行由闪光信息引导的反射分离。具体而言,Flash-Split 包含两个阶段。第一阶段通过一个双分支扩散模型分离反射潜变量和透射潜变量,该模型以编码后的闪光/无闪光潜变量对为条件。这一阶段有效缓解了闪光/无闪光图像错位问题。第二阶段通过一个以分离前原始图像为条件的跨潜变量解码过程,为分离后的潜变量恢复高分辨率且忠实的细节。本文在具有挑战性的真实世界场景上验证 Flash-Split,并证明其显著优于现有方法。项目网页为 https://flash-split.github.io/。


- PolarFree: Polarization-based Reflection-Free Imaging (CVPR 2025)
CVF | PDF | arXiv | GitHub | [中文]

摘要翻译(严格对应公开 Abstract):由于复杂的光照相互作用,反射去除具有挑战性;反射会遮挡重要细节并阻碍场景理解。偏振天然提供了一种强有力的线索,可用于区分反射光和透射光,从而实现更准确的反射去除。然而,现有方法通常依赖小规模或合成数据集,无法捕获真实世界场景的多样性和复杂性。为此,本文构建了一个用于基于偏振的 RGB 图像反射去除的大规模数据集 PolaRGB,使我们能够训练出能够在广泛真实世界场景中有效泛化的模型。PolaRGB 数据集包含 6,500 组良好对齐的混合—透射图像对,规模是现有偏振数据集的 8 倍,并且是首个同时包含 RGB 图像和偏振图像、覆盖多样室内外环境与不同光照条件的数据集。此外,为了充分利用偏振线索在反射去除中的潜力,本文提出 PolarFree,它利用扩散过程生成无反射线索,以实现准确的反射去除。大量实验表明,PolarFree 在具有挑战性的反射场景中显著提升图像清晰度,为偏振成像和反射去除建立了新的基准。代码和数据集可在 https://github.com/mdyao/PolarFree 获取。


- ALANet: Adaptive Language-Aware Image Reflection Removal Network (IJCAI 2025)
IJCAI | PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):现有图像反射去除方法难以处理复杂反射。准确的语言描述可以帮助模型理解图像内容,以去除复杂反射。然而,由于反射图像中存在模糊和扭曲的干扰,机器生成的图像内容语言描述往往不准确,这会损害语言引导反射去除的性能。为解决这一问题,本文提出自适应语言感知网络(ALANet),即使在语言输入不准确的情况下也能去除反射。具体而言,ALANet 同时整合过滤策略和优化策略。过滤策略在保留语言优势的同时减少语言的负面影响,而优化策略增强语言特征与视觉特征之间的对齐。ALANet 还利用语言线索从特征图中解耦特定层内容,提升其处理复杂反射的能力。为评估模型在复杂反射和不同语言准确性水平下的性能,本文引入复杂反射与语言准确性变化(CRLAV)数据集。实验结果表明,ALANet 超越了最先进的图像反射去除方法。代码和数据集可在 https://github.com/fashyon/ALANet 获取。


- NTIRE 2025 Challenge on Single Image Reflection Removal in the Wild: Datasets, Methods and Results (CVPR Workshops 2025)
CVF | PDF | GitHub | Dataset | [中文]

摘要翻译(严格对应公开 Abstract):本文回顾 NTIRE 2025 野外单图像反射去除(SIRR)挑战赛。SIRR 是图像复原中的一项基础任务。尽管学术研究已经取得进展,大多数方法仍在合成图像或有限的真实世界图像上进行测试,从而在真实世界应用中形成差距。在本挑战赛中,参赛者需要处理覆盖一系列反射场景和反射强度的真实世界图像,目标是生成没有反射的干净图像。该挑战赛吸引了超过 280 个注册队伍,其中 12 支参加最终测试阶段。排名靠前的方法推进了最先进的反射去除性能,并得到了该领域五位专家的一致认可。所提出的 OpenRR 数据集可在 Hugging Face 获取,挑战赛主页位于 GitHub。


- FIRM: Flexible Interactive Reflection ReMoval (AAAI 2025)
PDF | arXiv | GitHub | [中文]

摘要翻译(严格对应公开 Abstract):由于缺乏通用的反射先验,从单幅图像中去除反射具有挑战性。尽管现有方法为了获得令人满意的性能而引入了大量用户指导,但它们通常缺乏适应不同模态用户指导的灵活性,并且密集的用户交互进一步限制了其实用性。为缓解这些问题,本文提出 FIRM,一种具有多种指导形式的灵活交互式图像反射去除新框架,用户可以提供稀疏视觉指导(例如点、框或描边)或文本描述,以获得更好的反射去除效果。首先,本文设计了一种新的用户指导转换模块(UGC),将不同形式的指导转换为统一的对比掩码。对比掩码为识别混合图像中的反射层和透射层提供显式线索。其次,本文设计了一种由新提出的对比指导交互块(CGIB)组成的对比掩码引导反射去除网络。该模块利用一种独特的交叉注意力机制,将对比掩码与图像特征融合,从而实现精确的层分离。所提出框架只需要以往交互式方法 10% 的指导时间,在灵活性方面实现了跨越式变化。在公开真实世界反射去除数据集上的大量结果验证了本文方法具有最先进的反射去除性能。代码可在 GitHub 获取。


- Rethinking Depth Guided Reflection Removal (TMM 2025)
IEEE Xplore | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库 | 中文

摘要翻译(严格对应公开 Abstract):透过玻璃拍摄时,常常会观察到反射,这会对捕获图像或视频的质量产生负面影响。本文总结并重新思考深度引导的反射去除方法,并受到人类双目视觉系统的启发,研究如何利用深度来实现有效的双目视频反射去除。本文提出一种端到端的基于学习的反射去除方法,该方法学习透射深度,并设计一个统一结构,以级联方式实现深度引导、跨视图和跨帧特征增强。在统一结构中,本文定制了不同的门控控制器,以强调特征交互的方向。本文构建了一个包含合成和真实双目混合视频的数据集,用于网络训练和测试。所提出数据集上的合成和真实数据实验结果表明,本文方法在双目视频反射去除中取得了优越性能。


- High-resolution image reflection removal by Laplacian-based component-aware transformer (Scientific Reports 2025)
Nature | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):近年来,数据驱动的深度学习图像反射去除方法取得了令人印象深刻的进展,提升了照片拍摄质量和场景理解能力。由于计算复杂度和内存使用的大量消耗,这些方法在处理高分辨率图像时性能会显著下降。此外,大多数现有反射去除方法只能通过将输入图像下采样到很低分辨率来去除反射模式,从而导致大量信息丢失。本文提出一种用于高分辨率图像反射去除的新型 Transformer 框架,称为基于拉普拉斯金字塔的组件感知 Transformer(LapCAT)。LapCAT 利用拉普拉斯金字塔网络去除高频反射模式,并在干净低频背景组件的引导下重建高分辨率背景图像。在通过逐像素对比学习得到的反射掩码引导下,LapCAT 设计了组件可分离 Transformer 块(CSTB),它通过反射感知多头自注意力机制从背景成分中去除反射模式。在多个反射去除基准数据集上的大量实验表明,LapCAT 优于现有方法,尤其是在从高分辨率图像中去除反射时表现出优异性能和高效率。


- Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering (arXiv 2025)
PDF | arXiv | Project | GitHub:暂未找到可验证的独立官方仓库 | [中文]

摘要翻译(严格对应公开 Abstract):准确渲染具有反射表面的场景仍然是新视图合成中的一项重大挑战,因为现有方法(如神经辐射场 NeRF 和 3D 高斯泼溅 3DGS)常常将反射误解为物理几何,从而导致重建退化。以往方法依赖不完整且不可泛化的几何约束,导致高斯点的位置与实际场景几何之间不对齐。在处理包含复杂几何的真实世界场景时,高斯的累积会进一步加剧表面伪影并导致模糊重建。为解决这些局限,本文提出 Ref-Unlock,一种基于 3D 高斯泼溅的几何感知反射建模新框架,它显式解耦透射和反射成分,以更好地捕获复杂反射并增强真实世界场景中的几何一致性。本文方法采用双分支表示,并利用高阶球谐函数捕获高频反射细节,同时引入一个反射去除模块,提供伪无反射监督以指导干净分解。此外,本文结合伪深度图和几何感知双边平滑约束,以增强 3D 几何一致性和分解稳定性。大量实验表明,Ref-Unlock 显著优于经典的基于高斯泼溅的反射方法,并取得与基于 NeRF 的模型具有竞争力的结果,同时支持由灵活视觉基础模型(VFM)驱动的反射编辑。因此,本文方法为反射场景的真实感渲染提供了一种高效且可泛化的解决方案。代码可在 https://ref-unlock.github.io/ 获取。


- Survey on Single-Image Reflection Removal using Deep Learning Techniques (MIPR 2025)
PDF | arXiv | DOI

摘要翻译(严格对应公开 Abstract):在本综述中,本文通过聚焦 ICCV、ECCV、CVPR、NeurIPS 等关键会议和期刊,对当前文献进行全面回顾,因为这些会议和期刊一直是该领域进展的核心。本文的综述遵循结构化的论文选择流程,并对用于反射去除的单阶段和两阶段深度学习方法进行批判性评估。本文还检查常用基准、数据集、评价指标和复现性,以突出当前评测实践中的不足。通过综合这些发现,本文指出真实世界泛化、数据稀缺以及公平评测仍然是单图像反射去除未来研究的重要挑战。


- Single Image Reflection Separation via Dual Prior Interaction Transformer (arXiv 2025)
PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应 arXiv v3 Abstract):单图像反射分离旨在从混合图像中分离透射层和反射层。现有方法通常将来自预训练模型的通用先验与文本提示、反射检测等任务特定先验相结合。然而,透射先验作为目标透射层最直接的任务特定先验,尚未被有效建模和充分利用,这限制了复杂场景中的性能。为解决这一问题,本文提出一种基于轻量级透射先验生成和有效先验融合的双先验交互框架。首先,本文设计局部线性校正网络(Local Linear Correction Network, LLCN),该网络基于物理约束 T=SI+B 对预训练模型进行微调,其中 S 和 B 分别表示逐像素和逐通道的缩放与偏置变换。LLCN 能够以极少参数高效生成高质量透射先验。其次,本文构建双先验交互 Transformer(Dual-Prior Interaction Transformer, DPIT),采用双流通道重组注意力机制。通过重组来自通用先验和透射先验的特征以进行注意力计算,DPIT 实现了两种先验的深度融合,并充分利用其互补信息。多个基准数据集上的实验结果表明,所提出方法达到最先进性能。


- OpenRR-5k: A Large-Scale Benchmark for Reflection Removal in the Wild (MIPR 2025)
PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):去除反射是计算机视觉中的一项关键任务,在摄影和图像增强中具有重要应用。然而,现有方法受到缺乏大规模、高质量和多样化数据集的限制。本文提出一种用于单图像反射去除(SIRR)的新基准。我们构建了一个大规模数据集,包含 5,300 对高质量、像素对齐的图像对,每对由一幅反射图像及其对应的干净版本组成。具体而言,该数据集分为两部分:5,000 幅图像用于训练,300 幅图像用于验证。此外,我们还加入了 100 幅没有真值(GT)的真实世界测试图像,以进一步评估反射去除方法的实际性能。所有图像对都在像素层面精确对齐,以保证准确监督。该数据集涵盖了广泛的真实世界场景,包含不同光照条件、物体类型和反射模式,并被划分为训练集、验证集和测试集,以便进行全面评估。为验证该数据集的有效性,我们训练了一个基于 U-Net 的模型,并使用 PSNR、SSIM、LPIPS、DISTS 和 NIQE 五个广泛使用的指标进行评估。我们将在 https://github.com/caijie0620/OpenRR-5k 发布数据集和代码,以促进该领域未来研究。


- OpenRR-1k: A Scalable Dataset for Real-World Reflection Removal (ICIP 2025)
PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):反射去除技术在摄影和计算机视觉应用中起着关键作用。然而,现有技术受到缺乏高质量野外数据集的阻碍。本文从一个新的视角提出一种新的反射数据集采集范式。我们的方法方便、低成本且可扩展,同时确保采集到的数据对具有高质量、完全对齐,并代表自然且多样的场景。按照这一范式,我们采集了一个真实世界、多样且像素对齐的数据集(命名为 OpenRR-1k 数据集),其中包含 1,000 对在野外采集的高质量透射—反射图像对。通过分析若干反射去除方法,并在我们的数据集上进行基准评测实验,本文证明了该数据集在提升挑战性真实世界环境中的鲁棒性方面的有效性。数据集可在 https://github.com/caijie0620/OpenRR-1k 获取。


- F2T2-HiT: A U-Shaped FFT Transformer and Hierarchical Transformer for Reflection Removal (ICIP 2025)
PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)技术通过从背景中消除不需要的反射,在图像处理中发挥着关键作用。这些反射通常由透过玻璃表面拍摄照片引起,会显著降低图像质量。由于真实世界场景中的反射复杂且多样,SIRR 仍然是一个具有挑战性的问题。这些反射在图像中的强度、形状、光源、大小和覆盖区域上差异显著,给大多数现有方法有效处理所有情况带来挑战。为应对这些挑战,本文提出一种 U 形快速傅里叶变换 Transformer 和层次化 Transformer(F2T2-HiT)架构,这是一种用于 SIRR 的创新 Transformer 设计。本文方法在 UNet 框架中独特地结合了快速傅里叶变换(FFT)Transformer 块和层次化 Transformer 块。FFT Transformer 块利用全局频域信息,有效捕获并分离反射模式;层次化 Transformer 块利用多尺度特征提取来处理不同大小和复杂程度的反射。在三个公开测试数据集上的大量实验表明,本文方法取得了最先进性能,验证了其有效性。


- Single-image Reflection Removal via Self-supervised Diffusion Models (Journal of Supercomputing 2025)
Springer | PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):反射常常降低透过透明表面拍摄图像的视觉质量,而反射去除方法又受到真实世界配对样本不足的影响。本文提出一种混合方法,结合循环一致性和去噪扩散概率模型(DDPM),在不需要配对训练数据的情况下有效地从单幅图像中去除反射。该方法引入反射去除网络(RRN),利用 DDPM 对分解过程进行建模并恢复透射图像;同时引入反射合成网络(RSN),通过基于非线性注意力的机制,使用分离出的成分重新合成输入图像。实验结果证明了所提出方法在 SIR²、基于闪光的反射去除(FRR)数据集以及新引入的博物馆反射去除(MRR)数据集上的有效性,相比最先进方法表现更优。


- Single Image-Based Reflection Removal via Dual-Stream Multi-Column Reversible Encoding (Applied Sciences 2025)
MDPI | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):从单幅图像中去除反射是一个不适定问题,这是由于从单个复合观测中分离透射成分和反射成分存在固有歧义。本文通过引入可逆特征编码策略并结合简化的双流解码结构来应对这一挑战。具体而言,可逆 NAFNet 编码器使我们能够在整个编码过程中保留全部特征信息,同时避免内存开销;这对于分离重叠结构至关重要。与复杂的门控机制不同,所提出的双流解码器通过共享编码器特征和跳跃连接,在透射流和反射流之间实现隐式双向信息流。尽管没有注意力模块且计算量减少,本文模型仍然保持较强性能。在标准反射去除基准上的大量实验表明,本文方法取得了具有竞争力的结果。


- A Review on Learning Based Image Reflection Removal Algorithms (Intelligent Data Analysis 2025)
SAGE | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):透过半反射表面(如玻璃窗和透明外罩)拍摄图像,通常会导致视觉质量下降,并可能对计算机视觉算法的性能产生不利影响。因此,图像反射去除已经受到计算机视觉研究者的广泛关注。随着深度学习方法在超分辨率、图像修复和去噪等各种计算机视觉任务中的应用不断增长,卷积神经网络(CNN)已经成为图像反射去除中越来越受欢迎的选择。本文旨在对为图像反射去除而设计的基于学习的算法进行全面综述。首先,本文概述该领域的关键术语和基本背景概念。接着,本文考察各种数据集和数据合成方法,以帮助研究者根据其具体需求和目标选择最合适的选项。随后,本文结合定性和定量结果回顾现有方法,突出它们在该领域中的贡献和意义。最后,本文讨论图像反射去除技术中的挑战和未来范围。


- A Wavelet-Guided Deep Unfolding Network for Single Image Reflection Removal (IEEE TIP 2025)
IEEE Xplore | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):从图像中去除不需要的反射是低层计算机视觉中的一个基础但具有挑战性的问题。近年来,基于深度学习的单图像反射去除(SIRR)方法取得了显著进展。然而,从透射内容中分离反射仍然困难,尤其是在两者具有高度视觉相似性的复杂场景中。通过仔细分析,本文发现反射主要存在于图像的高频成分中。这些反射倾向于扭曲高频范围内的细微细节,而低频信息相对受到较少影响。这一观察促使本文通过利用离散小波变换(DWT)来探索一种频率感知的 SIRR 方法。小波分解使我们能够在频域中区分并隔离反射伪影,同时保留透射信息。基于这一见解,本文提出一种新的小波引导深度展开网络(WDUNet),利用小波分解和深度展开技术的优势来提升 SIRR 的可解释性和泛化能力。具体而言,本文使用 DWT 和卷积字典构建了一个基于优化的反射去除模型。所提出模型通过近端梯度算法进行优化,并随后展开为神经网络架构,其中所有参数都在训练过程中端到端学习。通过将小波域分析与深度展开结合,WDUNet 同时增强了 SIRR 方法的可解释性和泛化能力。此外,本文设计并将低频参数估计模块(LPEM)和高频参数估计模块(HPEM)集成到 WDUNet 中,使网络能够自动学习并优化模型的超参数。在四个基准数据集上的大量实验表明,WDUNet 在客观评价指标和主观视觉质量上都持续优于现有最先进方法。


- Several Points Are All It Takes: Saluting User-Assisted Single Image Reflection Removal (IEEE Signal Processing Letters 2025)
PDF/预印本:暂未找到公开直链 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):反射去除对于摄影、目标检测和增强现实等应用至关重要。与多图像方法相比,单图像反射去除(SIRR)具有更大的灵活性和适用性,因此非常适合实时场景。然而,强反射会遮挡透射层的大部分区域,限制现有方法的性能。本文提出一种新的用户辅助 SIRR 方法,其中用户通过选择被遮挡物体的类别和位置来进行标注。这为引导准确的透射层恢复提供了关键语义信息。此外,本文设计了一种混合 CNN-Transformer 网络,利用局部特征提取和全局上下文建模来应对强反射挑战。强反射数据集上的实验表明,本文方法有效提升了透射层恢复效果,并在多个指标上优于现有先进方法。


- Real-World Image Reflection Removal: An Ultra-High-Definition Dataset and an Efficient Baseline (IEEE TCSVT 2025)
IEEE Xplore | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):反射去除是图像重建中的一个关键问题,尤其对于高清图像而言更是如此。去除不需要的反射可以极大提升各种视觉系统的性能,例如医学成像、自动驾驶和安全监控。然而,现有反射去除数据集分辨率不高,训练数据严重依赖合成数据,这阻碍了反射去除方法的性能,并限制了面向高清图像的有效技术发展。因此,本文引入一个新的数据集,即真实世界 4K 反射去除(Real-world Reflection Removal in 4K,RR4K)。这个新数据集容量大、分辨率高达 6000×4000 像素,代表了该领域的重要进展,并确保了一个真实且高质量的基准。此外,基于该数据集,本文提出一种针对高清处理优化的高效单图像反射去除方法。该方法采用 U-Net 架构,并通过大核蒸馏和尺度感知特征进行增强,使其能够在降低计算需求的同时有效处理复杂反射场景。在 RR4K 数据集和现有低分辨率数据集上的综合测试表明,本文方法具有更优的效率和有效性。本文认为,所构建的 RR4K 数据集能够更好地评估和设计用于真实世界高清图像中去除不需要反射的算法。数据集和代码可在 GitHub 获取。


- Exploring Spectral Characteristics for Single Image Reflection Removal (arXiv 2025)
PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):消除由入射光与反射介质相互作用所造成的反射,在图像复原领域中仍然是一个不适定问题。主要挑战来自捕获图像中反射成分和透射成分的重叠,这使得准确区分并恢复干净背景的任务变得复杂。现有方法通常仅在图像域中处理反射去除,忽略了反射光的光谱属性变化,这限制了它们有效辨别反射的能力。本文从光谱学习的新视角出发,提出 Spectral Codebook 来重建反射图像的光学光谱。通过感知光谱中不同光源之间的波长差异,可以有效地区分反射。为了利用重建的光谱,本文设计了两个光谱先验细化模块,分别在空间维度上重新分配像素,并沿波长维度自适应增强光谱差异。此外,本文提出 Spectrum-Aware Transformer,在光谱域和像素域中联合恢复透射内容。在三个不同反射基准上的实验结果表明,与最先进模型相比,本文方法具有优越性和泛化能力。


- Pixel-wise Single Image Reflection Removal Method Based on Reinforcement Learning (ICME 2025)
IEEE Computer Society

摘要片段翻译(公开页面仅检索到片段,暂未找到完整公开 Abstract):具体而言,本文将图像反射去除过程形式化为一个序列决策过程,并逐像素地去除单图像反射。


2024

- PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal, (arXiv 2024)
[PDF] | arXiv | GitHub

摘要翻译(已找到公开摘要):现有使用深度学习的单图像反射去除(SIRR)方法往往会遗漏图像中关键的低频(LF)和高频(HF)差异,从而影响其去除反射的有效性。为解决这一问题,本文提出一种新的提示引导反射去除框架 PromptRR,该框架使用频率信息作为新的视觉提示,以获得更好的反射去除性能。具体而言,所提出的框架将反射去除过程解耦为提示生成和后续的提示引导恢复。对于提示生成,作者首先提出一种提示预训练策略,用于训练频率提示编码器,将真值图像编码为低频和高频提示。随后,作者采用扩散模型(DMs)作为提示生成器,生成由预训练频率提示编码器估计的低频和高频提示。对于提示引导恢复,作者将专门生成的提示集成到 PromptFormer 网络中,并采用一种新的基于 Transformer 的提示块,有效引导模型实现增强的反射去除。常用基准上的结果表明,该方法优于最先进方法。代码和模型可在 https://github.com/TaoWangzj/PromptRR 获取。


- A Closer Look at the Reflection Formulation in Single Image Reflection Removal, (IEEE TIP 2024)
PDF | [arXiv] | [GitHub] | 中文

摘要翻译(已找到公开摘要):如何建模反射效应对于单图像反射去除(SIRR)任务至关重要。现代 SIRR 方法通常使用透射层和反射层线性组合的假设来简化反射成像公式。然而,图像内容的大幅变化和真实世界拍摄条件通常会产生复杂得多的反射。本文引入一种新的 screen-blur 组合,该组合基于两个重要因素,即反射的强度和模糊程度,以更好地刻画 SIRR 中的反射成像公式。具体而言,本文提出 Screen-blur Reflection Networks(SRNet),该网络在其设计中执行 screen-blur 公式,并适应真实场景中的复杂反射。从技术上讲,SRNet 由三个组件组成:混合图像生成器、反射估计器和反射去除模块。图像生成器利用 screen-blur 组合合成训练用混合图像。反射估计器学习反射层以及度量反射模糊程度的模糊度。反射去除模块进一步以级联方式使用混合图像、模糊度和反射层来筛选出透射层。


- Language-guided Image Reflection Separation, (CVPR 2024)
PDF | arXiv | [GitHub]

摘要翻译(已找到公开摘要):本文研究语言引导的反射分离问题,其目标是通过引入语言描述来提供层内容,从而解决不适定的反射分离问题。作者提出一个统一框架来解决该问题,该框架利用交叉注意力机制和对比学习策略来构建语言描述与图像层之间的对应关系。为处理可识别层歧义问题,作者采用了门控网络设计和随机化训练策略。定量和定性比较结果表明,所提方法相对于现有反射分离方法具有显著性能优势,从而验证了其有效性。


- Revisiting Single Image Reflection Removal In the Wild, (CVPR 2024)
PDF | arXiv | GitHub

摘要翻译(已找到公开摘要):本研究聚焦真实世界条件下的单图像反射去除(SIRR)问题,并从两个角度对其进行考察:真实反射图像对的采集流程,以及真实反射位置的感知。作者设计了一种先进的反射采集流程,该流程能够高度适应广泛的真实世界反射场景,并降低大规模对齐反射图像对的采集成本。在此过程中,作者构建了一个名为 Reflection Removal in the Wild(RRW)的大规模、高质量反射数据集。RRW 包含超过 14,950 对高分辨率真实世界反射图像对,其规模是先前数据集的 45 倍。关于反射位置感知,作者发现许多在反射图像中可见的虚拟反射物体并不存在于对应的真值图像中。基于从对齐图像对中得到的这一观察,作者提出最大反射滤波器(MaxRF)。MaxRF 能够从图像对中准确且显式地刻画反射位置。在此基础上,作者设计了一种反射位置感知的级联框架,专门用于 SIRR。借助这些创新技术,所提出方案在多个真实世界基准上取得了优于当前领先方法的性能。代码和数据集将公开发布。

RTX 4090
DatasetPSNRSSIM
Real21.92530.7881
Postcard24.28540.8869
Solidobject26.89030.9253
Wild26.82040.9101
Nature26.14420.8455
Overall25.60200.8993

- Single Image Reflection Separation via Dual-Stream Interactive Transformers, (NeurIPS 2024)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开摘要):尽管先前的双流方法在单图像反射分离的“简单”样例上取得了令人满意的结果,但在面对复杂样例时仍然出现明显性能下降,即透射层与具有宽空间强度分布的反射层密集纠缠。主要原因在于交互过程中缺乏对特征相关性的关注,以及感受野有限。为弥补这些不足,本文提出一种双流交互 Transformer(DSIT)设计。具体而言,作者设计了一种双注意力交互结构,其中包含双流自注意力和层感知双流交叉注意力机制,以同时捕获层内和层间特征相关性。同时,引入注意力机制也可以缓解感受野限制。作者通过跨架构交互,使用双流卷积特征调制单流预训练 Transformer 嵌入,以提供更丰富的语义先验,从而进一步缓解该问题的不适定性。大量实验结果显示,所提出的 DSIT 相较于其他最先进替代方法具有优势。代码公开于 https://github.com/mingcv/DSIT。

RTX 4090
DatasetPSNRSSIM
Real25.18540.8339
Postcard26.38380.9254
Solidobject26.87330.9252
Wild27.90130.9230
Nature26.67510.8470
Overall26.71420.9182

- L-DiffER: Single Image Reflection Removal with Language-Based Diffusion Model, (ECCV 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):在本文中,作者介绍 L-DiffER,这是一种为不适定的单图像反射去除任务设计的基于语言的扩散模型。尽管现有基于语言的扩散模型在图像生成方面表现令人印象深刻,但在图像恢复中难以实现精确控制和忠实性。为克服这些限制,作者提出一种迭代条件细化策略,以解决控制条件不准确的问题。作者采用多条件约束机制来确保图像颜色和结构的恢复忠实性,同时保留处理低透射反射的生成能力。大量实验证明了所提方法的优越性,展示了其相较于现有方法在定量和定性方面的改进。


- Reflection Intensity Guided Single Image Reflection Removal and Transmission Recovery, (IEEE TMM 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):单图像反射去除(SIRR)旨在消除由透明或光滑表面反射造成的不需要的干扰,并获得清晰透射层的估计。现有数据驱动方法通常依赖于将观测图像分解为透射层和反射层,这忽略了带反射图像的物理生成原理,因此会导致不理想的结果,尤其是在强反射区域。为解决这一问题,在本文中,作者从物理角度分析反射图像的成像过程,并得出结论:反射层的物理量——照度——决定反射强度。随后,作者提出一种用于反射去除和透射恢复的两阶段反射强度引导网络(RINet)。第一阶段的关键在于并行模块,它们生成反射强度图和透射层。在第二阶段,除了利用该强度图作为引导外,作者还额外计算梯度场作为另一种先验,以促进最终的反射去除。具体而言,作者设计了一个双流联合学习模块(JLM),由透射恢复分支和梯度优化分支组成,通过利用透射特征和梯度特征之间的交互来联合优化图像结构和细节。特别地,在反射强度图的引导下,透射恢复分支能够动态地聚焦于去除反射。借助这一两阶段框架,RINet 构成了一个分而治之的过程,以实现有效的透射恢复和反射去除。公共数据集上的实验结果表明,所提出方法优于近期最先进方法。


- Hue Guidance Network for Single Image Reflection Removal, (IEEE TNNLS 2024)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开摘要):在本文中,作者提出一种用于单图像反射去除(SIRR)的双分支色调引导网络(HGNet),该网络整合图像信息及其对应的色调信息。图像信息和色调信息之间的互补性尚未受到关注。这一想法的关键在于,作者发现色调信息能够很好地描述反射,因此可作为针对特定 SIRR 任务的优越约束。相应地,第一个分支通过直接估计色调图来提取显著反射特征。第二个分支利用这些有效特征,这些特征有助于定位显著反射区域,从而获得高质量的恢复图像。此外,作者设计了一种新的循环色调损失,为网络训练提供更准确的优化方向。实验从定性和定量两方面证明了该网络相较于最先进方法的优越性,尤其体现出其对各种反射场景的优秀泛化能力。源代码可在 https://github.com/zhuyr97/HGRR 获取。

RTX 4090
DatasetPSNRSSIM
Real23.78210.8178
Postcard23.85130.9004
Solidobject25.10900.9020
Wild27.04770.8999
Nature25.51370.8270
Overall24.78090.8947

- Polarized Reflection Removal with Dual-Stream Attention Guidance, (Pattern Recognition 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):解决透过玻璃表面拍摄图像中的反射去除挑战,在多种实际应用中具有重要意义。现有方法通常由于依赖中间预测或特殊约束而效果不足,并会产生不期望的伪影。本文通过认识到背景与反射之间的内在相关性来处理这一问题。利用偏振图像的独特光学特性,作者提出一种带有特征注意力引导的双流反射去除网络。该模型以多通道偏振图像作为输入,利用透射光和反射光的光学特性来处理该不适定问题。作者的双流结构同时预测反射图像和透射图像,利用这两个元素之间的独特关系。


- R2SFD: Improving Single Image Reflection Removal using Semantic Feature Dictionary (ACM MM 2024)
ACM | OpenReview | GitHub

摘要翻译(已找到公开摘要):单图像反射去除是一个严重不适定的问题,很难分离期望的透射层和不期望的反射层。大多数现有单图像反射去除方法试图通过利用仅从给定输入图像中提取的线索来恢复透射层。然而,以数百万张公开可用的无反射图像形式存在的大量信息尚未被利用。尽管这些信息很容易获得,但将其有效用于去除反射并非易事。本文提出一种新方法,称为 R2SFD,即使用由无反射图像数据库构建的语义特征字典(SFD)来改进单图像反射去除。SFD 使用一种新的反射感知特征提取器(RAFENet)构建,该提取器能够提取对反射存在具有不变性的特征。随后,SFD 和输入图像被传入另一个新的网络 SFDNet。该网络首先从受反射污染的输入图像中提取 RAFENet 特征,在 SFD 中搜索相似特征,并转移语义内容以生成最终输出。为进一步改进反射去除,作者还引入了一个大规模反射去除(LSRR)数据集,包含 2,650 对图像,覆盖多种真实世界反射场景。在真实公开数据集以及作者的 LSRR 数据集上,与最先进的单图像反射去除方法相比,所提出方法在定性和定量方面均取得了更优结果。作者将在 https://github.com/ee19d005/r2sfd 发布该数据集。


- DURRNET: Deep Unfolded Single Image Reflection Removal Network with Joint Prior, (ICASSP 2024)
PDF | arXiv | GitHub

摘要翻译(已找到公开摘要):单图像反射去除问题旨在将一张受反射污染的图像分解为透射图像和反射图像。它是一个典型的盲源分离问题,并且高度不适定。在本文中,作者提出一种名为深度展开单图像反射去除网络(DURRNet)的新型深度架构,尝试结合基于模型和基于学习两种范式的最佳特性,从而得到更具可解释性的深度架构。具体而言,作者首先提出一种带有基于变换排斥先验的模型驱动优化问题,然后设计一种迭代算法,并为求解每个子问题给出简单的闭式解。借助深度展开技术,作者构建 DURRNet,其中包含用于建模自然图像先验的 ProxNets,以及由可逆网络构建、用于施加排斥先验的 ProxInvNets。在常用数据集上的全面实验结果表明,所提出的 DURRNet 在视觉和定量方面均达到最先进结果。


- Deep Variational Inference Network for Single Image Reflection Removal, (IEEE TETCI 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):从带有不期望反射的图像中去除反射,是低层视觉中一个具有挑战性且不适定的问题。近年来,已有若干深度学习方法被提出用于处理单图像反射去除(SIRR)任务。然而,这些方法没有充分利用反射的基本图像先验,并且缺乏可解释性。在本文中,作者提出一种用于 SIRR 问题的深度变分推理反射去除(VIRR)方法,该方法具有良好的可解释性和泛化能力。基于所提出的 VIRR 方法,潜在透射图像和反射图像的后验分布可以通过变分推理并使用深度神经网络联合估计。此外,所提出的网络框架可以通过由边缘数据似然的变分下界目标产生的透射图像和反射图像的数据驱动先验进行监督训练。大量主观和客观评估表明,所提出方法在四个基准数据集上优于先前最先进方法。


- Spatio-Temporal Multi-Image Reflection Removal, (IEEE SPL 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要片段):在本文中,作者提出一种精确算法,通过利用时间和空间先验从两张图像中消除反射。对于时间先验,作者计算两张输入受反射污染图像中反射层之间的运动信息。不同于许多流行的多图像反射去除方法,所提出算法并不假设两张输入图像是在相似光照条件和相同相机设置下拍摄的。


- Fast Single Image Reflection Removal Using Multi-Stage Scale Space Network, (IEEE Access 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):然而,使用单一网络来处理不同类型的反射并不十分有效。此外,这些方法计算成本也较高,难以部署在智能手机等资源受限设备上。为解决这些挑战,作者提出一种位于尺度空间框架内的多阶段单图像反射去除流程,用以分别处理低透射反射和高透射反射。具体而言,作者将通常遮挡期望背景的低透射反射去除视为一个图像修复问题,而使用传统技术处理高透射反射。作者在一种轻量化的尺度空间架构内,为这些类型的反射使用专门网络,该架构能够从超高分辨率图像中去除反射。


- Single image reflection removal via self-attention and local discrimination, (The Visual Computer 2024)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开摘要):在实际场景中,反射可能损害图像的视觉质量,并对人类感知以及后续计算机视觉任务产生负面影响。由于反射内容具有多样性且常与背景目标混合,从图像中去除反射面临相当大的挑战。为解决这一问题,本文提出一种基于自注意力和局部判别的单图像反射去除方法。通过利用自注意力机制建模特征图之间的相互关系,所提出方法能够根据输入内容自适应地重新加权每个特征,从而有利于反射分离。为进一步改进,作者从局部统计中生成缩放方差图,并将其用于局部判别损失,以保证局部区域内的一致性。实验比较证明了所提出方法在单图像反射去除中的有效性和优越性。相关代码发布于 https://github.com/HighColdMan/SIRR_SALD。


- Utilizing Multi-Step Loss for Single Image Reflection Removal (IEEE AICCSA 2024)
IEEE Xplore | arXiv | GitHub

摘要翻译(已找到公开摘要):图像反射去除对于恢复图像质量至关重要。失真图像可能会对目标检测和图像分割等任务产生负面影响。在本文中,作者提出一种使用单张图像进行图像反射去除的新方法。作者没有将重点放在模型架构上,而是引入一种新的训练技术,该技术可以推广到输入和输出在性质上相似的图像到图像问题。该技术体现在作者的多步损失机制中,并已被证明在反射去除任务中有效。此外,作者通过使用 Pix2Pix GAN 合成一个名为 RefGAN 的高质量非线性合成数据集,来解决反射去除训练数据稀缺的问题。该数据集显著增强了模型学习更好反射去除模式的能力。作者还利用从环境图像的深度估计中提取的范围深度图作为辅助特征,利用其不包含反射深度估计的属性。所提出方法在 SIR^2 基准和其他真实世界数据集上表现优越,通过超过其他最先进模型证明了其有效性。

2023

- Single Image Reflection Separation via Component Synergy, (ICCV 2023)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):真实世界中的反射叠加现象复杂且分布广泛,由此衍生出该问题的各种简化线性和非线性公式。本文基于对现有模型弱点的考察,通过引入可学习残差项,提出一种更通用的叠加模型形式,该项能够在分解过程中有效捕获残差信息,引导分离出的图层保持完整。为了充分利用其优势,我们进一步精心设计了网络结构,包括一种新的双流交互机制,以及一个带有语义金字塔编码器的强大分解网络。大量实验和消融研究验证了我们的方法在多个真实世界基准数据集上优于最先进方法。我们的代码公开于 https://github.com/mingcv/DSRNet。

RTX 4090
DatasetPSNRSSIM
Real23.84550.8091
Postcard24.72250.9147
Solidobject26.88100.9226
Wild27.03830.9145
Nature25.26810.8356
Overall25.84080.9104

- Missing Recovery: Single Image Reflection Removal Based on Auxiliary Prior Learning, (IEEE TIP 2023)
PDF | [arXiv] | [GitHub]

摘要片段翻译(公开页面仅检索到 Abstract 片段,严格对应已检索片段):透过玻璃窗拍摄的照片容易受到反射造成的干扰。因此,单图像反射去除对于图像质量增强至关重要。本文提出一种能够处理这一不适定问题的新型学习架构。首先,本文设计了一种新的反射去除流程,使用所提出的缺失恢复网络来重建由相机成像过程造成的缺失信息。其次,为了解决现有反射去除策略中的问题,本文重新审视若干辅助先验,并通过定义一个能量函数将它们整合起来。为求解该能量函数,本文提出一种基于卷积神经网络的优化方案。最后,本文研究了反射图像和干净图像的暗通道响应,并发现了一种区分这两类图像的有趣方式。


- Single Image Reflection Removal From Glass Surfaces Via Multi-Scale Reflection Detection, (IEEE TCE 2023)
PDF | [arXiv] | GitHub

摘要片段翻译(公开页面仅检索到 Abstract 片段,严格对应已检索片段):当人们使用智能手机或数码相机等消费级成像设备透过玻璃表面拍照时,所拍摄图像中玻璃表面的反射无法避免。反射不仅影响所拍摄图像的审美感知,也会降低后续任务的性能。本文提出一种名为 MRDNet 的反射去除网络,其中包含一种新的多尺度反射检测器,用于前景反射检测;同时包含一种新的多尺度反射感知透射恢复(Multi-scale Reflection-aware Transmission Recovery, MRTR)模块,用于背景透射层恢复。我们的 MRDNet 主要包含三个模块。首先,引入两个并行的特征提取模块,分别称为反射提取器(Reflection Extractor, R-Extractor)和透射提取器(Transmission Extractor, T-Extractor),二者分别从输入图像中提取前景反射层特征,以及被反射污染的背景透射层特征。随后,提出多尺度反射感知透射恢复(MRTR)模块,用于恢复背景透射层的纹理细节。为学习我们的网络,本文还提出一个大规模 3D 虚拟世界、基于物理渲染的反射去除(Physical Rendering-based Reflection Removal, PRGR)数据集。


- Personalized Single Image Reflection Removal Network through Adaptive Cascade Refinement, (ACM MM 2023)
PDF | [arXiv] | [GitHub]

摘要片段翻译(公开页面仅检索到 Abstract 片段,严格对应已检索片段):本文旨在从一张透过玻璃拍摄的、受反射污染的单幅图像中恢复无反射图像。为克服这些限制,作者提出一种通过自适应级联细化实现的个性化单图像反射去除网络(Personalized single-image reflection removal Network through Adaptive Cascade Refinement, PNACR)。该方法基于元学习和自监督学习。


- Two-stage single image reflection removal with reflection-aware guidance, (Applied Intelligence 2023)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从透过玻璃表面拍摄的图像中去除不需要的反射,是一个具有许多实际应用场景的极具挑战性的问题。为改善反射去除,级联深度模型通常被用于以渐进方式估计透射层。然而,大多数现有方法在利用前一阶段的结果来指导透射层估计方面仍然有限。本文提出一种用于单图像反射去除(SIRR)的新型两阶段网络,并带有反射感知引导(reflection-aware guidance, RAGNet)。具体而言,由于反射层通常更简单且相对更容易估计,方法首先估计反射层。随后,本文精心设计反射感知引导(RAG)模块,以便更好地利用已估计的反射来预测透射层。通过整合来自已估计反射和观测图像的特征图,RAG 可以用于:(i)减弱观测图像中反射的影响;(ii)在部分卷积中生成掩码,以减弱偏离线性组合假设所带来的影响。本文进一步提出专门的掩码损失,用于协调编码器特征和解码器特征的贡献。在五个常用数据集上的实验表明,与最先进的 SIRR 方法相比,我们的 RAGNet 在定量和定性方面均具有优越性。源代码和预训练模型可在 https://github.com/liyucs/RAGNet 获取。


- Single Image Reflection Removal with Patch Reflectance Prior, (arXiv 2023) (Preprint;arXiv v2 题名更新)
[PDF] | arXiv | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):真实世界图像中的单图像反射去除(Single Image Reflection Removal, SIRR)是一项具有挑战性的任务,因为光在玻璃表面传播和反射过程中会出现多样化的图像退化。许多现有方法依赖特定的先验假设来解决该问题。本文提出一种通用的反射强度先验,用于捕获反射现象的强度,并展示其有效性。为学习反射强度先验,我们引入反射先验提取网络(Reflection Prior Extraction Network, RPEN)。通过将图像划分为区域块,RPEN 学习图像中非均匀分布的反射先验。我们提出基于先验的反射去除网络(Prior-based Reflection Removal Network, PRRN),该网络使用一种简单的 Transformer U-Net 架构,并适配来自 RPEN 的反射先验。在真实世界基准上的实验结果表明,我们的方法在 SIRR 中达到最先进的准确率,验证了该方法的有效性。


- Robust Single Image Reflection Removal Against Adversarial Attacks, (CVPR 2023)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文研究面向对抗攻击的鲁棒深度单图像反射去除(SIRR)问题。当前基于深度学习的 SIRR 方法会由于输入图像上难以察觉的失真和扰动而出现显著性能下降。为了进行全面的鲁棒性研究,我们首先针对 SIRR 问题进行多种对抗攻击,即面向不同的攻击目标和区域。随后,我们提出一种鲁棒 SIRR 模型,该模型集成交叉尺度注意力模块、多尺度融合模块和对抗图像判别器。通过利用多尺度机制,该模型缩小了干净图像和对抗图像特征之间的差距。图像判别器能够自适应地区分干净输入或含噪输入,从而进一步获得可靠的鲁棒性。在 Nature、SIR² 和 Real 数据集上的大量实验表明,我们的模型显著提升了 SIRR 在不同场景下的鲁棒性。


- Unsupervised Single-Image Reflection Removal (IEEE TMM 2023)
IEEE Xplore

摘要翻译(已找到公开 Abstract,严格对应):反射常常通过遮挡背景场景而降低图像质量。这对日常用户来说并不理想,也会对处理带反射图像的多媒体应用的性能产生负面影响。当前大多数反射去除方法使用监督学习模型。这些模型需要大量同一场景中带反射和不带反射的图像对才能表现良好。然而,收集这类图像对既困难又昂贵。因此,当前大多数监督模型都是在小规模数据集上训练的,无法覆盖真实生活中带反射图像的众多可能性。本文提出一种用于单图像反射去除的无监督方法。与从大规模数据集中学习不同,我们在目标图像上优化两个交叉耦合的深度卷积神经网络的参数,以生成两个互斥的背景层和反射层。具体而言,我们设计一种网络模型,将从输入图像中提取的语义特征嵌入其中,并利用这些特征来分离背景层和反射层。通过在基准数据集上的客观和主观研究,我们表明所提出的方法显著优于文献中的现有方法。该方法不需要大规模数据集进行训练,能够从单幅图像中去除反射,并且不会对输入图像施加不切实际的约束。


- PAR²Net: End-to-End Panoramic Image Reflection Removal (IEEE PAMI 2023)
IEEE Computer Society | PDF

摘要翻译(已找到公开 Abstract,严格对应):本文研究全景图像反射去除问题,旨在缓解反射层与透射场景之间的内容歧义。虽然在全景图像中能够获得反射场景的部分视图,并且该视图为反射去除提供了额外信息,但由于其与受反射污染的图像存在错位,直接利用这部分信息来去除不需要的反射并非易事。我们提出一个端到端框架来解决这一问题。通过使用自适应模块解决错位问题,可以实现反射层和透射场景的高保真恢复。我们进一步提出一种新的数据生成方法,该方法考虑了混合图像的基于物理的形成模型以及相机内动态范围裁剪,以缩小合成数据与真实数据之间的域差距。


2022

- Single Image Reflection Removal Based on Bi-Channels Prior, (ICIP 2022)
PDF | [arXiv] | [GitHub]

摘要翻译(未找到公开完整 Abstract,不作翻译):已检索到该论文题名、作者、会议与 DOI 信息,但未核到可公开查看的完整英文 Abstract。按要求,此处不使用概括性摘要替代。


- Single Image Reflection Removal Based on Knowledge-Distilling Content Disentanglement, (IEEE Signal Processing Letters 2022)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):当我们透过透明介质(例如玻璃)拍摄图片时,反射可能会不期望地出现,从而遮挡我们想要捕捉的场景。因此,去除反射在图像复原中具有实用意义。然而,与玻璃后的场景混合在一起的反射场景难以被分离,被认为是显著不适定的。本文通过提出一种基于知识蒸馏的内容解耦模型来处理单图像反射去除(SIRR)问题,该模型能够有效地分解透射层和反射层。在基准 SIRR 数据集上的实验表明,本文方法相较于最先进的 SIRR 方法表现更优。


- FIPHN: Feature-Integrated Patch-Hierarchical Network for Single Image Reflection Removal, (ICPR 2022)
PDF | [arXiv] | [GitHub]

摘要翻译(未找到公开完整 Abstract,不作翻译):已检索到 IEEE Computer Society 页面中的摘要片段,但未核到可公开查看的完整英文 Abstract。按要求,此处不使用概括性摘要替代。


- Single-Image Reflection Removal Using Deep Learning: A Systematic Review, (IEEE Access 2022) (Survey Paper)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃捕获的图像通常包含不需要的镜面反射。这些在玻璃前方被检测到的反射会显著降低玻璃后方场景的质量和可见性。从透过玻璃拍摄的图像中去除反射的过程在计算机视觉项目中具有许多重要应用。近年来,基于深度学习的方法被广泛用于反射去除。本文提出一项系统性文献综述,主题是 2015 年至 2021 年间发表的、使用深度学习方法进行单图像反射去除的研究。本文从五个不同的在线数据库和数字图书馆中提取了总计 1600 篇研究论文,包括 IEEE Xplore、Google Scholar、Science Direct、SpringerLink 和 ACM Digital Library。在遵循研究选择流程之后,最终选择了 25 篇研究论文用于本系统性综述。随后,本文分析所选研究论文,以回答本文提出的 7 个关键研究问题,从而全面探索深度学习和神经网络在单图像反射去除中的使用。阅读本文后,未来研究者将能够对该研究领域形成扎实认识,并能够开展自己的研究。本文提出的系统性综述所提供的结果展示了该领域研究者遇到的主要挑战,并为未来研究工作推荐了有鼓励意义的方向。本综述还将帮助研究者发现可访问的数据集,这些数据集可作为基准,用于将其提出的深度学习技术与该研究领域中的其他研究进行比较。


- A Categorized Reflection Removal Dataset with Diverse Real-world Scenes (CVPR Workshops 2022)
arXiv | Project

摘要翻译(已找到公开 Abstract,严格对应):由于缺乏具有多样真实场景的大规模反射去除数据集,许多现有反射去除方法是在合成数据加少量真实世界数据上训练的,这使得全面评估不同反射去除方法的优缺点变得困难。此外,现有真实世界基准和数据集没有根据反射的类型和外观(例如平滑度、强度)对图像数据进行分类,因此难以分析反射去除方法。为此,本文构建了一个新的反射去除数据集,该数据集具有分类性、多样性和真实性,称为 CDR。本文使用基于 RAW 数据的流程来采集完全对齐的输入图像和透射图像。该数据集使用不同环境下的多种玻璃类型构建,以确保多样性。通过分析若干反射去除方法,并在本文数据集上进行大量实验,本文表明最先进的反射去除方法通常在模糊反射上表现良好,但在其他类型的真实世界反射上无法获得令人满意的性能。本文认为,该数据集可以帮助开发更好地去除真实世界反射的新方法。


- Content and Gradient Model-driven Deep Network for Single Image Reflection Removal (ACM MM 2022)
ACM | University page

摘要翻译(已找到公开 Abstract,严格对应):单图像反射去除(SIRR)是一个极具挑战性的不适定问题,并具有许多应用场景。近年来,已经提出大量基于深度学习的方法,用于从单幅输入图像中去除不需要的反射。然而,这些方法缺乏可解释性,并且没有充分利用反射图像的内在物理结构。本文提出一种用于单图像反射去除的内容与梯度引导深度网络(CGDNet),它是一种完全可解释的模型驱动网络。首先,利用多尺度卷积字典,本文设计了一种新的单图像反射去除模型,该模型结合了图像内容先验和梯度先验信息。然后,基于近端梯度技术的优化算法对该模型进行优化,并将其展开为一个神经网络,即 CGDNet。CGDNet 的所有参数都可以通过端到端训练自动学习。此外,本文在 CGDNet 中引入反射检测模块,以获得概率置信图,并确保网络关注反射区域。在四个基准数据集上的大量实验表明,CGDNet 在主观和客观评价方面都比最先进方法更有效。代码可在 https://github.com/zynwl/CGDNet 获取。


- Semantic Guided Single Image Reflection Removal (ACM TOMM 2022)
ACM | University page

摘要翻译(已找到公开 Abstract,严格对应):当我们透过玻璃窗观察时,反射很常见,它不仅是一种视觉干扰,也会影响计算机视觉算法的性能。然而,从单幅图像中去除反射是高度不适定的,因为每个像素处的颜色需要被分离为分别属于清晰背景和反射的两个值。为了解决这个问题,现有方法使用额外先验,例如反射层平滑性、双重反射效应和颜色一致性,以区分这两个层。然而,这些低层先验在真实情形中可能并不总是有效。本文受到人类能够通过识别物体和理解场景而轻松分离这两个层这一事实的启发,提出使用物体语义线索这种高层信息作为指导来帮助反射去除。基于数据分析,本文开发了一种具有语义引导组件的多任务端到端深度学习方法,用于联合解决反射去除和语义分割问题。在不同数据集上的大量实验表明,使用面向对象的高层信息可以带来显著性能提升。本文还展示了该方法在其他计算机视觉任务中的应用。


2021

- Robust Reflection Removal With Reflection-Free Flash-Only Cues, (CVPR 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种简单但有效的无反射线索,用于从一对闪光图像和环境光(无闪光)图像中进行鲁棒反射去除。该无反射线索利用在 RAW 数据空间中由闪光图像减去对应环境光图像得到的 flash-only 图像。flash-only 图像等价于在黑暗环境中仅打开闪光灯拍摄的图像。作者观察到,这种 flash-only 图像在视觉上基本无反射,因此能够为推断环境光图像中的反射提供鲁棒线索。由于 flash-only 图像通常包含伪影,本文进一步提出一个专门模型,不仅利用无反射线索,而且避免引入伪影,从而有助于准确估计反射层和透射层。在包含多种反射类型的真实世界图像上的实验表明,带有无反射 flash-only 线索的模型是有效的:该模型相比最先进反射去除方法在 PSNR 上提升超过 5.23 dB,在 SSIM 上提升 0.04,在 LPIPS 上提升 0.068。源代码和数据集已公开。


- Single Image Reflection Removal with Absorption Effect, (CVPR 2021)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文针对单图像反射去除问题考虑吸收效应。作者表明,吸收效应可以通过折射振幅系数图的平均值进行数值近似。随后,本文重新表述图像形成模型,并提出一种显式考虑吸收效应的两步解决方案。第一步从反射污染图像中估计吸收效应,第二步以反射污染图像和估计得到的吸收效应作为输入恢复透射图像。在四个公开数据集上的实验结果表明,该两步解决方案不仅能够成功去除反射伪影,而且能够忠实恢复由吸收效应造成的强度失真。消融研究进一步表明,该方法在整体强度恢复方面取得了更优性能,并具有良好的模型泛化能力。


- Location-aware Single Image Reflection Removal, (ICCV 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种新的基于深度学习的位置感知单图像反射去除方法。该网络包含一个反射检测模块,以多尺度拉普拉斯特征作为输入,回归概率反射置信图。该概率图用于判断一个区域是反射主导还是透射主导,并作为网络在预测反射层和透射层时控制特征流的线索。作者将网络设计为循环网络,在每次迭代中逐步细化反射去除结果。该方法的新颖性在于利用拉普拉斯核参数突出强反射的边界,这有利于强反射检测,并显著提升反射去除结果的质量。大量实验验证了所提出方法相对于现有先进方法的优越性能。代码和预训练模型已公开。

RTX 4090
DatasetPSNRSSIM
Real23.07500.8255
Postcard24.26980.9071
Solidobject24.15610.8993
Wild26.02740.8997
Nature23.65710.8194
Overall24.34630.8963

- Distilling Reflection Dynamics for Single-Image Reflection Removal, (ICCVW 2021)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):单图像反射去除旨在给定一张透过玻璃或窗户拍摄的图像,恢复其中的透射图像。由于问题本身存在固有歧义,并且缺乏大规模、多样化的真实世界训练数据,现有方法主要依赖从单幅图像中提取的信息以及一些预定义先验,在真实世界图像上难以得到令人满意的结果。本文不再只对单幅图像进行推理,而是提出从多视角图像中蒸馏反射动态的表示,即反射层和透射层随时间的运动,并将学到的知识迁移到单图像反射去除问题中。具体而言,本文提出一个教师—学生框架:教师网络通过观察由移动相机拍摄的场景多视角图像序列来学习反射动态表示,并教导学生网络从单张输入图像中去除反射。此外,作者采集了一个大规模真实世界多视角反射图像数据集,用于反射动态知识蒸馏。大量实验表明,该模型取得了最先进的性能。


- Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation, (NeurIPS 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):单图像反射分离作为一种代表性的盲源分离任务,旨在从一张混合观测图像中恢复两层,即透射层和反射层。由于该问题高度病态,因此具有挑战性。现有基于深度学习的解决方案通常分别恢复目标层,或者只在输出端对两层关系作一定考虑,几乎没有考虑两条流或分支之间的交互。为了更高效地利用信息,本文提出一种通用且简单的交互策略,即“your trash is my treasure”(YTMT),用于构建双流分解网络。具体而言,本文在块级别显式强制两条流相互通信。受两个成分之间加性性质的启发,交互路径可以通过将一条流中被 ReLU 整流器失活的信息传递到另一条流来轻松建立,而不是直接丢弃这些信息。本文在广泛使用的 SIRS 数据集上进行了消融研究和实验结果,以证明 YTMT 的有效性,并显示其相对于其他最先进替代方法的优越性。实现非常简单,代码已公开。


- Deep-Masking Generative Network: A Unified Framework for Separating Superimposed Images, (TIP 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从包含噪声层的叠加图像中恢复干净背景,是图像反射去除、图像去雨和图像去雾等一类经典图像恢复任务的共同核心问题。由于图像中噪声层的外观模式多样且复杂,这些任务通常被分别建模和处理。本文提出深度掩码生成网络(Deep-Masking Generative Network, DMGN),这是一个用于从叠加图像中进行背景恢复的统一框架,能够处理不同类型的噪声。所提出的 DMGN 遵循由粗到细的生成过程:首先并行生成粗略背景图像和噪声图像,然后进一步利用噪声图像细化背景图像,以获得更高质量的背景图像。具体而言,本文设计了一种新的残差深度掩码单元作为 DMGN 的核心操作单元,通过学习门控掩码控制信息流,在图像生成过程中增强有效信息并抑制负面信息。通过迭代使用该残差深度掩码单元,所提出的 DMGN 能够逐步生成高质量背景图像和噪声图像。此外,本文提出一种双管齐下的策略,有效利用生成的噪声图像作为对比线索,以促进背景图像的细化。包括图像反射去除、图像雨痕去除和图像去雾在内的三个典型图像背景恢复任务上的大量实验表明,DMGN 持续优于针对各单一任务专门设计的最先进方法。


- V-DESIRR: Very Fast Deep Embedded Single Image Reflection Removal (ICCV 2021)
CVF | PDF

摘要翻译(已找到公开 Abstract,严格对应):真实世界图像常常会因不需要的反射而受到破坏,因此去除这些反射是非常需要的。这类图像中有很大一部分来自能够进行超高分辨率拍摄的智能手机相机。现有大多数方法要么通过牺牲处理速度和内存需求来关注复原质量,要么关注在很低分辨率下去除反射,从而限制了其实用部署性。本文提出一种用于反射去除的轻量级深度学习模型,采用一种新的尺度空间架构。本文方法分两个阶段处理受损图像:低尺度子网络(LSSNet)用于处理最低尺度,渐进推理(PI)阶段用于处理所有更高尺度。为了降低计算复杂度,PI 阶段中的子网络被设计得比 LSSNet 浅得多。此外,本文在 PI 阶段的不同尺度之间采用权重共享,以限制模型规模。这也使本文方法能够在无需显式重新训练的情况下泛化到超高分辨率。与最先进方法相比,本文方法在定性和定量上都更优,同时相比最近的最先进算法 RAGNet,速度快 20 倍,参数数量少 50 倍。本文在安卓智能手机上实现了该方法,其中一张 1200 万像素的高分辨率图像可在 5 秒内完成复原。


- Panoramic Image Reflection Removal (CVPR 2021)
CVF | PDF

摘要翻译(已找到公开 Abstract,严格对应):本文研究全景图像反射去除问题,旨在缓解反射场景和透射场景之间的内容歧义。虽然全景图像中包含反射场景的部分视图,但由于它与受反射污染的图像存在错位,无法被直接利用。本文提出一种两步方法来解决这一问题:首先通过由粗到细的策略完成反射场景的几何和光度对齐,然后通过恢复网络复原透射场景。所提出的方法使用合成数据集进行训练,并使用真实全景图像数据集进行定量验证。实验通过相较于基于单图像的反射去除方法所具有的显著性能优势,以及对由普通相机或手机用户拍摄的有限视场场景的泛化能力,验证了所提出方法的有效性。


2020

- Single Image Reflection Removal With Physically-Based Training Images, (CVPR 2020)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):近年来,基于深度学习的单图像反射分离方法已被广泛使用。为了受益于学习方法,大量训练图像对(即带反射和无反射图像)以各种方式被合成出来,但这些方法并非基于物理的方向。本文使用基于物理的渲染来忠实地合成所需训练图像,并提出相应的网络结构和损失项。作者利用现有 RGBD/RGB 图像来估计网格,然后通过路径追踪在网格、玻璃和镜头之间物理模拟光传输,以合成训练数据;该数据成功再现了玻璃反射在空间上变化的各向异性视觉效果。为了更好地引导分离,作者还考虑了一个用于回溯反射的模块,即 backtrack network(BT-net),它能够去除玻璃/镜头造成的复杂重影、衰减、模糊和离焦效果。这使得方法能够在失真发生之前获得先验信息。所提出的方法结合额外先验信息和物理仿真训练数据,在多种真实反射图像上得到验证,并相较于最先进技术显示出视觉上令人满意且数值上更优的结果。


- Polarized Reflection Removal with Perfect Alignment in the Wild, (CVPR 2020)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种用于野外偏振图像反射去除的新表述。作者首先指出现有反射去除数据集中的错位问题:所采集的无反射图像由于玻璃折射,无法与输入混合图像完美对齐。随后,作者构建了一个包含 100 多种玻璃的新数据集,其中获得的透射图像与输入混合图像完美对齐。其次,利用反射与偏振光之间的特殊关系,作者提出一个具有两阶段架构的偏振反射去除模型。此外,作者设计了一种新的感知 NCC 损失,能够提升反射去除和一般图像分解任务的性能。大量实验结果表明,该模型在反射去除任务上优于最先进方法。


- Single Image Reflection Removal through Cascaded Refinement, (CVPR 2020)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文研究从单张透过玻璃表面拍摄的图像中去除不期望反射的问题,这是一个病态、具有挑战性但对照片增强具有实际重要性的问题。受社交网络中用于隐藏社区检测的迭代结构削减启发,作者提出迭代增强卷积 LSTM 网络(IBCLN),以实现反射去除的级联预测。IBCLN 是一种级联网络,它以透射层和反射层估计能够相互提升预测质量的方式,对二者进行迭代细化,并使用 LSTM 在级联的不同步骤之间传递信息。其直觉是:透射层是强的主导结构,而反射层是弱的隐藏结构。二者在单幅图像中彼此互补,因此从原始图像中对一方进行更好的估计和削减,会带来对另一方更准确的估计。为了促进多级联步骤的训练,作者采用 LSTM 来处理梯度消失问题,并提出残差重建损失作为进一步的训练引导。此外,作者创建了一个包含真实世界反射图像及其真值透射层的数据集,以缓解数据不足问题。综合实验表明,与最先进反射去除方法相比,所提出方法能够有效去除真实图像和合成图像中的反射。

RTX 4090
DatasetPSNRSSIM
Real21.85400.7770
Postcard23.44700.8790
Solidobject24.94730.8991
Wild24.34650.8862
Nature24.02650.7980
Overall24.11350.8805

- Joint Reflection Removal and Depth Estimation From a Single Image, (IEEE Transactions on Cybernetics 2020)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):由玻璃造成的反射常常降低图像质量,并进一步使深度估计变得困难。本文提出从单幅图像中联合进行反射去除和深度估计。作者使用一个协作神经网络联合执行反射去除(透射恢复)和深度估计,该网络由四个模块组成:1)用于特征提取的编码器;2)反射去除子网络(RRN);3)深度估计子网络(DEN);4)由透射层引导的深度细化。作者通过将 DEN 的中间特征与 RRN 进行拼接,实现反射去除和深度估计之间的协作。由于恢复得到的透射层包含玻璃后方物体的准确边缘,作者利用其引导,通过引导图像滤波来细化估计深度。实验结果表明,即使在反射占主导的图像中,所提出方法也能够同时实现反射去除和深度估计。此外,本文提供了一种处理图像中反射的新方式,即将深度估计引入反射去除,并同时实现反射去除和深度估计。


- CoRRN: Cooperative Reflection Removal Network, (IEEE Transactions on Pattern Analysis and Machine Intelligence 2020)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从透过玻璃拍摄的图像中去除不期望反射,广泛适用于多种计算机视觉任务。非学习方法使用不同的手工先验,例如由不同模糊程度导致的可分离稀疏梯度,但这些方法由于对真实世界反射属性的描述能力有限而常常失败。本文提出一种采用特征共享策略的网络,在一个协作且统一的框架中处理该问题,并整合图像上下文信息和多尺度梯度信息。为了去除某些局部区域中存在的强反射,作者提出一种统计损失,考虑背景与反射之间的梯度层级统计关系。该网络在一个新的数据集上训练,该数据集包含 3250 张在多样真实世界场景下拍摄的反射图像。公共基准数据集上的实验表明,所提出方法相较于最先进方法表现更优。


- Reflection Scene Separation From a Single Image (CVPR 2020)
PDF

摘要翻译(已找到公开 Abstract,严格对应):对于透过玻璃拍摄的图像,现有方法通过将反射成分视为噪声,关注背景场景的恢复。然而,由玻璃表面反射的场景也包含需要恢复的重要信息,尤其是在监控或刑事侦查中。本文并非从混合图像中去除反射成分,而是旨在从混合图像中恢复反射场景。本文首先提出一种获得这类真值及其对应输入图像的策略。然后,本文提出一个两阶段框架,从混合图像中获得可见的反射场景。具体而言,本文使用一种对输入和输出图像之间错位具有鲁棒性的平移不变损失来训练网络。实验结果表明,所提出的方法取得了有前景的结果。


- Reflection Separation via Multi-bounce Polarization State Tracing (ECCV 2020)
ECVA PDF | Project

摘要翻译(已找到公开 Abstract,严格对应):从照片中去除反射是计算摄影中的一项重要任务,也适用于涉及透过窗户和类似场景成像的计算机视觉任务。传统上,该问题通常在非常受控的场景下被作为单反射去除问题来处理。本文旨在将反射去除推广到具有更复杂光线交互的真实世界场景。为此,本文提出一个简单而高效的监督式图像反射分离学习框架,该框架结合了偏振引导的光线追踪模型和损失函数设计。本文使用偏振传感器而非传统图像传感器,该传感器可以在同一图像中瞬时捕获场景的四张线偏振照片。通过结合新的偏振引导图像形成模型,以及用于解释光线追踪图像形成模型的新型监督学习框架,本文获得了一种能够处理一般图像反射去除问题的通用方法。本文在真实数据和合成数据上通过大量实验展示了该方法,并展示了前所未有的图像重建质量。


- Fast User-Guided Single Image Reflection Removal via Edge-Aware Cascaded Networks (IEEE TMM 2020)
Author page | GitHub

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃窗拍照会产生眩光或反射,这可能会使观看者从窗后场景中分心。本文引入用户交互来解决反射去除问题的不适定性。用户可以绘制描边或套索,以指示背景层和反射层。本文没有设计手工特征,而是提出用于反射去除的边缘感知级联网络。所提出网络是一个两阶段流程。第一阶段将由用户引导转换而来的边缘提示和带反射图像作为输入,然后将输入图像分离为背景层和反射层。第二阶段包含一个细化网络,用于恢复背景层中缺失的细节。本文模拟不同类型的用户引导,并在模拟数据上训练网络。该级联网络是端到端的,并且只需一次前向传播即可运行,从而实现快速编辑。


2019

- Fast Single Image Reflection Suppression via Convex Optimization, (CVPR 2019)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):去除透过玻璃拍摄图像中的不期望反射,对计算机视觉具有重要意义。它既可作为出于审美目的提升图像质量的一种手段,也可作为机器学习和模式识别应用中的图像预处理方式。本文提出一个凸模型,用于从单张输入图像中抑制反射。该模型蕴含一个带有梯度阈值化的偏微分方程,并可使用离散余弦变换高效求解。在合成图像和真实世界图像上的大量实验表明,该方法能够取得令人满意的反射抑制结果,并且相较于最先进方法显著减少运行时间。


- Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements, (CVPR 2019)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从单张透过玻璃窗拍摄的图像中去除不期望反射,对视觉计算系统具有实际重要性。尽管最先进方法在某些情况下能够取得不错结果,但在处理更一般的真实世界案例时,其性能会显著下降。这些失败源于单图像反射去除的内在困难,即该问题根本上的不适定性,以及学习型神经网络流程中用于解决这种歧义所需的密集标注训练数据不足。本文通过利用有针对性的网络增强以及对错位数据的新颖使用来解决这些问题。对于前者,作者通过嵌入上下文编码模块来增强一个基线网络结构,这些模块能够利用高层上下文线索,降低强反射区域中的不确定性。对于后者,作者提出一种对齐不变损失函数,以便利用更容易采集的真实世界错位训练数据。实验结果整体表明,该方法在使用对齐数据时优于最先进方法,并且在使用额外错位数据时能够获得显著提升。


- Single Image Reflection Removal Beyond Linearity, (CVPR 2019)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):由于缺乏配对数据,图像反射去除的训练高度依赖合成反射图像。然而,现有方法将反射建模为线性组合模型,无法充分模拟真实世界场景。本文从两个方面向反射去除中注入非线性。首先,不同于使用固定组合因子或核来合成反射,作者提出通过预测非线性 alpha 混合掩码来合成反射图像。这使不同模糊核能够自由组合,从而得到可控且多样的反射合成。其次,作者设计了一个用于反射去除的级联网络,包含三个任务:预测透射层、反射层和非线性 alpha 混合掩码。前两个任务是基本输出,而后一个任务是网络的辅助输出。另一方面,这个辅助输出使训练形成闭环,从而使分离得到的透射层和反射层能够重新组合,并通过重建损失进行训练。大量定量和定性实验表明,在两个标准基准以及真实世界场景中,所提出的合成和去除方法均优于最先进方法。


- Learning to Jointly Generate and Separate Reflections (ICCV 2019)
CVF | PDF

摘要翻译(已找到公开 Abstract,严格对应):现有使用配对训练数据的基于学习的单图像反射去除方法,由于训练图像对的变化有限,在真实世界反射上的泛化能力存在根本限制。在本文中,我们提出在弱监督学习框架内联合生成和分离反射,旨在通过丰富的非配对监督更全面地建模反射图像形成。通过在多任务结构中施加对抗损失和可组合映射机制,所提出的框架优雅地将反射生成和分离这两个独立阶段整合到一个统一模型中。梯度约束也被纳入多任务学习的并发训练过程中。特别地,本文构建了一个包含 4,027 张图像的非配对反射数据集,该数据集有助于促进反射去除模型的弱监督学习。在公共基准数据集上的大量实验表明,本文框架相较于最先进方法表现良好,并能持续产生视觉上有吸引力的结果。


- Reflection Removal Using a Dual-Pixel Sensor (CVPR 2019)
PDF | GitHub

摘要翻译(已找到公开 Abstract,严格对应):反射去除是一个具有挑战性的问题,目标是去除在拍摄位于玻璃板后方的场景时产生的不需要的反射。在本文中,我们表明大多数相机具有一种被忽视的机制,可以极大地简化这一任务。具体而言,现代 DSLR 和智能手机相机使用双像素(DP)传感器,每个像素具有两个光电二极管,可以从单次捕获图像中提供场景的两个子孔径视图。双像素传感器的自然副产物,即编码在这两个子孔径视图中的“离焦-视差”线索,可以用于区分属于对焦背景的图像梯度和由反射干扰造成的图像梯度。然后,可以将这些梯度信息纳入优化框架中,以比当前仅从单次捕获图像所能达到的结果更高的精度恢复背景层。作为本文工作的一部分,我们提供了第一个由 DP 传感器子孔径视图构成的反射去除图像数据集。


- Reflection Separation using a Pair of Unpolarized and Polarized Images (NeurIPS 2019)
NeurIPS | PDF

摘要翻译(已找到公开 Abstract,严格对应):当我们透过玻璃窗或玻璃门拍照时,透射的背景场景常常会与不需要的反射混合。将两层分离开来以提升图像质量,对于人类感知和机器感知都至关重要。本文提出利用来自一对非偏振图像和偏振图像的物理约束来分离反射层和透射层。由于采集设置被简化,与以三张或更多图像作为输入的现有基于偏振的解决方案相比,该系统变得更加欠定。本文提出先求解半反射体方向估计,使物理图像形成过程成为良定问题,然后使用带有梯度损失的细化网络来可靠地分离两层。定量和定性实验结果表明,本文方法优于现有基于偏振和基于单图像的解决方案。


2018

- ReflectNet: Separating Reflection and Transmission Images in the Wild, (ECCV 2018)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):由常见半反射体(如玻璃窗)造成的反射会影响计算机视觉算法的性能。最先进方法能够在合成数据和受控场景中去除反射。然而,这些方法基于强假设,并不能很好地泛化到真实世界图像。与一种常见误解相反,即使使用偏振信息,真实世界图像仍然具有挑战性。本文包含作者 2018 年 ECCV 论文《Separating Reflection and Transmission Images in the Wild》中 ReflectNet 的源代码和模型。为了与现有最先进方法进行比较,作者还实现了若干先前发表的方法,这些实现可能对研究社区中的其他人有用。


- CRRN: Multi-Scale Guided Concurrent Reflection Removal Network, (CVPR 2018)
PDF | arXiv | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):从透过玻璃拍摄的图像中去除不期望反射,广泛适用于多种计算机视觉任务。非学习方法使用不同的手工先验,例如由不同模糊程度导致的可分离稀疏梯度,但这些方法由于对真实世界反射属性的描述能力有限而常常失败。本文提出并发反射去除网络(CRRN),在一个统一框架中解决该问题。所提出网络整合图像外观信息和多尺度梯度信息,并使用受人类感知启发的损失函数;该网络在一个新的数据集上训练,该数据集包含 3250 张在多样真实世界场景下拍摄的反射图像。公共基准数据集上的大量实验表明,所提出方法相较于最先进方法表现更优。


- Single Image Reflection Separation with Perceptual Losses, (CVPR 2018)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种从单幅图像中分离反射的方法。该方法使用全卷积网络进行端到端训练,其损失函数利用低层和高层图像信息。该损失函数包含两种感知损失:来自视觉感知网络的特征损失,以及编码透射层图像特性的对抗损失。作者还提出一种新的排斥损失,用于强制实现像素级图层分离。作者创建了一个包含真实世界反射图像及其对应真值透射层的数据集,用于定量评估和模型训练。作者通过全面的定量实验验证该方法,并表明其在 PSNR、SSIM 和感知用户研究方面均优于最先进反射去除方法。作者还将该方法扩展到另外两个图像增强任务,以展示该方法的通用性。


- Seeing Deeply and Bidirectionally: A Deep Learning Approach for Single Image Reflection Removal, (ECCV 2018)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃面板拍照时,反射常常遮挡期望场景。自动从照片中去除不需要的反射是十分理想的。传统方法通常施加某些先验或假设,以针对特定类型的反射,例如移位的双重反射,因此难以泛化到其他类型。最近已经提出一种深度学习方法。它学习一个深度神经网络,以端到端方式直接将受反射污染的图像映射到背景(目标)图像(即无反射图像),并优于以往方法。作者认为,要真正良好地去除反射,应该估计反射并利用它来估计背景图像。作者提出一种级联深度神经网络,同时估计背景图像和反射。这显著提升了反射去除效果。在该级联深度网络中,作者使用估计的背景图像来估计反射,再使用估计的反射来估计背景图像,从而实现“深度地、双向地观察”的思想。

2017

- A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing, (ICCV 2017)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种深度神经网络结构,该结构利用边缘信息来处理具有代表性的低层视觉任务,例如图层分离和图像滤波。不同于应用于这一语境中的多数其他深度学习策略,本文方法仅使用按级联方式排列的卷积层来估计边缘并重建图像,从而处理这些具有挑战性的问题,不需要任何手工设计或特定应用的图像处理组件。作者将所得的可迁移流程应用于两个都对边缘敏感的不同问题领域,即单图像反射去除和图像平滑。对于前者,通过使用温和的反射平滑假设和一种作为弱监督的新型合成数据生成方法,作者的网络能够解决以往方法无法处理的更困难反射案例。对于后者,作者在定量和定性结果上也以很大幅度超过最先进水平。在所有情况下,所提出框架都简单、快速,并且易于在不同领域之间迁移。


- Benchmarking Single-Image Reflection Removal Algorithms (ICCV 2017)
PDF | Dataset

摘要翻译(已找到公开 Abstract,严格对应):去除在玻璃前拍摄的照片中不需要的反射,对于提升视觉计算系统的效率具有重要意义。已有多种方法被提出,并在作者自行收集的小规模数据集上显示出视觉上合理的结果。由于缺乏带有真值的合适基准数据,现有方法在同一数据集上的定量比较从未开展。本文提出第一个采集得到的单图像反射去除数据集“SIR2”,包含 40 个受控场景和 100 个野外场景,并提供背景和反射的真值。对于每个受控场景,本文进一步提供在不同光圈设置和玻璃厚度下的十组图像。本文使用四种误差指标,对四种最先进的单图像反射去除算法进行了定量和视觉质量比较。最后,本文讨论了改进反射去除算法的开放问题。


- Single Image Reflection Suppression (CVPR 2017)
PDF

摘要翻译(已找到公开 Abstract,严格对应):反射是透过玻璃窗拍摄图像中的常见伪影。在照片拍摄后自动去除反射伪影是一个不适定问题。因此,尝试使用优化方案来解决这一问题的方法依赖于来自物理世界的各种先验假设。不同于从单幅图像中去除反射这一迄今为止成功有限的任务,本文提出一种新的反射抑制方法。它基于施加在输出上的拉普拉斯数据保真项和 L0 梯度稀疏项。在人工图像和真实世界图像上的实验表明,本文的反射抑制方法优于最先进的反射去除技术。


- Reflection Removal Using Low-Rank Matrix Completion (CVPR 2017)
PDF

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃拍摄的图像通常同时捕获目标透射场景和不需要的反射场景。本文提出一种低秩矩阵补全算法,用于从在略微不同相机位置拍摄的多张玻璃图像中自动去除反射伪影。本文假设在典型玻璃图像中,透射场景比反射场景更占主导。首先,本文将多张玻璃图像配准到一张参考图像,在该图像中,透射图像的梯度是一致的,而反射图像的梯度在不同图像之间是变化的。基于这一观察,本文计算梯度可靠性,使属于透射图像显著边缘的像素被赋予高可靠性。然后,本文通过在梯度域中求解低秩矩阵补全问题,抑制反射图像的梯度,并仅恢复透射图像的梯度。本文使用所得最优梯度图重建原始透射图像。实验结果表明,所提出的算法能够忠实地从玻璃图像中去除反射伪影,并在典型玻璃图像上优于现有算法。


2016

- Depth of Field Guided Reflection Removal (ICIP 2016)
PDF | GitHub

摘要翻译(已找到公开 Abstract,严格对应):反射去除旨在分离期望场景和不期望反射的混合物。定位反射边缘和背景边缘是反射去除的关键步骤。本文提出一种视觉深度引导的方法来去除反射。本文的想法是使用景深(DoF)来标记背景边缘和反射边缘。本文提出一种 DoF 置信图,其中具有较高 DoF 值的像素被认为属于期望的背景成分。此外,本文观察到不同分辨率的图像在 DoF 图中表现出不同属性。因此,本文引入一种多尺度 DoF 计算策略,以更有效地分类边缘像素。基于边缘分类结果,可以分离背景层和反射层。实验结果使用真实世界照片验证了本文方法的有效性。


2015

- Reflection Removal Using Ghosting Cues (CVPR 2015)
PDF

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃窗拍摄的照片通常同时包含期望场景和不期望的反射。分离反射层和透射层是一个重要但不适定的问题,具有审美和实际应用价值。本文引入 ghosting cues 的使用,这些线索利用图层之间的不对称性,从而帮助降低问题的不适定性。这些线索来自反射场景在玻璃表面上发生的移位双重反射。在双层玻璃窗中,每一层玻璃都会反射位于与相机同侧物体的移位且衰减的版本。对于单层玻璃窗,ghosting cues 来自玻璃板两个表面上的移位反射。即使 ghosting 有时对人类来说几乎不可察觉,本文仍然可以利用该线索进行图层分离。本文使用双脉冲卷积核来建模 ghosted reflection,并自动估计 ghosted reflection 成分的空间间隔和相对衰减。为了分离这些层,本文提出一种使用高斯混合模型进行正则化的算法。本文方法是自动的,并且只需要单幅输入图像。本文证明,该方法能够在合成输入和真实世界输入上去除很大一部分反射。

2014

- Single Image Layer Separation using Relative Smoothness, (CVPR 2014)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文研究从一幅图像中提取两个图层的问题,其中一个图层比另一个图层更平滑。该问题最明显地出现在固有图像分解和反射干扰去除中。单图像图层分解本质上是病态问题,解决方案需要施加额外约束。本文引入一种新的策略,对两个图层的梯度进行正则化,使其中一个图层具有长尾分布,而另一个图层具有短尾分布。施加长尾分布是一种常见做法,而本文在第二个图层上引入短尾分布是独特的。本文在概率框架中表述该问题,并描述一种只需少量迭代即可求解该正则化的优化方案。作者将该方法应用于固有图像和反射去除问题,并展示了与其他技术相当的高质量图层分离效果,同时速度显著快于现有主流方法。

2013

- Specular Reflection Separation Using Dark Channel Prior, (CVPR 2013)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):本文提出一种从单幅图像中分离镜面反射的新方法。将图像分解为漫反射和镜面反射成分是一个由于观测不足而高度病态的问题。现有方法通常依赖无镜面反射图像来检测和估计高光,但这可能会将具有相同色调但饱和度不同的漫反射像素误判为镜面反射像素。本文利用暗通道先验来改进镜面反射分离,通过分析图像颜色和亮度分布中的暗通道特性,更有效地区分漫反射与镜面反射成分。

Contributors

krantbrity

120 commits

krantbrity/Single-Image-Reflection-Removal-Papers-and-Code-Collection

15

120 commits

updated Sep 20, 2026

See the code

README

Single Image Reflection Removal / Separation Papers and Code Collection

更新时间:2026-09-20

2026

- Single Image Reflection Removal with Patch Reflectance Prior (Information Sciences 2026, Online First)
ScienceDirect | DOI | arXiv | GitHub:暂未确认官方仓库

摘要翻译(根据 Information Sciences 公开 Abstract):单图像反射去除面临玻璃表面透射与反射过程中多种图像退化带来的挑战。现有方法常依赖特定的反射先验假设。该研究引入反射率(reflectance)先验,利用透射图像与反射图像之间的关系辅助恢复,并首先利用图像级和像素级真值反射率验证这一先验的有效性。由于推理时无法获取真值反射率,方法进一步训练网络预测图像块级反射率。在固定反射率预测网络后,利用预测的局部先验调制反射去除骨干网络特征。多个真实世界基准上的实验表明,该方法能够取得具有竞争力的反射去除性能。该论文曾以早期预印本形式公开,2026 年 9 月 10 日上线正式期刊版本。


- RefMover: Diffusion-Based Single Image Reflection Removal With Language and Region Guidance (IEEE TPAMI 2026, Early Access)
DOI | PubMed | GitHub:暂未确认官方仓库

摘要翻译(根据公开 Abstract):单图像反射去除是一项高度不适定的任务。虽然已有研究尝试利用 RAW 数据更准确地描述成像过程,但实际场景中广泛使用的处理后 8 位图像仍需要能够应对非线性退化的恢复方法。现有方法可能因缺乏高层语义引导而难以处理此类图像;语言引导的扩散模型虽然具有潜力,但反射污染输入会带来语义与空间区域难以对齐、恢复结果不够忠实等问题。为此,RefMover 提出多指令扩散框架,结合语言与区域引导,缩小语义与空间之间的对应差距。方法还设计了更精简的条件生成流程,以减轻条件冲突并保留图像细节,同时构建大规模 ComRR 数据集用于训练和评测。实验验证了该方法在反射去除任务中的有效性及其在交互式与云端辅助应用中的潜力。


- Frequency-Domain Enhancement and Multi-Scale Residual Modeling for Single-Image Reflection Separation (Electronics 2026)
Journal | PDF | DOI | GitHub:暂未确认官方仓库

摘要翻译(根据期刊公开 Abstract):单图像反射分离旨在从透过玻璃拍摄的混合图像中恢复透射层和反射层。现有双流交互方法主要依赖空间域的线性特征建模和单尺度残差预测,在处理复杂反射混合时存在局限。该研究提出一种基于预训练双流基线的结构增强方法。受同态滤波启发,同态频域增强模块(HFEM)结合对数变换和 Haar 小波分解提取互补频域特征,并通过零初始化投影将其注入两条流的局部先验分支;多尺度残差建模模块(MSRM)聚合不同层级的解码器特征,替代原有的单尺度残差模块。训练时冻结预训练基线,仅优化新模块。最终新增 1.528M 可训练参数,约占完整 328.49M 参数模型的 0.47%。在包含 494 张图像的五个公开基准上,加权平均 PSNR/SSIM 从 26.52 dB/0.916 提升至 26.74 dB/0.917。消融结果表明,HFEM 是性能增益的主要来源,MSRM 提供补充收益。


- GenSIRR: Rectifying Latent Space for Generative Single-Image Reflection Removal (CVPR 2026)
CVF | PDF | Project | arXiv | GitHub

摘要翻译(严格对应 arXiv 当前 Abstract):单图像反射去除是一个高度病态的问题,现有方法难以推理受损区域的组成关系,这导致它们在野外场景中的恢复与泛化表现不佳。本文将一种面向图像编辑的潜在扩散模型重新构建,使其能够有效感知并处理高度模糊的层叠图像输入,从而生成高质量结果。我们认为,这种转换的挑战源于一个关键但被忽视的问题,即语义编码器的潜空间缺乏将复合图像解释为其组成层线性叠加的内在结构。我们的方法由三个相互协同的组件构成,包括:一种反射等变 VAE,用于使潜空间与反射形成的线性物理规律对齐;一种可学习的任务特定文本嵌入,用于提供精确引导并绕开模糊语言;以及一种深度引导的早期分支采样策略,用于利用生成过程中的随机性来获得更有潜力的结果。大量实验表明,我们的模型在多个基准上取得了新的最先进性能,并且能够很好地泛化到具有挑战性的真实世界案例。


- LightRR: A Lightweight Network for Single Image Reflection Removal (CVPR 2026)
CVF | PDF | GitHub:暂未找到官方仓库

摘要翻译(严格对应 CVF 公开 Abstract):单图像反射去除既具有高度病态性,也通常需要较高计算成本。现有基于 CNN 或 Transformer 的方法往往依赖大感受野和繁重计算,限制了其在资源受限设备上的部署。为此,本文提出 LightRR,一种将小波机制与状态空间建模统一起来的轻量级反射去除网络。具体而言,方法设计非对称频率 Mamba 块(AFM),利用离散小波变换将特征分解为低频和高频成分,并通过基于 Mamba 的状态空间动态有针对性地建模不同频率的依赖关系。该设计能够高效捕获长程上下文,同时降低空间分辨率和计算量,并保留关键细节。此外,知识蒸馏增强的编码器使网络在训练阶段继承大型预训练模型的表征能力,从而实现轻量推理。多个真实世界基准上的实验表明,LightRR 在仅使用 RDNet 约 3.01% 参数量和 5.22% FLOPs 的情况下,取得了与最先进方法相当的性能。


- Reflection Separation from a Single Image via Joint Latent Diffusion (CVPR 2026)
CVF | PDF | Project | arXiv | GitHub

摘要翻译(严格对应 CVF 公开 Abstract):在眩光或弱反射等极端条件下,单图像反射分离具有很高难度。由于可用信息不足,现有方法往往难以同时恢复透射层和反射层。本文提出一种针对该任务显式微调的扩散模型,利用生成扩散先验实现稳健分离。该方法通过统一扩散模型同时生成透射层和反射层,并引入跨层自注意力机制以改善特征解耦。进一步地,本文提出非联合采样策略,在扩散过程中迭代降低两个图层之间的干扰,并采用带有可学习合成函数的潜变量优化步骤,以改善复杂真实场景中的结果。多个真实世界基准上的大量实验表明,该方法优于现有最先进方法。


- ReflexSplit: Single Image Reflection Separation via Layer Fusion-Separation (CVPR 2026)
CVF | PDF | Project | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):单图像反射分离(SIRS)将混合图像解耦为透射层和反射层。现有方法在非线性混合下存在透射—反射混淆问题,尤其是在深层解码器层中,这是由隐式融合机制和不足的多尺度协调造成的。我们提出 ReflexSplit,这是一个具有三项关键创新的双流框架。(1)跨尺度门控融合(CrGF)在层级深度之间自适应聚合语义先验、纹理细节和解码器上下文,从而稳定梯度流并保持特征一致性。(2)层融合—分离块(LFSB)在用于共享结构提取的融合和用于层特定解耦的差异分离之间交替进行。受 Differential Transformer 启发,我们通过跨流相减将注意力抵消扩展到双流分离。(3)课程训练通过依赖深度的初始化和按轮次预热,逐步增强差异分离。合成和真实世界基准上的大量实验表明,该方法取得了最先进性能,并具有更优的感知质量和稳健泛化能力。代码可在 GitHub 获取。


- GFRRN: Explore the Gaps in Single Image Reflection Removal (CVPR 2026)
CVF | PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):具有特征交互机制的先前双流方法已经在单图像反射去除(SIRR)中取得了显著性能。然而,它们往往仍面临两个困难:(1)预训练模型特征与反射去除模型特征之间的语义理解差距;(2)合成训练数据与真实世界训练数据之间的反射标签不一致。本文首先采用参数高效微调(PEFT)策略,将若干可学习的 Mona 层集成到预训练模型中,以对齐训练方向。随后,我们设计标签生成器,以统一合成数据和真实世界数据的反射标签。此外,我们提出基于高斯的自适应频率学习块(G-AFLB),以自适应学习并融合频率先验;并采用动态 Agent 注意力(DAA)替代基于窗口的注意力,通过动态建模窗口之间以及单个窗口内部的重要性水平。这些组件构成了我们提出的 Gap-Free Reflection Removal Network(GFRRN)。大量实验表明 GFRRN 的有效性,并相较最先进 SIRR 方法取得了更优性能。


- Polarization State Tracing for Reflection Removal and Color-Consistent Reconstruction (CVPR 2026)
CVF | PDF | GitHub:暂未找到官方仓库

摘要翻译(严格对应 CVF 公开 Abstract):彩色玻璃广泛存在于日常环境中,但其反射与吸收特性会在拍摄图像中引入重影和颜色偏差。现有方法通常忽略吸收问题,因此难以处理彩色玻璃造成的颜色偏差。本文首次利用偏振成像理论对玻璃内部的光传输过程进行建模,提出偏振状态追踪模型(PSTM),沿多条传播路径追踪偏振光,并考虑波长选择性吸收,从而联合实现反射去除与颜色一致性重建。在 PSTM 的指导下,本文设计通道环注意力(CRA)机制,以高效捕获不同偏振角之间的依赖关系并增强偏振通道间的特征交互。恢复的偏振信息还可直接用于偏振形状恢复等下游任务。本文构建了包含多种玻璃材料的真实数据集 GlassPol;实验表明,该方法优于现有方法,PSNR 最高提升约 3 dB。


- NTIRE 2026 Challenge on Single Image Reflection Removal in the Wild: Datasets, Results, and Methods (CVPR Workshops 2026)
CVF | PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):本文回顾 NTIRE 2026 野外单图像反射去除(SIRR)挑战赛。SIRR 是图像复原中的一项基础任务。尽管学术研究已经取得进展,大多数方法仍在合成图像或有限的真实世界图像上进行测试,从而在真实世界应用中形成差距。在本挑战赛中,我们为参赛者提供 OpenRR-5k 数据集,要求他们处理覆盖多种反射场景和反射强度的真实世界图像,目标是生成没有反射的干净图像。该挑战赛吸引了超过 100 个注册队伍,其中 11 支参与最终测试阶段。排名靠前的方法推进了最先进的反射去除性能,并获得了该领域五位专家的一致认可。所提出的 OpenRR-5k 数据集可在 Hugging Face 获取,挑战赛主页位于 GitHub。由于篇幅限制,本文只展示部分内容;完整报告和详细分析见扩展 arXiv 版本。


- Reflection Removal through Efficient Adaptation of Diffusion Transformers (WindowSeat, CVPR Workshops 2026, NTIRE)
CVF | PDF | arXiv | GitHub | Demo

摘要翻译(严格对应公开 Abstract):本文提出一种用于单图像反射去除的扩散 Transformer(DiT)框架,利用基础扩散模型在复原任务中的泛化能力。不同于依赖任务特定架构,本文重新利用一个预训练的、基于 DiT 的基础模型,通过以受反射污染的输入为条件,并引导其生成干净透射层。本文系统分析了现有反射去除数据源在多样性、可扩展性和照片真实感方面的情况。为解决合适数据不足的问题,本文在 Blender 中构建了一个基于物理的渲染(PBR)流程,该流程围绕 Principled BSDF 构建,用于合成真实的玻璃材料和反射效果。基于 LoRA 的基础模型高效适配与所提出的合成数据相结合,在域内和零样本基准上实现了最先进性能。这些结果表明,当预训练扩散 Transformer 与基于物理的数据合成和高效适配相结合时,可以为反射去除提供可扩展且高保真的解决方案。项目页面:https://hf.co/spaces/huawei-bayerlab/windowseat-reflection-removal-web。


- ReLo-IRR: Reflection-Guided LoRA Framework for Image Reflection Removal (ICASSP 2026)
ICASSP | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):单幅图像反射去除(SIRR)旨在从受反射污染的图像中恢复干净的透射层。尽管近年来的方法借助大型扩散模型取得了较好的结果,但它们通常依赖与图像内容无关的适配策略,例如微调或 ControlNet,这类策略会在不同反射强度下施加统一的反射抑制。因此,强反射图像中往往仍会出现反射残留,而弱反射图像则容易发生细节损失。为此,本文提出 ReLo-IRR,一种建立在 Rectified Flow 模型之上的反射引导 LoRA 框架。首先,方法设计轻量级估计器来预测反射强度描述符,为每幅图像提供显式的反射主导程度先验,并实现图像依赖的 LoRA 调制。其次,方法引入时间条件机制,将反射描述符与时间步嵌入融合,使 LoRA 调制能够随着由粗到细的去噪过程一致演化。通过联合建模反射强度和去噪动态,ReLo-IRR 能够在多样化反射条件下实现稳健的反射抑制。大量挑战性基准实验验证了该方法的有效性,表明其具有更优的去反射性能和稳健的泛化能力。


- MERLINet: Multi-Exposure Reflection Elimination Network for Real-World Scenes (ICASSP 2026)
IEEE Xplore | PDF | GitHub:暂未找到官方仓库

摘要概述(根据 IEEE 公开摘要):本文面向真实场景反射去除提出多曝光反射消除网络 MERLINet。方法从单张输入构造不同曝光条件的图像表示,并通过层次化多尺度特征提取与融合,利用曝光变化对反射和透射成分产生的不同响应来抑制反射。网络结合多尺度 U 形结构与感知特征约束,以增强复杂场景中的背景恢复和细节保持。实验表明,该方法能够改善真实世界图像中的反射残留和强度失真。


- SIRR-LMM: Single-image Reflection Removal via Large Multimodal Model (WACV Workshops 2026)
CVF | PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):玻璃表面会产生反射光和透射光之间复杂的相互作用,使单图像反射去除(SIRR)具有挑战性。现有数据集存在合成数据物理真实性有限或真实采集规模不足的问题。我们提出一种合成数据集生成框架,该框架在真实背景图像上对 3D 玻璃模型进行路径追踪,从而生成具有不同玻璃属性、相机设置和后处理效果的物理精确反射场景。为了利用大型多模态模型(LMM)的能力,我们将图像层拼接为一个单一的复合输入,应用联合字幕描述,并使用任务特定 LoRA 对模型进行微调,而不是进行全参数训练。这使我们的方法相比最先进方法取得了更好的反射去除和反射分离性能。


- Dereflection: Any Image with Diffusion Priors and Diversified Data (AAAI 2026)
AAAI | PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):单图像反射去除仍然是一项高度具有挑战性的任务,这是由于目标场景和不需要的反射之间存在复杂缠结。尽管已经取得显著进展,现有方法仍受到高质量、多样化数据稀缺和复原先验不足的限制,导致其在各种真实世界场景中的泛化能力有限。本文提出 Dereflection Any Image,这是一个包含高效数据准备流程和可泛化模型的综合解决方案,用于稳健反射去除。首先,我们引入一个名为 Diverse Reflection Removal(DRR)的数据集,该数据集通过在目标场景中随机旋转反射介质来创建,使反射角度和强度发生变化,并在规模、质量和多样性方面建立新的基准。其次,我们提出一种基于扩散的框架,通过一步扩散实现确定性输出和快速推理。为确保稳定学习,我们设计了三阶段渐进训练策略,其中包括反射不变微调,以鼓励模型在表征我们数据集的不同反射模式下输出一致结果。大量实验表明,我们的方法在常见基准和具有挑战性的野外图像上均达到最先进性能,并在多样真实世界场景中表现出更优泛化能力。


- Depth-Synergized Mamba Meets Memory Experts for All-Day Image Reflection Separation (AAAI 2026)
AAAI | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):图像反射分离旨在从混合图像中解耦透射层和反射层。现有方法依赖来自单张图像的有限信息,当两层对比度相似时容易混淆两层,而这一挑战在夜间更加严重。为解决这一问题,我们提出深度—记忆解耦网络(DMDNet)。它采用深度感知扫描(DAScan)来引导 Mamba 关注显著结构,促进信息沿语义一致性流动以构建稳定状态。与 DAScan 协同工作的是深度协同状态空间模型(DS-SSM),它通过深度调制状态激活的敏感性,抑制会干扰层解耦的模糊特征传播。此外,我们引入记忆专家补偿模块(MECM),利用跨图像历史知识指导专家提供层特定补偿。为解决夜间反射分离数据集缺乏的问题,我们构建 Nighttime Image Reflection Separation(NightIRS)数据集。大量实验表明,DMDNet 在日间和夜间均优于最先进方法。


- FUMO: Prior-Modulated Diffusion for Single Image Reflection Removal (ECCV 2026)
PDF | arXiv | GitHub(代码已开放,预训练权重仍待补充)

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)在真实场景中具有挑战性,其中反射强度在空间上变化,且反射模式与透射结构紧密缠结。本文提出一种带有先验调制的扩散模型框架(FUMO),引入显式引导信号,以提升空间可控性和结构保真度。我们直接从混合图像中提取两类先验:一种是估计空间反射严重程度的强度先验,另一种是通过多尺度残差聚合捕获细节敏感响应的高频先验。我们提出一种由粗到细的训练范式。在第一阶段,这些线索被结合起来,对条件残差注入进行门控,使条件信息聚焦于同时具有反射主导性和结构敏感性的区域。在第二阶段,一个细粒度精修网络在图像空间中校正局部不对齐并锐化细节。在标准基准和具有挑战性的野外图像上进行的实验表明,该方法取得了具有竞争力的定量结果,并持续提升了感知质量。官方代码仓库已开放,但预训练权重仍待补充。


- Single-Image Reflection Removal via Iterative Prompt Learning of Reflection Level (IEEE TIP 2026)
IEEE Xplore | DOI | GitHub

摘要翻译(严格对应公开 Abstract):单图像反射去除旨在从受反射污染的图像中恢复潜在背景层。尽管深度学习方法已经取得进展,现有方法通常没有充分利用负训练样本以及描述反射严重程度的提示,从而限制了去反射性能和泛化能力。本文定义与不同反射干扰程度对应的反射等级,并学习反射等级提示来监督去反射过程。在此基础上,本文提出迭代反射等级降低(IRLR)框架,由恢复网络训练模块(RNTM)和反射等级学习模块(RLLM)组成。RNTM 在 RLLM 学习的提示引导下预测背景层,RLLM 再利用 RNTM 的输出更新提示,两者迭代训练以逐步降低估计背景层中的反射等级。为初始化提示,本文构建专用反射等级数据集进行预训练,并设计反射等级感知策略实现自适应监督。实验显示,该方法相较最先进方法平均提升约 0.74 dB PSNR 和 0.0122 SSIM。


- Complementary Mixture-of-Experts and Complementary Cross-Attention for Single Image Reflection Separation in the Wild (TIP 2026)
DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):单图像反射分离(SIRS)旨在从一张包含透射和反射叠加的图像中重建透射图像和反射图像,该图像通常是透过类似玻璃的反射表面拍摄的。近期基于学习的 SIRS 方法已经显著提升了在具有轻微反射伪影的典型图像上的性能;然而,它们在处理野外捕获的、包含挑战性反射的多样图像时通常仍然困难。本文提出一种基于灵活双流架构的通用 SIRS 框架,能够处理多样反射伪影。具体而言,我们引入混合专家机制,根据空间异质的反射特性,动态地将专门专家分配给图像块。被分配的专家随后协同工作,以自适应方式在透射流和反射流之间提取互补特征。此外,我们利用 Transformer 的多头注意力机制,同时利用高交叉相关和低交叉相关,并以互补方式促进自适应的流间特征交互。在多样真实世界数据集上的实验结果表明,所提出方法在定性和定量上均显著优于现有最先进方法。


- DS3former: Dual-Stream Semantic Separation Transformer for Single Image Reflection Separation (IEEE TMM 2026, Accepted/In Press)
DOI | Publication Page | GitHub:暂未找到官方仓库

摘要翻译(根据公开 Abstract):由于反射表面和光照条件多样,单图像反射分离是一个具有挑战性的不适定问题。本文提出 DS3former,一种采用语义分离策略的双流 Transformer 网络,用于有效区分透射层和反射层。作者观察到,混合图像的预训练深层语义特征中,不同通道对透射层或反射层具有不同亲和性。基于这一观察,本文提出语义分离注意力机制,从不同通道中自适应提取图层特定特征,并执行流间特征传递和聚合以增强分离。此外,网络利用深层解码特征和外部预训练特征指导浅层编码过程。实验表明,DS3former 在多个基准上获得了较好的定量指标和视觉质量。


- Single Image Reflection Separation via Collaborative Reverse Attention and Geometric Guidance (IEEE TMM 2026, Early Access)
DOI | GitHub:暂未找到官方仓库

摘要概述(根据公开 Abstract):本文研究从单张混合图像中恢复透射层和反射层。作者观察到,在一个图层的恢复过程中被抑制的特征往往包含有助于恢复另一图层的信息,因此提出协同反向注意力机制,在双流之间重新利用这些互补信息。此外,从混合图像估计的深度通常主要反映透射层的几何结构,本文据此引入几何引导以辅助图层分离,并将协同反向注意力与几何指导嵌入双流 Transformer 架构。


- Human-like Single Image Reflection Removal via Deep Unfolding with Large Kernels (IEEE TCSVT 2026, Accepted/In Press)
DOI | Publication Page | GitHub:暂未找到官方仓库

摘要翻译(根据公开 Abstract):现有基于数学模型或深度学习的单图像反射去除方法通常没有充分考虑人类视觉系统对全局信息的感知。受人类由整体到局部的分层视觉处理机制启发,本文提出结合大核卷积与深度展开的 LKCDU-Net。其初始化模块利用大核卷积捕获全局结构和长程依赖,随后将基于优化的反射去除过程展开为网络阶段,对局部细节进行逐步细化。该方法兼顾可解释性、全局感知与局部恢复,并以较少参数在多个真实世界基准上取得具有竞争力的性能。


- PA-NAFNet: An Improved Nonlinear Activation Free Network with Pyramid Attention for Single Image Reflection Removal (Digital Signal Processing 2026)
ScienceDirect | DOI | GitHub:暂未确认可验证的官方完整仓库

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)是低层视觉中的活跃课题,旨在消除被反射物体或光源对图像质量的影响。然而,由于 SIRR 的病态属性以及缺乏大规模真实世界反射图像数据集,现有方法在真实数据集上性能下降,并存在反射残留问题。为解决这些问题,我们提出一种有效的 SIRR 网络,称为 PA-NAFNet。它以无非线性激活网络(NAFNet)为基线,并结合金字塔注意力模块以捕获长程像素交互。此外,在训练阶段引入颜色抖动技术,以增加训练数据集的多样性,从而缓解反射去除后潜在的颜色失真问题。在多个反射去除基准测试上的实验结果证明了 PA-NAFNet 的有效性。论文页面称相关代码可通过链接获取,但目前尚未确认可验证的官方完整仓库。


- Explicit Semantic Guidance for Single Image Reflection Removal via Perceptual Influence Modeling (Pattern Recognition 2026)
ScienceDirect | DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):透过玻璃拍摄造成的反射伪影通常会降低图像可见性,并损害下游视觉任务。由于其病态性质以及反射层和透射层外观相互缠结,单图像反射去除(SIRR)仍然具有挑战性。虽然近期方法探索了语义先验,但大多数方法依赖隐式特征融合,而没有显式建模感知扰动。为解决这一问题,我们引入感知反射影响图(PRIM),这是一种基于亮度的相对度量,用于捕获由反射引起的干扰在空间上的分布和强度。PRIM 作为一种显式监督信号,引导网络关注感知敏感区域。在此基础上,我们设计 PRIM 自适应融合模块(PAFM),利用由 PRIM 派生的线索动态整合语义特征和局部特征。此外,我们提出受物理启发的反射去除单元(RRU),同时利用统计频域先验和物理图像形成模型,实现稳健的特征解耦。在多个真实世界 SIRR 基准上的大量实验表明,我们的方法达到最先进性能,验证了该语义引导和物理启发框架的有效性。


- Single Image Reflection Removal via Reflection Location Awareness (Journal of Shanghai Jiao Tong University (Science), 2026)
Springer | DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应出版社公开 Abstract):透过玻璃表面拍摄图像时,采集结果中不可避免地会包含反射。反射不仅降低图像视觉质量,还会影响后续计算机视觉任务。虽然现有反射去除算法能够消除部分干扰,但结果中仍常存在残余反射和伪影。利用输入图像中的反射物体不会出现在对应无反射真值图像中的特性,本文提出反射位置感知(RLA)方法。该方法首先检测输入图像中的反射区域并生成反射位置的显式表示,随后将该表示作为空间先验,与输入图像共同输入后续网络模块,以恢复背景透射层的纹理细节。多个基准数据集上的定性和定量实验验证了该方法的有效性。


- Reflection Removal Using Recurrent Polarization-to-Polarization Network (Machine Vision and Applications 2026)
Springer | arXiv | Project | GitHub(目前仅有 README 和补充材料,尚未发布实现代码)

摘要翻译(严格对应公开 Abstract):本文研究利用偏振图像进行反射去除。现有偏振方法通常以偏振图像为输入,却直接预测非偏振的反射和透射强度图像。与之不同,本文提出偏振到偏振的方法,使用两个串联网络预测具有偏振信息的反射层和透射层,从而利用两层之间相互关联的偏振信息促进分离。进一步地,本文采用循环框架,使预测的反射图像和透射图像彼此迭代细化。公开数据集上的实验表明,该方法优于其他先进方法。


- Polarization Information Restoration for Visual Reflection Removal via Cross Dual-stream Network (Knowledge-Based Systems 2026)
ScienceDirect | DOI | GitHub:暂未找到官方仓库

摘要概述(根据出版社公开信息):本文提出一种偏振引导的交叉双流网络,用于同时完成视觉反射去除和准确的偏振信息恢复。方法显式利用多角度偏振观测之间的关联,在透射与反射分支间进行跨流特征交互,并约束恢复结果保持合理的偏振属性。该研究不仅关注无反射强度图像的恢复,也将偏振信息本身作为需要重建的目标,以服务后续偏振视觉任务。


- RRFormer: A New Transformer-Based Method for Ultra High-Definition Reflection Removal (Information Fusion 2026)
Information Fusion | arXiv | GitHub(仓库已开放,部分资源仍待补充) | [中文]

摘要翻译(严格对应公开 Abstract):基于深度学习的方法已经在单图像反射去除(SIRR)中取得显著成功。然而,这些方法大多关注高清/标准清晰度图像,而忽略了超高清(UHD)图像等更高分辨率图像。随着现代设备拍摄的 UHD 图像日益普及,我们旨在解决 UHD SIRR 问题。具体而言,我们首先合成了两个分别为 4K 和 8K 分辨率的大规模 UHD 数据集。据我们所知,它们是首个用于 SIRR 的大规模 UHD 数据集。随后,我们在所提出数据集上对 12 个最先进的 SIRR 方法进行了全面评估。此外,我们提出一种名为 RRFormer 的基于 Transformer 的反射去除架构,由三个模块组成:预处理嵌入模块、自注意力特征提取模块和多尺度空间特征提取模块。这些模块分别提取 hypercolumn 特征、全局和局部注意力特征,以及多尺度空间特征。为确保有效训练,我们使用由像素损失、特征损失和对抗损失组成的组合损失函数。实验结果表明,RRFormer 在现有非 UHD 基准和我们提出的 UHD 数据集上均达到最先进性能。



- PRISM: Latent Composition Consistency for Single-Image Reflection Removal (ECCV 2026)
PDF | arXiv | Project | GitHub(官方代码仓库已公开)

摘要翻译(严格对应 arXiv 当前 Abstract):单图像反射去除旨在从受反射污染的混合图像中恢复透射层,是一个高度不适定问题。现有方法通常在像素空间中操作,而非线性的 sRGB 成像过程会使两个图层相互缠结并限制泛化。本文观察到,预训练 VAE 的潜空间中不同图层之间的相干性显著低于像素空间,因此更适合进行分解。基于这一发现,本文提出 PRISM,将 SIRR 重新解释为潜空间中的近似线性分离问题。PRISM 在预训练 FLUX 骨干上学习流匹配速度场,并在一次前向过程中同时恢复透射层和反射层。为实现稳健解耦,本文提出潜空间组成一致性(LCC)策略,通过在样本间交换反射潜变量构造合成混合,并利用循环损失约束一致分解;同时提出图层对比分离(LCS)损失,通过块级对比学习促进语义分离,而不需要显式反射真值。六个基准上的实验表明,PRISM 具有较强性能和野外泛化能力。


- Principled Reflection Separation via Nonlinear Superposition and Feature Interaction (DIRS, arXiv 2026)
PDF | arXiv | Project | GitHub

摘要翻译(严格对应 arXiv 当前 Abstract):单图像反射分离的根本困难在于,透射层与反射层在复杂成像过程中相互缠结。现有方法大多依赖简化假设或独立建模,限制了其处理真实场景的能力。本文从统一视角重新审视该问题,并指出在 sRGB 域中广泛使用的线性合成模型无法刻画真实图像信号处理流程引入的非线性耦合。为此,本文提出可学习的非线性叠加模型,以更准确地描述图层交互并提高分解保真度。在此基础上,本文构建通用双流交互框架,通过特征交换显式建模透射层和反射层之间的双向依赖。该框架统一了基于激活、门控和注意力的交互机制,并兼容 CNN 与 Transformer 骨干。多个真实世界基准上的实验表明,该方法具有较好的性能和泛化能力。官方代码与模型已经公开。


- Unified Removal of Raindrops and Reflections: A New Benchmark and A Novel Pipeline (ECCV 2026)
PDF | arXiv | Project / GitHub(官方项目仓库已公开;训练、推理代码与预训练模型仍待发布) | Dataset

摘要翻译(严格对应公开 Abstract):在雨天透过玻璃表面或挡风玻璃拍摄图像时,雨滴和反射经常共同出现,并显著降低所捕获图像的可见性。这一实际问题缺乏关注,亟需解决。先前的去雨滴、去反射以及 all-in-one 模型都未能解决这种复合退化。为此,我们首次正式定义统一去除雨滴和反射(UR³)任务,并构建一个真实拍摄数据集,即 RainDrop and ReFlection(RDRF),它提供了一个包含大量、高质量、多样化图像对的新基准。随后,我们提出一种新的基于扩散的框架(即 DiffUR³),并通过若干针对性设计来解决这一具有挑战性的任务。通过利用强大的生成先验,DiffUR³ 成功去除了两种退化。大量实验表明,我们的方法在所提出基准和具有挑战性的野外图像上达到最先进性能。RDRF 数据集的项目页面已公开,训练、推理代码与预训练模型仍待发布。



2026 年相关扩展任务(非标准单幅 RGB 图像反射去除)

- From Synthesis to Removal: Physics-Grounded Reflection Simulation and Diffusion-Based Video Dereflection (arXiv 2026, 视频反射去除)
PDF | arXiv | Project | GitHub:项目页面标注代码待发布

摘要翻译(根据 arXiv 公开 Abstract):透过玻璃拍摄的视频中常包含反射,影响视觉质量和后续视觉任务。与单图像反射去除相比,视频反射去除面临成对训练数据不足、跨帧恢复一致性难以维持及缺少专用评测基准等问题。该研究提出 S2R 框架,统一基于物理的反射视频合成、扩散式视频去反射与基准评测。S2R-Synthesis 通过结构空间中的物理增强和视频扩散渲染器生成成对视频,并模拟由玻璃粗糙度、厚度和反射率变化带来的退化;S2R-Removal 通过反射感知潜空间适配与单步像素几何精修,利用预训练视频扩散先验恢复透射内容;S2R-Bench 提供全参考评价与真实世界主观感知评价。该论文研究对象为视频,而非标准单图像输入。


- Diffusion-Based Dual-View Reflection Removal (ECCV 2026, 双视角反射去除)
Springer Proceedings | Publication List | GitHub:暂未确认官方仓库

内容概述(根据公开会议论文目录及作者论文列表):该论文由 Tianyi Xu、Zifeng Wang、Boyang Lv、Shuchen Weng 和 Boxin Shi 完成,发表于 ECCV 2026,研究基于扩散模型的双视角反射去除。由于公开检索资料尚不足以核对具体模块及完整摘要,此处暂不扩展为方法细节翻译。其输入为双视角观测,不属于标准单图像反射去除。

2025

- Single Image Reflection Removal Guided by Controllable Diffusion Repair (IEEE Signal Processing Letters 2025)
DOI | GitHub:暂未找到官方仓库

摘要翻译(根据公开 Abstract):由于目标场景和反射层之间存在非线性耦合,单图像反射去除一直具有较高难度。现有分离式方法在处理强反射时可能由于无法充分捕获图像语义而难以恢复正确目标内容。本文提出由可控扩散修复引导的单图像反射去除模型。首先,使用可控扩散模型对反射区域进行预修复,使其与场景语义相匹配;随后,将预修复结果作为先验信息,引导反射去除网络进行分离。此外,本文设计通道门控卷积模块,通过动态调整通道权重增强有效特征提取与学习。多个真实世界基准上的实验表明,该方法优于现有方法。


- Single Image Reflection Separation via Visual State Space Model and Feature Interactions (PRCV 2025)
Springer | DOI | GitHub:暂未找到官方仓库

摘要翻译(严格对应出版社公开 Abstract):本文提出一种基于视觉状态空间模型(VSSM)和特征交互机制的单图像反射分离方法。该方法采用两阶段级联网络,由浅层分离网络(SSNet)和深层分离网络(DSNet)组成。SSNet 从混合图像中提取多尺度特征并获得初始透射与反射特征;随后,DSNet 对这些特征进行更细粒度、更完整的分离,最终生成透射图像和反射图像。两个网络均采用排斥与互补特征交互模块(ECFIM)实现不同特征成分之间的交互;DSNet 还使用 VSSM 捕获并融合多尺度、多通道的全局空间信息。多个真实世界基准上的实验表明,该方法能够生成较高质量的透射与反射图像。


- Single Image Reflection Separation by Using Reflection and Refraction Estimations (IEEE SMC 2025)
IEEE Xplore | PDF | GitHub:暂未找到官方仓库

摘要概述(根据 IEEE 公开摘要片段):本文利用反射估计和折射估计辅助单图像反射分离。方法显式建模反射伪影及玻璃折射造成的强度或空间变化,并利用估计结果指导透射层恢复。实验结果表明,该方法能够减弱反射伪影并校正强度失真,从而改善输出图像质量。


- A Dual-Stream Diffusion Model with Physically-Based Rendering for Single Image Reflection Removal (APSIPA ASC 2025)
IEEE Xplore | PDF | GitHub:暂未找到官方仓库

摘要概述(根据 IEEE 公开 Abstract):本文提出一种基于扩散模型的单图像反射去除方法,以降低对手工假设的依赖。模型采用双流网络架构,同时预测残差和反射层,从而增强扩散模型对复杂数据分布的建模能力。为缓解真实图像与合成训练数据之间的差距,本文进一步使用基于物理的渲染方法生成训练数据。实验表明,双流扩散建模与物理渲染数据能够改善反射去除效果。


- A Lightweight Deep Exclusion Unfolding Network for Single Image Reflection Removal (PAMI 2025)
PDF | arXiv | GitHub | 中文

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)是一个典型的盲源分离问题,指的是将一幅受反射污染的图像分离为透射图像和反射图像的问题。其核心挑战在于尽量减少不同源之间的共性。现有深度学习方法要么忽视特征交互的重要性,要么依赖启发式设计的网络结构。本文提出一种新的深度排斥展开网络(DExNet),它是一种用于 SIRR 的轻量、可解释且有效的网络结构。DExNet 主要通过展开并参数化一个简单的迭代稀疏与辅助特征更新(i-SAFU)算法来构建,该算法专门用于求解一种新的、引入通用排斥先验的基于模型的 SIRR 优化公式。该通用排斥先验使展开后的 SAFU 模块能够内在地识别并惩罚透射特征与反射特征之间的共性,从而实现更准确的分离。DExNet 的原则性设计不仅增强了其可解释性,也显著提升了其性能。在四个基准数据集上的综合实验表明,DExNet 在仅使用领先方法约 8% 参数量的情况下,实现了最先进的视觉和定量结果。


- Reversible Decoupling Network for Single Image Reflection Removal (CVPR 2025)
CVF | PDF | arXiv | GitHub | 中文

完整RDNet结果
DatasetPSNRSSIM
Real25.71380.8501
Postcard26.33430.9221
Solidobject26.94570.9262
Wild27.84400.9173
Nature26.30530.8463
Overall26.72360.9173
只使用线性矫正器
DatasetPSNRSSIM
Real20.95790.7611
Postcard23.18050.8838
Solidobject25.33360.8977
Wild26.18790.8987
Nature22.23900.7835
Overall24.25900.8820
无处理基线结果
DatasetPSNRSSIM
Real19.22940.7430
Postcard21.32690.8767
Solidobject23.80500.8831
Wild26.17480.8941
Nature20.69160.7847
Overall22.75920.8721

摘要翻译(严格对应公开 Abstract):近年来,基于深度学习的单图像反射去除方法展现出有前景的进展,主要有两个原因:1)将识别预训练特征作为输入;2)双流交互网络的设计。然而,根据信息瓶颈原理,高层语义线索在逐层传播过程中往往会被压缩或丢弃。此外,双流网络中的交互在不同层之间遵循固定模式,限制了整体性能。为解决这些局限,本文提出一种名为可逆解耦网络(RDNet)的新架构,它采用可逆编码器来保护有价值的信息,同时在前向传播过程中灵活解耦与透射和反射相关的特征。进一步地,本文定制了一个透射率感知的提示生成器,用于动态校准特征,从而进一步提升性能。大量实验表明,RDNet 在五个广泛使用的基准数据集上优于现有最先进方法。代码已在 GitHub 发布。


- Removing Reflections from RAW Photos (CVPR 2025 Oral)
CVF | PDF | arXiv | Project

摘要翻译(严格对应公开 Abstract):本文描述了一个用于消费级摄影中去除真实世界图像反射的系统。该系统在用于线性照片的 RAW 图像上运行,并接受一张可选的、朝相反方向拍摄的上下文照片(例如移动设备上的“自拍”摄像头)。这张可选照片用于消除“什么应当被视为反射”的歧义。该系统完全使用真实 RAW 照片的合成混合图像进行训练,而这些混合图像是通过具有光度和几何准确性的反射模拟方法组合得到的。该系统包含一个基础模型,它以拍摄照片和可选上下文照片作为输入,并在 256p 分辨率下运行;随后是一个上采样模型,将 256p 图像转换为全分辨率图像。该系统在 MacBook 或 iPhone 14 Pro 上能够在 4.5–6.5 秒内生成 1K 预览图像。本文展示了在野外拍摄并代表典型消费照片的 RAW 照片上的最先进结果,并表明使用 RAW 模拟数据训练所带来的性能提升超过了已有工作之间的架构差异。


- Flash-Split: 2D Reflection Removal with Flash Cues and Latent Diffusion Separation (CVPR 2025)
CVF | PDF | arXiv | Project | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):透明表面(如玻璃)会产生复杂反射,遮挡图像并影响下游计算机视觉应用。本文提出 Flash-Split,一种使用单对(可能未对齐的)闪光/无闪光图像来分离透射光和反射光的稳健框架。核心思想是在低维潜空间中迭代地执行由闪光信息引导的反射分离。具体而言,Flash-Split 包含两个阶段。第一阶段通过一个双分支扩散模型分离反射潜变量和透射潜变量,该模型以编码后的闪光/无闪光潜变量对为条件。这一阶段有效缓解了闪光/无闪光图像错位问题。第二阶段通过一个以分离前原始图像为条件的跨潜变量解码过程,为分离后的潜变量恢复高分辨率且忠实的细节。本文在具有挑战性的真实世界场景上验证 Flash-Split,并证明其显著优于现有方法。项目网页为 https://flash-split.github.io/。


- PolarFree: Polarization-based Reflection-Free Imaging (CVPR 2025)
CVF | PDF | arXiv | GitHub | [中文]

摘要翻译(严格对应公开 Abstract):由于复杂的光照相互作用,反射去除具有挑战性;反射会遮挡重要细节并阻碍场景理解。偏振天然提供了一种强有力的线索,可用于区分反射光和透射光,从而实现更准确的反射去除。然而,现有方法通常依赖小规模或合成数据集,无法捕获真实世界场景的多样性和复杂性。为此,本文构建了一个用于基于偏振的 RGB 图像反射去除的大规模数据集 PolaRGB,使我们能够训练出能够在广泛真实世界场景中有效泛化的模型。PolaRGB 数据集包含 6,500 组良好对齐的混合—透射图像对,规模是现有偏振数据集的 8 倍,并且是首个同时包含 RGB 图像和偏振图像、覆盖多样室内外环境与不同光照条件的数据集。此外,为了充分利用偏振线索在反射去除中的潜力,本文提出 PolarFree,它利用扩散过程生成无反射线索,以实现准确的反射去除。大量实验表明,PolarFree 在具有挑战性的反射场景中显著提升图像清晰度,为偏振成像和反射去除建立了新的基准。代码和数据集可在 https://github.com/mdyao/PolarFree 获取。


- ALANet: Adaptive Language-Aware Image Reflection Removal Network (IJCAI 2025)
IJCAI | PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):现有图像反射去除方法难以处理复杂反射。准确的语言描述可以帮助模型理解图像内容,以去除复杂反射。然而,由于反射图像中存在模糊和扭曲的干扰,机器生成的图像内容语言描述往往不准确,这会损害语言引导反射去除的性能。为解决这一问题,本文提出自适应语言感知网络(ALANet),即使在语言输入不准确的情况下也能去除反射。具体而言,ALANet 同时整合过滤策略和优化策略。过滤策略在保留语言优势的同时减少语言的负面影响,而优化策略增强语言特征与视觉特征之间的对齐。ALANet 还利用语言线索从特征图中解耦特定层内容,提升其处理复杂反射的能力。为评估模型在复杂反射和不同语言准确性水平下的性能,本文引入复杂反射与语言准确性变化(CRLAV)数据集。实验结果表明,ALANet 超越了最先进的图像反射去除方法。代码和数据集可在 https://github.com/fashyon/ALANet 获取。


- NTIRE 2025 Challenge on Single Image Reflection Removal in the Wild: Datasets, Methods and Results (CVPR Workshops 2025)
CVF | PDF | GitHub | Dataset | [中文]

摘要翻译(严格对应公开 Abstract):本文回顾 NTIRE 2025 野外单图像反射去除(SIRR)挑战赛。SIRR 是图像复原中的一项基础任务。尽管学术研究已经取得进展,大多数方法仍在合成图像或有限的真实世界图像上进行测试,从而在真实世界应用中形成差距。在本挑战赛中,参赛者需要处理覆盖一系列反射场景和反射强度的真实世界图像,目标是生成没有反射的干净图像。该挑战赛吸引了超过 280 个注册队伍,其中 12 支参加最终测试阶段。排名靠前的方法推进了最先进的反射去除性能,并得到了该领域五位专家的一致认可。所提出的 OpenRR 数据集可在 Hugging Face 获取,挑战赛主页位于 GitHub。


- FIRM: Flexible Interactive Reflection ReMoval (AAAI 2025)
PDF | arXiv | GitHub | [中文]

摘要翻译(严格对应公开 Abstract):由于缺乏通用的反射先验,从单幅图像中去除反射具有挑战性。尽管现有方法为了获得令人满意的性能而引入了大量用户指导,但它们通常缺乏适应不同模态用户指导的灵活性,并且密集的用户交互进一步限制了其实用性。为缓解这些问题,本文提出 FIRM,一种具有多种指导形式的灵活交互式图像反射去除新框架,用户可以提供稀疏视觉指导(例如点、框或描边)或文本描述,以获得更好的反射去除效果。首先,本文设计了一种新的用户指导转换模块(UGC),将不同形式的指导转换为统一的对比掩码。对比掩码为识别混合图像中的反射层和透射层提供显式线索。其次,本文设计了一种由新提出的对比指导交互块(CGIB)组成的对比掩码引导反射去除网络。该模块利用一种独特的交叉注意力机制,将对比掩码与图像特征融合,从而实现精确的层分离。所提出框架只需要以往交互式方法 10% 的指导时间,在灵活性方面实现了跨越式变化。在公开真实世界反射去除数据集上的大量结果验证了本文方法具有最先进的反射去除性能。代码可在 GitHub 获取。


- Rethinking Depth Guided Reflection Removal (TMM 2025)
IEEE Xplore | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库 | 中文

摘要翻译(严格对应公开 Abstract):透过玻璃拍摄时,常常会观察到反射,这会对捕获图像或视频的质量产生负面影响。本文总结并重新思考深度引导的反射去除方法,并受到人类双目视觉系统的启发,研究如何利用深度来实现有效的双目视频反射去除。本文提出一种端到端的基于学习的反射去除方法,该方法学习透射深度,并设计一个统一结构,以级联方式实现深度引导、跨视图和跨帧特征增强。在统一结构中,本文定制了不同的门控控制器,以强调特征交互的方向。本文构建了一个包含合成和真实双目混合视频的数据集,用于网络训练和测试。所提出数据集上的合成和真实数据实验结果表明,本文方法在双目视频反射去除中取得了优越性能。


- High-resolution image reflection removal by Laplacian-based component-aware transformer (Scientific Reports 2025)
Nature | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):近年来,数据驱动的深度学习图像反射去除方法取得了令人印象深刻的进展,提升了照片拍摄质量和场景理解能力。由于计算复杂度和内存使用的大量消耗,这些方法在处理高分辨率图像时性能会显著下降。此外,大多数现有反射去除方法只能通过将输入图像下采样到很低分辨率来去除反射模式,从而导致大量信息丢失。本文提出一种用于高分辨率图像反射去除的新型 Transformer 框架,称为基于拉普拉斯金字塔的组件感知 Transformer(LapCAT)。LapCAT 利用拉普拉斯金字塔网络去除高频反射模式,并在干净低频背景组件的引导下重建高分辨率背景图像。在通过逐像素对比学习得到的反射掩码引导下,LapCAT 设计了组件可分离 Transformer 块(CSTB),它通过反射感知多头自注意力机制从背景成分中去除反射模式。在多个反射去除基准数据集上的大量实验表明,LapCAT 优于现有方法,尤其是在从高分辨率图像中去除反射时表现出优异性能和高效率。


- Reflections Unlock: Geometry-Aware Reflection Disentanglement in 3D Gaussian Splatting for Photorealistic Scenes Rendering (arXiv 2025)
PDF | arXiv | Project | GitHub:暂未找到可验证的独立官方仓库 | [中文]

摘要翻译(严格对应公开 Abstract):准确渲染具有反射表面的场景仍然是新视图合成中的一项重大挑战,因为现有方法(如神经辐射场 NeRF 和 3D 高斯泼溅 3DGS)常常将反射误解为物理几何,从而导致重建退化。以往方法依赖不完整且不可泛化的几何约束,导致高斯点的位置与实际场景几何之间不对齐。在处理包含复杂几何的真实世界场景时,高斯的累积会进一步加剧表面伪影并导致模糊重建。为解决这些局限,本文提出 Ref-Unlock,一种基于 3D 高斯泼溅的几何感知反射建模新框架,它显式解耦透射和反射成分,以更好地捕获复杂反射并增强真实世界场景中的几何一致性。本文方法采用双分支表示,并利用高阶球谐函数捕获高频反射细节,同时引入一个反射去除模块,提供伪无反射监督以指导干净分解。此外,本文结合伪深度图和几何感知双边平滑约束,以增强 3D 几何一致性和分解稳定性。大量实验表明,Ref-Unlock 显著优于经典的基于高斯泼溅的反射方法,并取得与基于 NeRF 的模型具有竞争力的结果,同时支持由灵活视觉基础模型(VFM)驱动的反射编辑。因此,本文方法为反射场景的真实感渲染提供了一种高效且可泛化的解决方案。代码可在 https://ref-unlock.github.io/ 获取。


- Survey on Single-Image Reflection Removal using Deep Learning Techniques (MIPR 2025)
PDF | arXiv | DOI

摘要翻译(严格对应公开 Abstract):在本综述中,本文通过聚焦 ICCV、ECCV、CVPR、NeurIPS 等关键会议和期刊,对当前文献进行全面回顾,因为这些会议和期刊一直是该领域进展的核心。本文的综述遵循结构化的论文选择流程,并对用于反射去除的单阶段和两阶段深度学习方法进行批判性评估。本文还检查常用基准、数据集、评价指标和复现性,以突出当前评测实践中的不足。通过综合这些发现,本文指出真实世界泛化、数据稀缺以及公平评测仍然是单图像反射去除未来研究的重要挑战。


- Single Image Reflection Separation via Dual Prior Interaction Transformer (arXiv 2025)
PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应 arXiv v3 Abstract):单图像反射分离旨在从混合图像中分离透射层和反射层。现有方法通常将来自预训练模型的通用先验与文本提示、反射检测等任务特定先验相结合。然而,透射先验作为目标透射层最直接的任务特定先验,尚未被有效建模和充分利用,这限制了复杂场景中的性能。为解决这一问题,本文提出一种基于轻量级透射先验生成和有效先验融合的双先验交互框架。首先,本文设计局部线性校正网络(Local Linear Correction Network, LLCN),该网络基于物理约束 T=SI+B 对预训练模型进行微调,其中 S 和 B 分别表示逐像素和逐通道的缩放与偏置变换。LLCN 能够以极少参数高效生成高质量透射先验。其次,本文构建双先验交互 Transformer(Dual-Prior Interaction Transformer, DPIT),采用双流通道重组注意力机制。通过重组来自通用先验和透射先验的特征以进行注意力计算,DPIT 实现了两种先验的深度融合,并充分利用其互补信息。多个基准数据集上的实验结果表明,所提出方法达到最先进性能。


- OpenRR-5k: A Large-Scale Benchmark for Reflection Removal in the Wild (MIPR 2025)
PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):去除反射是计算机视觉中的一项关键任务,在摄影和图像增强中具有重要应用。然而,现有方法受到缺乏大规模、高质量和多样化数据集的限制。本文提出一种用于单图像反射去除(SIRR)的新基准。我们构建了一个大规模数据集,包含 5,300 对高质量、像素对齐的图像对,每对由一幅反射图像及其对应的干净版本组成。具体而言,该数据集分为两部分:5,000 幅图像用于训练,300 幅图像用于验证。此外,我们还加入了 100 幅没有真值(GT)的真实世界测试图像,以进一步评估反射去除方法的实际性能。所有图像对都在像素层面精确对齐,以保证准确监督。该数据集涵盖了广泛的真实世界场景,包含不同光照条件、物体类型和反射模式,并被划分为训练集、验证集和测试集,以便进行全面评估。为验证该数据集的有效性,我们训练了一个基于 U-Net 的模型,并使用 PSNR、SSIM、LPIPS、DISTS 和 NIQE 五个广泛使用的指标进行评估。我们将在 https://github.com/caijie0620/OpenRR-5k 发布数据集和代码,以促进该领域未来研究。


- OpenRR-1k: A Scalable Dataset for Real-World Reflection Removal (ICIP 2025)
PDF | arXiv | GitHub

摘要翻译(严格对应公开 Abstract):反射去除技术在摄影和计算机视觉应用中起着关键作用。然而,现有技术受到缺乏高质量野外数据集的阻碍。本文从一个新的视角提出一种新的反射数据集采集范式。我们的方法方便、低成本且可扩展,同时确保采集到的数据对具有高质量、完全对齐,并代表自然且多样的场景。按照这一范式,我们采集了一个真实世界、多样且像素对齐的数据集(命名为 OpenRR-1k 数据集),其中包含 1,000 对在野外采集的高质量透射—反射图像对。通过分析若干反射去除方法,并在我们的数据集上进行基准评测实验,本文证明了该数据集在提升挑战性真实世界环境中的鲁棒性方面的有效性。数据集可在 https://github.com/caijie0620/OpenRR-1k 获取。


- F2T2-HiT: A U-Shaped FFT Transformer and Hierarchical Transformer for Reflection Removal (ICIP 2025)
PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):单图像反射去除(SIRR)技术通过从背景中消除不需要的反射,在图像处理中发挥着关键作用。这些反射通常由透过玻璃表面拍摄照片引起,会显著降低图像质量。由于真实世界场景中的反射复杂且多样,SIRR 仍然是一个具有挑战性的问题。这些反射在图像中的强度、形状、光源、大小和覆盖区域上差异显著,给大多数现有方法有效处理所有情况带来挑战。为应对这些挑战,本文提出一种 U 形快速傅里叶变换 Transformer 和层次化 Transformer(F2T2-HiT)架构,这是一种用于 SIRR 的创新 Transformer 设计。本文方法在 UNet 框架中独特地结合了快速傅里叶变换(FFT)Transformer 块和层次化 Transformer 块。FFT Transformer 块利用全局频域信息,有效捕获并分离反射模式;层次化 Transformer 块利用多尺度特征提取来处理不同大小和复杂程度的反射。在三个公开测试数据集上的大量实验表明,本文方法取得了最先进性能,验证了其有效性。


- Single-image Reflection Removal via Self-supervised Diffusion Models (Journal of Supercomputing 2025)
Springer | PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):反射常常降低透过透明表面拍摄图像的视觉质量,而反射去除方法又受到真实世界配对样本不足的影响。本文提出一种混合方法,结合循环一致性和去噪扩散概率模型(DDPM),在不需要配对训练数据的情况下有效地从单幅图像中去除反射。该方法引入反射去除网络(RRN),利用 DDPM 对分解过程进行建模并恢复透射图像;同时引入反射合成网络(RSN),通过基于非线性注意力的机制,使用分离出的成分重新合成输入图像。实验结果证明了所提出方法在 SIR²、基于闪光的反射去除(FRR)数据集以及新引入的博物馆反射去除(MRR)数据集上的有效性,相比最先进方法表现更优。


- Single Image-Based Reflection Removal via Dual-Stream Multi-Column Reversible Encoding (Applied Sciences 2025)
MDPI | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):从单幅图像中去除反射是一个不适定问题,这是由于从单个复合观测中分离透射成分和反射成分存在固有歧义。本文通过引入可逆特征编码策略并结合简化的双流解码结构来应对这一挑战。具体而言,可逆 NAFNet 编码器使我们能够在整个编码过程中保留全部特征信息,同时避免内存开销;这对于分离重叠结构至关重要。与复杂的门控机制不同,所提出的双流解码器通过共享编码器特征和跳跃连接,在透射流和反射流之间实现隐式双向信息流。尽管没有注意力模块且计算量减少,本文模型仍然保持较强性能。在标准反射去除基准上的大量实验表明,本文方法取得了具有竞争力的结果。


- A Review on Learning Based Image Reflection Removal Algorithms (Intelligent Data Analysis 2025)
SAGE | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):透过半反射表面(如玻璃窗和透明外罩)拍摄图像,通常会导致视觉质量下降,并可能对计算机视觉算法的性能产生不利影响。因此,图像反射去除已经受到计算机视觉研究者的广泛关注。随着深度学习方法在超分辨率、图像修复和去噪等各种计算机视觉任务中的应用不断增长,卷积神经网络(CNN)已经成为图像反射去除中越来越受欢迎的选择。本文旨在对为图像反射去除而设计的基于学习的算法进行全面综述。首先,本文概述该领域的关键术语和基本背景概念。接着,本文考察各种数据集和数据合成方法,以帮助研究者根据其具体需求和目标选择最合适的选项。随后,本文结合定性和定量结果回顾现有方法,突出它们在该领域中的贡献和意义。最后,本文讨论图像反射去除技术中的挑战和未来范围。


- A Wavelet-Guided Deep Unfolding Network for Single Image Reflection Removal (IEEE TIP 2025)
IEEE Xplore | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):从图像中去除不需要的反射是低层计算机视觉中的一个基础但具有挑战性的问题。近年来,基于深度学习的单图像反射去除(SIRR)方法取得了显著进展。然而,从透射内容中分离反射仍然困难,尤其是在两者具有高度视觉相似性的复杂场景中。通过仔细分析,本文发现反射主要存在于图像的高频成分中。这些反射倾向于扭曲高频范围内的细微细节,而低频信息相对受到较少影响。这一观察促使本文通过利用离散小波变换(DWT)来探索一种频率感知的 SIRR 方法。小波分解使我们能够在频域中区分并隔离反射伪影,同时保留透射信息。基于这一见解,本文提出一种新的小波引导深度展开网络(WDUNet),利用小波分解和深度展开技术的优势来提升 SIRR 的可解释性和泛化能力。具体而言,本文使用 DWT 和卷积字典构建了一个基于优化的反射去除模型。所提出模型通过近端梯度算法进行优化,并随后展开为神经网络架构,其中所有参数都在训练过程中端到端学习。通过将小波域分析与深度展开结合,WDUNet 同时增强了 SIRR 方法的可解释性和泛化能力。此外,本文设计并将低频参数估计模块(LPEM)和高频参数估计模块(HPEM)集成到 WDUNet 中,使网络能够自动学习并优化模型的超参数。在四个基准数据集上的大量实验表明,WDUNet 在客观评价指标和主观视觉质量上都持续优于现有最先进方法。


- Several Points Are All It Takes: Saluting User-Assisted Single Image Reflection Removal (IEEE Signal Processing Letters 2025)
PDF/预印本:暂未找到公开直链 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):反射去除对于摄影、目标检测和增强现实等应用至关重要。与多图像方法相比,单图像反射去除(SIRR)具有更大的灵活性和适用性,因此非常适合实时场景。然而,强反射会遮挡透射层的大部分区域,限制现有方法的性能。本文提出一种新的用户辅助 SIRR 方法,其中用户通过选择被遮挡物体的类别和位置来进行标注。这为引导准确的透射层恢复提供了关键语义信息。此外,本文设计了一种混合 CNN-Transformer 网络,利用局部特征提取和全局上下文建模来应对强反射挑战。强反射数据集上的实验表明,本文方法有效提升了透射层恢复效果,并在多个指标上优于现有先进方法。


- Real-World Image Reflection Removal: An Ultra-High-Definition Dataset and an Efficient Baseline (IEEE TCSVT 2025)
IEEE Xplore | arXiv:暂未找到公开版本 | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):反射去除是图像重建中的一个关键问题,尤其对于高清图像而言更是如此。去除不需要的反射可以极大提升各种视觉系统的性能,例如医学成像、自动驾驶和安全监控。然而,现有反射去除数据集分辨率不高,训练数据严重依赖合成数据,这阻碍了反射去除方法的性能,并限制了面向高清图像的有效技术发展。因此,本文引入一个新的数据集,即真实世界 4K 反射去除(Real-world Reflection Removal in 4K,RR4K)。这个新数据集容量大、分辨率高达 6000×4000 像素,代表了该领域的重要进展,并确保了一个真实且高质量的基准。此外,基于该数据集,本文提出一种针对高清处理优化的高效单图像反射去除方法。该方法采用 U-Net 架构,并通过大核蒸馏和尺度感知特征进行增强,使其能够在降低计算需求的同时有效处理复杂反射场景。在 RR4K 数据集和现有低分辨率数据集上的综合测试表明,本文方法具有更优的效率和有效性。本文认为,所构建的 RR4K 数据集能够更好地评估和设计用于真实世界高清图像中去除不需要反射的算法。数据集和代码可在 GitHub 获取。


- Exploring Spectral Characteristics for Single Image Reflection Removal (arXiv 2025)
PDF | arXiv | GitHub:暂未找到官方仓库

摘要翻译(严格对应公开 Abstract):消除由入射光与反射介质相互作用所造成的反射,在图像复原领域中仍然是一个不适定问题。主要挑战来自捕获图像中反射成分和透射成分的重叠,这使得准确区分并恢复干净背景的任务变得复杂。现有方法通常仅在图像域中处理反射去除,忽略了反射光的光谱属性变化,这限制了它们有效辨别反射的能力。本文从光谱学习的新视角出发,提出 Spectral Codebook 来重建反射图像的光学光谱。通过感知光谱中不同光源之间的波长差异,可以有效地区分反射。为了利用重建的光谱,本文设计了两个光谱先验细化模块,分别在空间维度上重新分配像素,并沿波长维度自适应增强光谱差异。此外,本文提出 Spectrum-Aware Transformer,在光谱域和像素域中联合恢复透射内容。在三个不同反射基准上的实验结果表明,与最先进模型相比,本文方法具有优越性和泛化能力。


- Pixel-wise Single Image Reflection Removal Method Based on Reinforcement Learning (ICME 2025)
IEEE Computer Society

摘要片段翻译(公开页面仅检索到片段,暂未找到完整公开 Abstract):具体而言,本文将图像反射去除过程形式化为一个序列决策过程,并逐像素地去除单图像反射。


2024

- PromptRR: Diffusion Models as Prompt Generators for Single Image Reflection Removal, (arXiv 2024)
[PDF] | arXiv | GitHub

摘要翻译(已找到公开摘要):现有使用深度学习的单图像反射去除(SIRR)方法往往会遗漏图像中关键的低频(LF)和高频(HF)差异,从而影响其去除反射的有效性。为解决这一问题,本文提出一种新的提示引导反射去除框架 PromptRR,该框架使用频率信息作为新的视觉提示,以获得更好的反射去除性能。具体而言,所提出的框架将反射去除过程解耦为提示生成和后续的提示引导恢复。对于提示生成,作者首先提出一种提示预训练策略,用于训练频率提示编码器,将真值图像编码为低频和高频提示。随后,作者采用扩散模型(DMs)作为提示生成器,生成由预训练频率提示编码器估计的低频和高频提示。对于提示引导恢复,作者将专门生成的提示集成到 PromptFormer 网络中,并采用一种新的基于 Transformer 的提示块,有效引导模型实现增强的反射去除。常用基准上的结果表明,该方法优于最先进方法。代码和模型可在 https://github.com/TaoWangzj/PromptRR 获取。


- A Closer Look at the Reflection Formulation in Single Image Reflection Removal, (IEEE TIP 2024)
PDF | [arXiv] | [GitHub] | 中文

摘要翻译(已找到公开摘要):如何建模反射效应对于单图像反射去除(SIRR)任务至关重要。现代 SIRR 方法通常使用透射层和反射层线性组合的假设来简化反射成像公式。然而,图像内容的大幅变化和真实世界拍摄条件通常会产生复杂得多的反射。本文引入一种新的 screen-blur 组合,该组合基于两个重要因素,即反射的强度和模糊程度,以更好地刻画 SIRR 中的反射成像公式。具体而言,本文提出 Screen-blur Reflection Networks(SRNet),该网络在其设计中执行 screen-blur 公式,并适应真实场景中的复杂反射。从技术上讲,SRNet 由三个组件组成:混合图像生成器、反射估计器和反射去除模块。图像生成器利用 screen-blur 组合合成训练用混合图像。反射估计器学习反射层以及度量反射模糊程度的模糊度。反射去除模块进一步以级联方式使用混合图像、模糊度和反射层来筛选出透射层。


- Language-guided Image Reflection Separation, (CVPR 2024)
PDF | arXiv | [GitHub]

摘要翻译(已找到公开摘要):本文研究语言引导的反射分离问题,其目标是通过引入语言描述来提供层内容,从而解决不适定的反射分离问题。作者提出一个统一框架来解决该问题,该框架利用交叉注意力机制和对比学习策略来构建语言描述与图像层之间的对应关系。为处理可识别层歧义问题,作者采用了门控网络设计和随机化训练策略。定量和定性比较结果表明,所提方法相对于现有反射分离方法具有显著性能优势,从而验证了其有效性。


- Revisiting Single Image Reflection Removal In the Wild, (CVPR 2024)
PDF | arXiv | GitHub

摘要翻译(已找到公开摘要):本研究聚焦真实世界条件下的单图像反射去除(SIRR)问题,并从两个角度对其进行考察:真实反射图像对的采集流程,以及真实反射位置的感知。作者设计了一种先进的反射采集流程,该流程能够高度适应广泛的真实世界反射场景,并降低大规模对齐反射图像对的采集成本。在此过程中,作者构建了一个名为 Reflection Removal in the Wild(RRW)的大规模、高质量反射数据集。RRW 包含超过 14,950 对高分辨率真实世界反射图像对,其规模是先前数据集的 45 倍。关于反射位置感知,作者发现许多在反射图像中可见的虚拟反射物体并不存在于对应的真值图像中。基于从对齐图像对中得到的这一观察,作者提出最大反射滤波器(MaxRF)。MaxRF 能够从图像对中准确且显式地刻画反射位置。在此基础上,作者设计了一种反射位置感知的级联框架,专门用于 SIRR。借助这些创新技术,所提出方案在多个真实世界基准上取得了优于当前领先方法的性能。代码和数据集将公开发布。

RTX 4090
DatasetPSNRSSIM
Real21.92530.7881
Postcard24.28540.8869
Solidobject26.89030.9253
Wild26.82040.9101
Nature26.14420.8455
Overall25.60200.8993

- Single Image Reflection Separation via Dual-Stream Interactive Transformers, (NeurIPS 2024)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开摘要):尽管先前的双流方法在单图像反射分离的“简单”样例上取得了令人满意的结果,但在面对复杂样例时仍然出现明显性能下降,即透射层与具有宽空间强度分布的反射层密集纠缠。主要原因在于交互过程中缺乏对特征相关性的关注,以及感受野有限。为弥补这些不足,本文提出一种双流交互 Transformer(DSIT)设计。具体而言,作者设计了一种双注意力交互结构,其中包含双流自注意力和层感知双流交叉注意力机制,以同时捕获层内和层间特征相关性。同时,引入注意力机制也可以缓解感受野限制。作者通过跨架构交互,使用双流卷积特征调制单流预训练 Transformer 嵌入,以提供更丰富的语义先验,从而进一步缓解该问题的不适定性。大量实验结果显示,所提出的 DSIT 相较于其他最先进替代方法具有优势。代码公开于 https://github.com/mingcv/DSIT。

RTX 4090
DatasetPSNRSSIM
Real25.18540.8339
Postcard26.38380.9254
Solidobject26.87330.9252
Wild27.90130.9230
Nature26.67510.8470
Overall26.71420.9182

- L-DiffER: Single Image Reflection Removal with Language-Based Diffusion Model, (ECCV 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):在本文中,作者介绍 L-DiffER,这是一种为不适定的单图像反射去除任务设计的基于语言的扩散模型。尽管现有基于语言的扩散模型在图像生成方面表现令人印象深刻,但在图像恢复中难以实现精确控制和忠实性。为克服这些限制,作者提出一种迭代条件细化策略,以解决控制条件不准确的问题。作者采用多条件约束机制来确保图像颜色和结构的恢复忠实性,同时保留处理低透射反射的生成能力。大量实验证明了所提方法的优越性,展示了其相较于现有方法在定量和定性方面的改进。


- Reflection Intensity Guided Single Image Reflection Removal and Transmission Recovery, (IEEE TMM 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):单图像反射去除(SIRR)旨在消除由透明或光滑表面反射造成的不需要的干扰,并获得清晰透射层的估计。现有数据驱动方法通常依赖于将观测图像分解为透射层和反射层,这忽略了带反射图像的物理生成原理,因此会导致不理想的结果,尤其是在强反射区域。为解决这一问题,在本文中,作者从物理角度分析反射图像的成像过程,并得出结论:反射层的物理量——照度——决定反射强度。随后,作者提出一种用于反射去除和透射恢复的两阶段反射强度引导网络(RINet)。第一阶段的关键在于并行模块,它们生成反射强度图和透射层。在第二阶段,除了利用该强度图作为引导外,作者还额外计算梯度场作为另一种先验,以促进最终的反射去除。具体而言,作者设计了一个双流联合学习模块(JLM),由透射恢复分支和梯度优化分支组成,通过利用透射特征和梯度特征之间的交互来联合优化图像结构和细节。特别地,在反射强度图的引导下,透射恢复分支能够动态地聚焦于去除反射。借助这一两阶段框架,RINet 构成了一个分而治之的过程,以实现有效的透射恢复和反射去除。公共数据集上的实验结果表明,所提出方法优于近期最先进方法。


- Hue Guidance Network for Single Image Reflection Removal, (IEEE TNNLS 2024)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开摘要):在本文中,作者提出一种用于单图像反射去除(SIRR)的双分支色调引导网络(HGNet),该网络整合图像信息及其对应的色调信息。图像信息和色调信息之间的互补性尚未受到关注。这一想法的关键在于,作者发现色调信息能够很好地描述反射,因此可作为针对特定 SIRR 任务的优越约束。相应地,第一个分支通过直接估计色调图来提取显著反射特征。第二个分支利用这些有效特征,这些特征有助于定位显著反射区域,从而获得高质量的恢复图像。此外,作者设计了一种新的循环色调损失,为网络训练提供更准确的优化方向。实验从定性和定量两方面证明了该网络相较于最先进方法的优越性,尤其体现出其对各种反射场景的优秀泛化能力。源代码可在 https://github.com/zhuyr97/HGRR 获取。

RTX 4090
DatasetPSNRSSIM
Real23.78210.8178
Postcard23.85130.9004
Solidobject25.10900.9020
Wild27.04770.8999
Nature25.51370.8270
Overall24.78090.8947

- Polarized Reflection Removal with Dual-Stream Attention Guidance, (Pattern Recognition 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):解决透过玻璃表面拍摄图像中的反射去除挑战,在多种实际应用中具有重要意义。现有方法通常由于依赖中间预测或特殊约束而效果不足,并会产生不期望的伪影。本文通过认识到背景与反射之间的内在相关性来处理这一问题。利用偏振图像的独特光学特性,作者提出一种带有特征注意力引导的双流反射去除网络。该模型以多通道偏振图像作为输入,利用透射光和反射光的光学特性来处理该不适定问题。作者的双流结构同时预测反射图像和透射图像,利用这两个元素之间的独特关系。


- R2SFD: Improving Single Image Reflection Removal using Semantic Feature Dictionary (ACM MM 2024)
ACM | OpenReview | GitHub

摘要翻译(已找到公开摘要):单图像反射去除是一个严重不适定的问题,很难分离期望的透射层和不期望的反射层。大多数现有单图像反射去除方法试图通过利用仅从给定输入图像中提取的线索来恢复透射层。然而,以数百万张公开可用的无反射图像形式存在的大量信息尚未被利用。尽管这些信息很容易获得,但将其有效用于去除反射并非易事。本文提出一种新方法,称为 R2SFD,即使用由无反射图像数据库构建的语义特征字典(SFD)来改进单图像反射去除。SFD 使用一种新的反射感知特征提取器(RAFENet)构建,该提取器能够提取对反射存在具有不变性的特征。随后,SFD 和输入图像被传入另一个新的网络 SFDNet。该网络首先从受反射污染的输入图像中提取 RAFENet 特征,在 SFD 中搜索相似特征,并转移语义内容以生成最终输出。为进一步改进反射去除,作者还引入了一个大规模反射去除(LSRR)数据集,包含 2,650 对图像,覆盖多种真实世界反射场景。在真实公开数据集以及作者的 LSRR 数据集上,与最先进的单图像反射去除方法相比,所提出方法在定性和定量方面均取得了更优结果。作者将在 https://github.com/ee19d005/r2sfd 发布该数据集。


- DURRNET: Deep Unfolded Single Image Reflection Removal Network with Joint Prior, (ICASSP 2024)
PDF | arXiv | GitHub

摘要翻译(已找到公开摘要):单图像反射去除问题旨在将一张受反射污染的图像分解为透射图像和反射图像。它是一个典型的盲源分离问题,并且高度不适定。在本文中,作者提出一种名为深度展开单图像反射去除网络(DURRNet)的新型深度架构,尝试结合基于模型和基于学习两种范式的最佳特性,从而得到更具可解释性的深度架构。具体而言,作者首先提出一种带有基于变换排斥先验的模型驱动优化问题,然后设计一种迭代算法,并为求解每个子问题给出简单的闭式解。借助深度展开技术,作者构建 DURRNet,其中包含用于建模自然图像先验的 ProxNets,以及由可逆网络构建、用于施加排斥先验的 ProxInvNets。在常用数据集上的全面实验结果表明,所提出的 DURRNet 在视觉和定量方面均达到最先进结果。


- Deep Variational Inference Network for Single Image Reflection Removal, (IEEE TETCI 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):从带有不期望反射的图像中去除反射,是低层视觉中一个具有挑战性且不适定的问题。近年来,已有若干深度学习方法被提出用于处理单图像反射去除(SIRR)任务。然而,这些方法没有充分利用反射的基本图像先验,并且缺乏可解释性。在本文中,作者提出一种用于 SIRR 问题的深度变分推理反射去除(VIRR)方法,该方法具有良好的可解释性和泛化能力。基于所提出的 VIRR 方法,潜在透射图像和反射图像的后验分布可以通过变分推理并使用深度神经网络联合估计。此外,所提出的网络框架可以通过由边缘数据似然的变分下界目标产生的透射图像和反射图像的数据驱动先验进行监督训练。大量主观和客观评估表明,所提出方法在四个基准数据集上优于先前最先进方法。


- Spatio-Temporal Multi-Image Reflection Removal, (IEEE SPL 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要片段):在本文中,作者提出一种精确算法,通过利用时间和空间先验从两张图像中消除反射。对于时间先验,作者计算两张输入受反射污染图像中反射层之间的运动信息。不同于许多流行的多图像反射去除方法,所提出算法并不假设两张输入图像是在相似光照条件和相同相机设置下拍摄的。


- Fast Single Image Reflection Removal Using Multi-Stage Scale Space Network, (IEEE Access 2024)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):然而,使用单一网络来处理不同类型的反射并不十分有效。此外,这些方法计算成本也较高,难以部署在智能手机等资源受限设备上。为解决这些挑战,作者提出一种位于尺度空间框架内的多阶段单图像反射去除流程,用以分别处理低透射反射和高透射反射。具体而言,作者将通常遮挡期望背景的低透射反射去除视为一个图像修复问题,而使用传统技术处理高透射反射。作者在一种轻量化的尺度空间架构内,为这些类型的反射使用专门网络,该架构能够从超高分辨率图像中去除反射。


- Single image reflection removal via self-attention and local discrimination, (The Visual Computer 2024)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开摘要):在实际场景中,反射可能损害图像的视觉质量,并对人类感知以及后续计算机视觉任务产生负面影响。由于反射内容具有多样性且常与背景目标混合,从图像中去除反射面临相当大的挑战。为解决这一问题,本文提出一种基于自注意力和局部判别的单图像反射去除方法。通过利用自注意力机制建模特征图之间的相互关系,所提出方法能够根据输入内容自适应地重新加权每个特征,从而有利于反射分离。为进一步改进,作者从局部统计中生成缩放方差图,并将其用于局部判别损失,以保证局部区域内的一致性。实验比较证明了所提出方法在单图像反射去除中的有效性和优越性。相关代码发布于 https://github.com/HighColdMan/SIRR_SALD。


- Utilizing Multi-Step Loss for Single Image Reflection Removal (IEEE AICCSA 2024)
IEEE Xplore | arXiv | GitHub

摘要翻译(已找到公开摘要):图像反射去除对于恢复图像质量至关重要。失真图像可能会对目标检测和图像分割等任务产生负面影响。在本文中,作者提出一种使用单张图像进行图像反射去除的新方法。作者没有将重点放在模型架构上,而是引入一种新的训练技术,该技术可以推广到输入和输出在性质上相似的图像到图像问题。该技术体现在作者的多步损失机制中,并已被证明在反射去除任务中有效。此外,作者通过使用 Pix2Pix GAN 合成一个名为 RefGAN 的高质量非线性合成数据集,来解决反射去除训练数据稀缺的问题。该数据集显著增强了模型学习更好反射去除模式的能力。作者还利用从环境图像的深度估计中提取的范围深度图作为辅助特征,利用其不包含反射深度估计的属性。所提出方法在 SIR^2 基准和其他真实世界数据集上表现优越,通过超过其他最先进模型证明了其有效性。

2023

- Single Image Reflection Separation via Component Synergy, (ICCV 2023)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):真实世界中的反射叠加现象复杂且分布广泛,由此衍生出该问题的各种简化线性和非线性公式。本文基于对现有模型弱点的考察,通过引入可学习残差项,提出一种更通用的叠加模型形式,该项能够在分解过程中有效捕获残差信息,引导分离出的图层保持完整。为了充分利用其优势,我们进一步精心设计了网络结构,包括一种新的双流交互机制,以及一个带有语义金字塔编码器的强大分解网络。大量实验和消融研究验证了我们的方法在多个真实世界基准数据集上优于最先进方法。我们的代码公开于 https://github.com/mingcv/DSRNet。

RTX 4090
DatasetPSNRSSIM
Real23.84550.8091
Postcard24.72250.9147
Solidobject26.88100.9226
Wild27.03830.9145
Nature25.26810.8356
Overall25.84080.9104

- Missing Recovery: Single Image Reflection Removal Based on Auxiliary Prior Learning, (IEEE TIP 2023)
PDF | [arXiv] | [GitHub]

摘要片段翻译(公开页面仅检索到 Abstract 片段,严格对应已检索片段):透过玻璃窗拍摄的照片容易受到反射造成的干扰。因此,单图像反射去除对于图像质量增强至关重要。本文提出一种能够处理这一不适定问题的新型学习架构。首先,本文设计了一种新的反射去除流程,使用所提出的缺失恢复网络来重建由相机成像过程造成的缺失信息。其次,为了解决现有反射去除策略中的问题,本文重新审视若干辅助先验,并通过定义一个能量函数将它们整合起来。为求解该能量函数,本文提出一种基于卷积神经网络的优化方案。最后,本文研究了反射图像和干净图像的暗通道响应,并发现了一种区分这两类图像的有趣方式。


- Single Image Reflection Removal From Glass Surfaces Via Multi-Scale Reflection Detection, (IEEE TCE 2023)
PDF | [arXiv] | GitHub

摘要片段翻译(公开页面仅检索到 Abstract 片段,严格对应已检索片段):当人们使用智能手机或数码相机等消费级成像设备透过玻璃表面拍照时,所拍摄图像中玻璃表面的反射无法避免。反射不仅影响所拍摄图像的审美感知,也会降低后续任务的性能。本文提出一种名为 MRDNet 的反射去除网络,其中包含一种新的多尺度反射检测器,用于前景反射检测;同时包含一种新的多尺度反射感知透射恢复(Multi-scale Reflection-aware Transmission Recovery, MRTR)模块,用于背景透射层恢复。我们的 MRDNet 主要包含三个模块。首先,引入两个并行的特征提取模块,分别称为反射提取器(Reflection Extractor, R-Extractor)和透射提取器(Transmission Extractor, T-Extractor),二者分别从输入图像中提取前景反射层特征,以及被反射污染的背景透射层特征。随后,提出多尺度反射感知透射恢复(MRTR)模块,用于恢复背景透射层的纹理细节。为学习我们的网络,本文还提出一个大规模 3D 虚拟世界、基于物理渲染的反射去除(Physical Rendering-based Reflection Removal, PRGR)数据集。


- Personalized Single Image Reflection Removal Network through Adaptive Cascade Refinement, (ACM MM 2023)
PDF | [arXiv] | [GitHub]

摘要片段翻译(公开页面仅检索到 Abstract 片段,严格对应已检索片段):本文旨在从一张透过玻璃拍摄的、受反射污染的单幅图像中恢复无反射图像。为克服这些限制,作者提出一种通过自适应级联细化实现的个性化单图像反射去除网络(Personalized single-image reflection removal Network through Adaptive Cascade Refinement, PNACR)。该方法基于元学习和自监督学习。


- Two-stage single image reflection removal with reflection-aware guidance, (Applied Intelligence 2023)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从透过玻璃表面拍摄的图像中去除不需要的反射,是一个具有许多实际应用场景的极具挑战性的问题。为改善反射去除,级联深度模型通常被用于以渐进方式估计透射层。然而,大多数现有方法在利用前一阶段的结果来指导透射层估计方面仍然有限。本文提出一种用于单图像反射去除(SIRR)的新型两阶段网络,并带有反射感知引导(reflection-aware guidance, RAGNet)。具体而言,由于反射层通常更简单且相对更容易估计,方法首先估计反射层。随后,本文精心设计反射感知引导(RAG)模块,以便更好地利用已估计的反射来预测透射层。通过整合来自已估计反射和观测图像的特征图,RAG 可以用于:(i)减弱观测图像中反射的影响;(ii)在部分卷积中生成掩码,以减弱偏离线性组合假设所带来的影响。本文进一步提出专门的掩码损失,用于协调编码器特征和解码器特征的贡献。在五个常用数据集上的实验表明,与最先进的 SIRR 方法相比,我们的 RAGNet 在定量和定性方面均具有优越性。源代码和预训练模型可在 https://github.com/liyucs/RAGNet 获取。


- Single Image Reflection Removal with Patch Reflectance Prior, (arXiv 2023) (Preprint;arXiv v2 题名更新)
[PDF] | arXiv | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):真实世界图像中的单图像反射去除(Single Image Reflection Removal, SIRR)是一项具有挑战性的任务,因为光在玻璃表面传播和反射过程中会出现多样化的图像退化。许多现有方法依赖特定的先验假设来解决该问题。本文提出一种通用的反射强度先验,用于捕获反射现象的强度,并展示其有效性。为学习反射强度先验,我们引入反射先验提取网络(Reflection Prior Extraction Network, RPEN)。通过将图像划分为区域块,RPEN 学习图像中非均匀分布的反射先验。我们提出基于先验的反射去除网络(Prior-based Reflection Removal Network, PRRN),该网络使用一种简单的 Transformer U-Net 架构,并适配来自 RPEN 的反射先验。在真实世界基准上的实验结果表明,我们的方法在 SIRR 中达到最先进的准确率,验证了该方法的有效性。


- Robust Single Image Reflection Removal Against Adversarial Attacks, (CVPR 2023)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文研究面向对抗攻击的鲁棒深度单图像反射去除(SIRR)问题。当前基于深度学习的 SIRR 方法会由于输入图像上难以察觉的失真和扰动而出现显著性能下降。为了进行全面的鲁棒性研究,我们首先针对 SIRR 问题进行多种对抗攻击,即面向不同的攻击目标和区域。随后,我们提出一种鲁棒 SIRR 模型,该模型集成交叉尺度注意力模块、多尺度融合模块和对抗图像判别器。通过利用多尺度机制,该模型缩小了干净图像和对抗图像特征之间的差距。图像判别器能够自适应地区分干净输入或含噪输入,从而进一步获得可靠的鲁棒性。在 Nature、SIR² 和 Real 数据集上的大量实验表明,我们的模型显著提升了 SIRR 在不同场景下的鲁棒性。


- Unsupervised Single-Image Reflection Removal (IEEE TMM 2023)
IEEE Xplore

摘要翻译(已找到公开 Abstract,严格对应):反射常常通过遮挡背景场景而降低图像质量。这对日常用户来说并不理想,也会对处理带反射图像的多媒体应用的性能产生负面影响。当前大多数反射去除方法使用监督学习模型。这些模型需要大量同一场景中带反射和不带反射的图像对才能表现良好。然而,收集这类图像对既困难又昂贵。因此,当前大多数监督模型都是在小规模数据集上训练的,无法覆盖真实生活中带反射图像的众多可能性。本文提出一种用于单图像反射去除的无监督方法。与从大规模数据集中学习不同,我们在目标图像上优化两个交叉耦合的深度卷积神经网络的参数,以生成两个互斥的背景层和反射层。具体而言,我们设计一种网络模型,将从输入图像中提取的语义特征嵌入其中,并利用这些特征来分离背景层和反射层。通过在基准数据集上的客观和主观研究,我们表明所提出的方法显著优于文献中的现有方法。该方法不需要大规模数据集进行训练,能够从单幅图像中去除反射,并且不会对输入图像施加不切实际的约束。


- PAR²Net: End-to-End Panoramic Image Reflection Removal (IEEE PAMI 2023)
IEEE Computer Society | PDF

摘要翻译(已找到公开 Abstract,严格对应):本文研究全景图像反射去除问题,旨在缓解反射层与透射场景之间的内容歧义。虽然在全景图像中能够获得反射场景的部分视图,并且该视图为反射去除提供了额外信息,但由于其与受反射污染的图像存在错位,直接利用这部分信息来去除不需要的反射并非易事。我们提出一个端到端框架来解决这一问题。通过使用自适应模块解决错位问题,可以实现反射层和透射场景的高保真恢复。我们进一步提出一种新的数据生成方法,该方法考虑了混合图像的基于物理的形成模型以及相机内动态范围裁剪,以缩小合成数据与真实数据之间的域差距。


2022

- Single Image Reflection Removal Based on Bi-Channels Prior, (ICIP 2022)
PDF | [arXiv] | [GitHub]

摘要翻译(未找到公开完整 Abstract,不作翻译):已检索到该论文题名、作者、会议与 DOI 信息,但未核到可公开查看的完整英文 Abstract。按要求,此处不使用概括性摘要替代。


- Single Image Reflection Removal Based on Knowledge-Distilling Content Disentanglement, (IEEE Signal Processing Letters 2022)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):当我们透过透明介质(例如玻璃)拍摄图片时,反射可能会不期望地出现,从而遮挡我们想要捕捉的场景。因此,去除反射在图像复原中具有实用意义。然而,与玻璃后的场景混合在一起的反射场景难以被分离,被认为是显著不适定的。本文通过提出一种基于知识蒸馏的内容解耦模型来处理单图像反射去除(SIRR)问题,该模型能够有效地分解透射层和反射层。在基准 SIRR 数据集上的实验表明,本文方法相较于最先进的 SIRR 方法表现更优。


- FIPHN: Feature-Integrated Patch-Hierarchical Network for Single Image Reflection Removal, (ICPR 2022)
PDF | [arXiv] | [GitHub]

摘要翻译(未找到公开完整 Abstract,不作翻译):已检索到 IEEE Computer Society 页面中的摘要片段,但未核到可公开查看的完整英文 Abstract。按要求,此处不使用概括性摘要替代。


- Single-Image Reflection Removal Using Deep Learning: A Systematic Review, (IEEE Access 2022) (Survey Paper)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃捕获的图像通常包含不需要的镜面反射。这些在玻璃前方被检测到的反射会显著降低玻璃后方场景的质量和可见性。从透过玻璃拍摄的图像中去除反射的过程在计算机视觉项目中具有许多重要应用。近年来,基于深度学习的方法被广泛用于反射去除。本文提出一项系统性文献综述,主题是 2015 年至 2021 年间发表的、使用深度学习方法进行单图像反射去除的研究。本文从五个不同的在线数据库和数字图书馆中提取了总计 1600 篇研究论文,包括 IEEE Xplore、Google Scholar、Science Direct、SpringerLink 和 ACM Digital Library。在遵循研究选择流程之后,最终选择了 25 篇研究论文用于本系统性综述。随后,本文分析所选研究论文,以回答本文提出的 7 个关键研究问题,从而全面探索深度学习和神经网络在单图像反射去除中的使用。阅读本文后,未来研究者将能够对该研究领域形成扎实认识,并能够开展自己的研究。本文提出的系统性综述所提供的结果展示了该领域研究者遇到的主要挑战,并为未来研究工作推荐了有鼓励意义的方向。本综述还将帮助研究者发现可访问的数据集,这些数据集可作为基准,用于将其提出的深度学习技术与该研究领域中的其他研究进行比较。


- A Categorized Reflection Removal Dataset with Diverse Real-world Scenes (CVPR Workshops 2022)
arXiv | Project

摘要翻译(已找到公开 Abstract,严格对应):由于缺乏具有多样真实场景的大规模反射去除数据集,许多现有反射去除方法是在合成数据加少量真实世界数据上训练的,这使得全面评估不同反射去除方法的优缺点变得困难。此外,现有真实世界基准和数据集没有根据反射的类型和外观(例如平滑度、强度)对图像数据进行分类,因此难以分析反射去除方法。为此,本文构建了一个新的反射去除数据集,该数据集具有分类性、多样性和真实性,称为 CDR。本文使用基于 RAW 数据的流程来采集完全对齐的输入图像和透射图像。该数据集使用不同环境下的多种玻璃类型构建,以确保多样性。通过分析若干反射去除方法,并在本文数据集上进行大量实验,本文表明最先进的反射去除方法通常在模糊反射上表现良好,但在其他类型的真实世界反射上无法获得令人满意的性能。本文认为,该数据集可以帮助开发更好地去除真实世界反射的新方法。


- Content and Gradient Model-driven Deep Network for Single Image Reflection Removal (ACM MM 2022)
ACM | University page

摘要翻译(已找到公开 Abstract,严格对应):单图像反射去除(SIRR)是一个极具挑战性的不适定问题,并具有许多应用场景。近年来,已经提出大量基于深度学习的方法,用于从单幅输入图像中去除不需要的反射。然而,这些方法缺乏可解释性,并且没有充分利用反射图像的内在物理结构。本文提出一种用于单图像反射去除的内容与梯度引导深度网络(CGDNet),它是一种完全可解释的模型驱动网络。首先,利用多尺度卷积字典,本文设计了一种新的单图像反射去除模型,该模型结合了图像内容先验和梯度先验信息。然后,基于近端梯度技术的优化算法对该模型进行优化,并将其展开为一个神经网络,即 CGDNet。CGDNet 的所有参数都可以通过端到端训练自动学习。此外,本文在 CGDNet 中引入反射检测模块,以获得概率置信图,并确保网络关注反射区域。在四个基准数据集上的大量实验表明,CGDNet 在主观和客观评价方面都比最先进方法更有效。代码可在 https://github.com/zynwl/CGDNet 获取。


- Semantic Guided Single Image Reflection Removal (ACM TOMM 2022)
ACM | University page

摘要翻译(已找到公开 Abstract,严格对应):当我们透过玻璃窗观察时,反射很常见,它不仅是一种视觉干扰,也会影响计算机视觉算法的性能。然而,从单幅图像中去除反射是高度不适定的,因为每个像素处的颜色需要被分离为分别属于清晰背景和反射的两个值。为了解决这个问题,现有方法使用额外先验,例如反射层平滑性、双重反射效应和颜色一致性,以区分这两个层。然而,这些低层先验在真实情形中可能并不总是有效。本文受到人类能够通过识别物体和理解场景而轻松分离这两个层这一事实的启发,提出使用物体语义线索这种高层信息作为指导来帮助反射去除。基于数据分析,本文开发了一种具有语义引导组件的多任务端到端深度学习方法,用于联合解决反射去除和语义分割问题。在不同数据集上的大量实验表明,使用面向对象的高层信息可以带来显著性能提升。本文还展示了该方法在其他计算机视觉任务中的应用。


2021

- Robust Reflection Removal With Reflection-Free Flash-Only Cues, (CVPR 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种简单但有效的无反射线索,用于从一对闪光图像和环境光(无闪光)图像中进行鲁棒反射去除。该无反射线索利用在 RAW 数据空间中由闪光图像减去对应环境光图像得到的 flash-only 图像。flash-only 图像等价于在黑暗环境中仅打开闪光灯拍摄的图像。作者观察到,这种 flash-only 图像在视觉上基本无反射,因此能够为推断环境光图像中的反射提供鲁棒线索。由于 flash-only 图像通常包含伪影,本文进一步提出一个专门模型,不仅利用无反射线索,而且避免引入伪影,从而有助于准确估计反射层和透射层。在包含多种反射类型的真实世界图像上的实验表明,带有无反射 flash-only 线索的模型是有效的:该模型相比最先进反射去除方法在 PSNR 上提升超过 5.23 dB,在 SSIM 上提升 0.04,在 LPIPS 上提升 0.068。源代码和数据集已公开。


- Single Image Reflection Removal with Absorption Effect, (CVPR 2021)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文针对单图像反射去除问题考虑吸收效应。作者表明,吸收效应可以通过折射振幅系数图的平均值进行数值近似。随后,本文重新表述图像形成模型,并提出一种显式考虑吸收效应的两步解决方案。第一步从反射污染图像中估计吸收效应,第二步以反射污染图像和估计得到的吸收效应作为输入恢复透射图像。在四个公开数据集上的实验结果表明,该两步解决方案不仅能够成功去除反射伪影,而且能够忠实恢复由吸收效应造成的强度失真。消融研究进一步表明,该方法在整体强度恢复方面取得了更优性能,并具有良好的模型泛化能力。


- Location-aware Single Image Reflection Removal, (ICCV 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种新的基于深度学习的位置感知单图像反射去除方法。该网络包含一个反射检测模块,以多尺度拉普拉斯特征作为输入,回归概率反射置信图。该概率图用于判断一个区域是反射主导还是透射主导,并作为网络在预测反射层和透射层时控制特征流的线索。作者将网络设计为循环网络,在每次迭代中逐步细化反射去除结果。该方法的新颖性在于利用拉普拉斯核参数突出强反射的边界,这有利于强反射检测,并显著提升反射去除结果的质量。大量实验验证了所提出方法相对于现有先进方法的优越性能。代码和预训练模型已公开。

RTX 4090
DatasetPSNRSSIM
Real23.07500.8255
Postcard24.26980.9071
Solidobject24.15610.8993
Wild26.02740.8997
Nature23.65710.8194
Overall24.34630.8963

- Distilling Reflection Dynamics for Single-Image Reflection Removal, (ICCVW 2021)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):单图像反射去除旨在给定一张透过玻璃或窗户拍摄的图像,恢复其中的透射图像。由于问题本身存在固有歧义,并且缺乏大规模、多样化的真实世界训练数据,现有方法主要依赖从单幅图像中提取的信息以及一些预定义先验,在真实世界图像上难以得到令人满意的结果。本文不再只对单幅图像进行推理,而是提出从多视角图像中蒸馏反射动态的表示,即反射层和透射层随时间的运动,并将学到的知识迁移到单图像反射去除问题中。具体而言,本文提出一个教师—学生框架:教师网络通过观察由移动相机拍摄的场景多视角图像序列来学习反射动态表示,并教导学生网络从单张输入图像中去除反射。此外,作者采集了一个大规模真实世界多视角反射图像数据集,用于反射动态知识蒸馏。大量实验表明,该模型取得了最先进的性能。


- Trash or Treasure? An Interactive Dual-Stream Strategy for Single Image Reflection Separation, (NeurIPS 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):单图像反射分离作为一种代表性的盲源分离任务,旨在从一张混合观测图像中恢复两层,即透射层和反射层。由于该问题高度病态,因此具有挑战性。现有基于深度学习的解决方案通常分别恢复目标层,或者只在输出端对两层关系作一定考虑,几乎没有考虑两条流或分支之间的交互。为了更高效地利用信息,本文提出一种通用且简单的交互策略,即“your trash is my treasure”(YTMT),用于构建双流分解网络。具体而言,本文在块级别显式强制两条流相互通信。受两个成分之间加性性质的启发,交互路径可以通过将一条流中被 ReLU 整流器失活的信息传递到另一条流来轻松建立,而不是直接丢弃这些信息。本文在广泛使用的 SIRS 数据集上进行了消融研究和实验结果,以证明 YTMT 的有效性,并显示其相对于其他最先进替代方法的优越性。实现非常简单,代码已公开。


- Deep-Masking Generative Network: A Unified Framework for Separating Superimposed Images, (TIP 2021)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从包含噪声层的叠加图像中恢复干净背景,是图像反射去除、图像去雨和图像去雾等一类经典图像恢复任务的共同核心问题。由于图像中噪声层的外观模式多样且复杂,这些任务通常被分别建模和处理。本文提出深度掩码生成网络(Deep-Masking Generative Network, DMGN),这是一个用于从叠加图像中进行背景恢复的统一框架,能够处理不同类型的噪声。所提出的 DMGN 遵循由粗到细的生成过程:首先并行生成粗略背景图像和噪声图像,然后进一步利用噪声图像细化背景图像,以获得更高质量的背景图像。具体而言,本文设计了一种新的残差深度掩码单元作为 DMGN 的核心操作单元,通过学习门控掩码控制信息流,在图像生成过程中增强有效信息并抑制负面信息。通过迭代使用该残差深度掩码单元,所提出的 DMGN 能够逐步生成高质量背景图像和噪声图像。此外,本文提出一种双管齐下的策略,有效利用生成的噪声图像作为对比线索,以促进背景图像的细化。包括图像反射去除、图像雨痕去除和图像去雾在内的三个典型图像背景恢复任务上的大量实验表明,DMGN 持续优于针对各单一任务专门设计的最先进方法。


- V-DESIRR: Very Fast Deep Embedded Single Image Reflection Removal (ICCV 2021)
CVF | PDF

摘要翻译(已找到公开 Abstract,严格对应):真实世界图像常常会因不需要的反射而受到破坏,因此去除这些反射是非常需要的。这类图像中有很大一部分来自能够进行超高分辨率拍摄的智能手机相机。现有大多数方法要么通过牺牲处理速度和内存需求来关注复原质量,要么关注在很低分辨率下去除反射,从而限制了其实用部署性。本文提出一种用于反射去除的轻量级深度学习模型,采用一种新的尺度空间架构。本文方法分两个阶段处理受损图像:低尺度子网络(LSSNet)用于处理最低尺度,渐进推理(PI)阶段用于处理所有更高尺度。为了降低计算复杂度,PI 阶段中的子网络被设计得比 LSSNet 浅得多。此外,本文在 PI 阶段的不同尺度之间采用权重共享,以限制模型规模。这也使本文方法能够在无需显式重新训练的情况下泛化到超高分辨率。与最先进方法相比,本文方法在定性和定量上都更优,同时相比最近的最先进算法 RAGNet,速度快 20 倍,参数数量少 50 倍。本文在安卓智能手机上实现了该方法,其中一张 1200 万像素的高分辨率图像可在 5 秒内完成复原。


- Panoramic Image Reflection Removal (CVPR 2021)
CVF | PDF

摘要翻译(已找到公开 Abstract,严格对应):本文研究全景图像反射去除问题,旨在缓解反射场景和透射场景之间的内容歧义。虽然全景图像中包含反射场景的部分视图,但由于它与受反射污染的图像存在错位,无法被直接利用。本文提出一种两步方法来解决这一问题:首先通过由粗到细的策略完成反射场景的几何和光度对齐,然后通过恢复网络复原透射场景。所提出的方法使用合成数据集进行训练,并使用真实全景图像数据集进行定量验证。实验通过相较于基于单图像的反射去除方法所具有的显著性能优势,以及对由普通相机或手机用户拍摄的有限视场场景的泛化能力,验证了所提出方法的有效性。


2020

- Single Image Reflection Removal With Physically-Based Training Images, (CVPR 2020)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):近年来,基于深度学习的单图像反射分离方法已被广泛使用。为了受益于学习方法,大量训练图像对(即带反射和无反射图像)以各种方式被合成出来,但这些方法并非基于物理的方向。本文使用基于物理的渲染来忠实地合成所需训练图像,并提出相应的网络结构和损失项。作者利用现有 RGBD/RGB 图像来估计网格,然后通过路径追踪在网格、玻璃和镜头之间物理模拟光传输,以合成训练数据;该数据成功再现了玻璃反射在空间上变化的各向异性视觉效果。为了更好地引导分离,作者还考虑了一个用于回溯反射的模块,即 backtrack network(BT-net),它能够去除玻璃/镜头造成的复杂重影、衰减、模糊和离焦效果。这使得方法能够在失真发生之前获得先验信息。所提出的方法结合额外先验信息和物理仿真训练数据,在多种真实反射图像上得到验证,并相较于最先进技术显示出视觉上令人满意且数值上更优的结果。


- Polarized Reflection Removal with Perfect Alignment in the Wild, (CVPR 2020)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种用于野外偏振图像反射去除的新表述。作者首先指出现有反射去除数据集中的错位问题:所采集的无反射图像由于玻璃折射,无法与输入混合图像完美对齐。随后,作者构建了一个包含 100 多种玻璃的新数据集,其中获得的透射图像与输入混合图像完美对齐。其次,利用反射与偏振光之间的特殊关系,作者提出一个具有两阶段架构的偏振反射去除模型。此外,作者设计了一种新的感知 NCC 损失,能够提升反射去除和一般图像分解任务的性能。大量实验结果表明,该模型在反射去除任务上优于最先进方法。


- Single Image Reflection Removal through Cascaded Refinement, (CVPR 2020)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文研究从单张透过玻璃表面拍摄的图像中去除不期望反射的问题,这是一个病态、具有挑战性但对照片增强具有实际重要性的问题。受社交网络中用于隐藏社区检测的迭代结构削减启发,作者提出迭代增强卷积 LSTM 网络(IBCLN),以实现反射去除的级联预测。IBCLN 是一种级联网络,它以透射层和反射层估计能够相互提升预测质量的方式,对二者进行迭代细化,并使用 LSTM 在级联的不同步骤之间传递信息。其直觉是:透射层是强的主导结构,而反射层是弱的隐藏结构。二者在单幅图像中彼此互补,因此从原始图像中对一方进行更好的估计和削减,会带来对另一方更准确的估计。为了促进多级联步骤的训练,作者采用 LSTM 来处理梯度消失问题,并提出残差重建损失作为进一步的训练引导。此外,作者创建了一个包含真实世界反射图像及其真值透射层的数据集,以缓解数据不足问题。综合实验表明,与最先进反射去除方法相比,所提出方法能够有效去除真实图像和合成图像中的反射。

RTX 4090
DatasetPSNRSSIM
Real21.85400.7770
Postcard23.44700.8790
Solidobject24.94730.8991
Wild24.34650.8862
Nature24.02650.7980
Overall24.11350.8805

- Joint Reflection Removal and Depth Estimation From a Single Image, (IEEE Transactions on Cybernetics 2020)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):由玻璃造成的反射常常降低图像质量,并进一步使深度估计变得困难。本文提出从单幅图像中联合进行反射去除和深度估计。作者使用一个协作神经网络联合执行反射去除(透射恢复)和深度估计,该网络由四个模块组成:1)用于特征提取的编码器;2)反射去除子网络(RRN);3)深度估计子网络(DEN);4)由透射层引导的深度细化。作者通过将 DEN 的中间特征与 RRN 进行拼接,实现反射去除和深度估计之间的协作。由于恢复得到的透射层包含玻璃后方物体的准确边缘,作者利用其引导,通过引导图像滤波来细化估计深度。实验结果表明,即使在反射占主导的图像中,所提出方法也能够同时实现反射去除和深度估计。此外,本文提供了一种处理图像中反射的新方式,即将深度估计引入反射去除,并同时实现反射去除和深度估计。


- CoRRN: Cooperative Reflection Removal Network, (IEEE Transactions on Pattern Analysis and Machine Intelligence 2020)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从透过玻璃拍摄的图像中去除不期望反射,广泛适用于多种计算机视觉任务。非学习方法使用不同的手工先验,例如由不同模糊程度导致的可分离稀疏梯度,但这些方法由于对真实世界反射属性的描述能力有限而常常失败。本文提出一种采用特征共享策略的网络,在一个协作且统一的框架中处理该问题,并整合图像上下文信息和多尺度梯度信息。为了去除某些局部区域中存在的强反射,作者提出一种统计损失,考虑背景与反射之间的梯度层级统计关系。该网络在一个新的数据集上训练,该数据集包含 3250 张在多样真实世界场景下拍摄的反射图像。公共基准数据集上的实验表明,所提出方法相较于最先进方法表现更优。


- Reflection Scene Separation From a Single Image (CVPR 2020)
PDF

摘要翻译(已找到公开 Abstract,严格对应):对于透过玻璃拍摄的图像,现有方法通过将反射成分视为噪声,关注背景场景的恢复。然而,由玻璃表面反射的场景也包含需要恢复的重要信息,尤其是在监控或刑事侦查中。本文并非从混合图像中去除反射成分,而是旨在从混合图像中恢复反射场景。本文首先提出一种获得这类真值及其对应输入图像的策略。然后,本文提出一个两阶段框架,从混合图像中获得可见的反射场景。具体而言,本文使用一种对输入和输出图像之间错位具有鲁棒性的平移不变损失来训练网络。实验结果表明,所提出的方法取得了有前景的结果。


- Reflection Separation via Multi-bounce Polarization State Tracing (ECCV 2020)
ECVA PDF | Project

摘要翻译(已找到公开 Abstract,严格对应):从照片中去除反射是计算摄影中的一项重要任务,也适用于涉及透过窗户和类似场景成像的计算机视觉任务。传统上,该问题通常在非常受控的场景下被作为单反射去除问题来处理。本文旨在将反射去除推广到具有更复杂光线交互的真实世界场景。为此,本文提出一个简单而高效的监督式图像反射分离学习框架,该框架结合了偏振引导的光线追踪模型和损失函数设计。本文使用偏振传感器而非传统图像传感器,该传感器可以在同一图像中瞬时捕获场景的四张线偏振照片。通过结合新的偏振引导图像形成模型,以及用于解释光线追踪图像形成模型的新型监督学习框架,本文获得了一种能够处理一般图像反射去除问题的通用方法。本文在真实数据和合成数据上通过大量实验展示了该方法,并展示了前所未有的图像重建质量。


- Fast User-Guided Single Image Reflection Removal via Edge-Aware Cascaded Networks (IEEE TMM 2020)
Author page | GitHub

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃窗拍照会产生眩光或反射,这可能会使观看者从窗后场景中分心。本文引入用户交互来解决反射去除问题的不适定性。用户可以绘制描边或套索,以指示背景层和反射层。本文没有设计手工特征,而是提出用于反射去除的边缘感知级联网络。所提出网络是一个两阶段流程。第一阶段将由用户引导转换而来的边缘提示和带反射图像作为输入,然后将输入图像分离为背景层和反射层。第二阶段包含一个细化网络,用于恢复背景层中缺失的细节。本文模拟不同类型的用户引导,并在模拟数据上训练网络。该级联网络是端到端的,并且只需一次前向传播即可运行,从而实现快速编辑。


2019

- Fast Single Image Reflection Suppression via Convex Optimization, (CVPR 2019)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):去除透过玻璃拍摄图像中的不期望反射,对计算机视觉具有重要意义。它既可作为出于审美目的提升图像质量的一种手段,也可作为机器学习和模式识别应用中的图像预处理方式。本文提出一个凸模型,用于从单张输入图像中抑制反射。该模型蕴含一个带有梯度阈值化的偏微分方程,并可使用离散余弦变换高效求解。在合成图像和真实世界图像上的大量实验表明,该方法能够取得令人满意的反射抑制结果,并且相较于最先进方法显著减少运行时间。


- Single Image Reflection Removal Exploiting Misaligned Training Data and Network Enhancements, (CVPR 2019)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):从单张透过玻璃窗拍摄的图像中去除不期望反射,对视觉计算系统具有实际重要性。尽管最先进方法在某些情况下能够取得不错结果,但在处理更一般的真实世界案例时,其性能会显著下降。这些失败源于单图像反射去除的内在困难,即该问题根本上的不适定性,以及学习型神经网络流程中用于解决这种歧义所需的密集标注训练数据不足。本文通过利用有针对性的网络增强以及对错位数据的新颖使用来解决这些问题。对于前者,作者通过嵌入上下文编码模块来增强一个基线网络结构,这些模块能够利用高层上下文线索,降低强反射区域中的不确定性。对于后者,作者提出一种对齐不变损失函数,以便利用更容易采集的真实世界错位训练数据。实验结果整体表明,该方法在使用对齐数据时优于最先进方法,并且在使用额外错位数据时能够获得显著提升。


- Single Image Reflection Removal Beyond Linearity, (CVPR 2019)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):由于缺乏配对数据,图像反射去除的训练高度依赖合成反射图像。然而,现有方法将反射建模为线性组合模型,无法充分模拟真实世界场景。本文从两个方面向反射去除中注入非线性。首先,不同于使用固定组合因子或核来合成反射,作者提出通过预测非线性 alpha 混合掩码来合成反射图像。这使不同模糊核能够自由组合,从而得到可控且多样的反射合成。其次,作者设计了一个用于反射去除的级联网络,包含三个任务:预测透射层、反射层和非线性 alpha 混合掩码。前两个任务是基本输出,而后一个任务是网络的辅助输出。另一方面,这个辅助输出使训练形成闭环,从而使分离得到的透射层和反射层能够重新组合,并通过重建损失进行训练。大量定量和定性实验表明,在两个标准基准以及真实世界场景中,所提出的合成和去除方法均优于最先进方法。


- Learning to Jointly Generate and Separate Reflections (ICCV 2019)
CVF | PDF

摘要翻译(已找到公开 Abstract,严格对应):现有使用配对训练数据的基于学习的单图像反射去除方法,由于训练图像对的变化有限,在真实世界反射上的泛化能力存在根本限制。在本文中,我们提出在弱监督学习框架内联合生成和分离反射,旨在通过丰富的非配对监督更全面地建模反射图像形成。通过在多任务结构中施加对抗损失和可组合映射机制,所提出的框架优雅地将反射生成和分离这两个独立阶段整合到一个统一模型中。梯度约束也被纳入多任务学习的并发训练过程中。特别地,本文构建了一个包含 4,027 张图像的非配对反射数据集,该数据集有助于促进反射去除模型的弱监督学习。在公共基准数据集上的大量实验表明,本文框架相较于最先进方法表现良好,并能持续产生视觉上有吸引力的结果。


- Reflection Removal Using a Dual-Pixel Sensor (CVPR 2019)
PDF | GitHub

摘要翻译(已找到公开 Abstract,严格对应):反射去除是一个具有挑战性的问题,目标是去除在拍摄位于玻璃板后方的场景时产生的不需要的反射。在本文中,我们表明大多数相机具有一种被忽视的机制,可以极大地简化这一任务。具体而言,现代 DSLR 和智能手机相机使用双像素(DP)传感器,每个像素具有两个光电二极管,可以从单次捕获图像中提供场景的两个子孔径视图。双像素传感器的自然副产物,即编码在这两个子孔径视图中的“离焦-视差”线索,可以用于区分属于对焦背景的图像梯度和由反射干扰造成的图像梯度。然后,可以将这些梯度信息纳入优化框架中,以比当前仅从单次捕获图像所能达到的结果更高的精度恢复背景层。作为本文工作的一部分,我们提供了第一个由 DP 传感器子孔径视图构成的反射去除图像数据集。


- Reflection Separation using a Pair of Unpolarized and Polarized Images (NeurIPS 2019)
NeurIPS | PDF

摘要翻译(已找到公开 Abstract,严格对应):当我们透过玻璃窗或玻璃门拍照时,透射的背景场景常常会与不需要的反射混合。将两层分离开来以提升图像质量,对于人类感知和机器感知都至关重要。本文提出利用来自一对非偏振图像和偏振图像的物理约束来分离反射层和透射层。由于采集设置被简化,与以三张或更多图像作为输入的现有基于偏振的解决方案相比,该系统变得更加欠定。本文提出先求解半反射体方向估计,使物理图像形成过程成为良定问题,然后使用带有梯度损失的细化网络来可靠地分离两层。定量和定性实验结果表明,本文方法优于现有基于偏振和基于单图像的解决方案。


2018

- ReflectNet: Separating Reflection and Transmission Images in the Wild, (ECCV 2018)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):由常见半反射体(如玻璃窗)造成的反射会影响计算机视觉算法的性能。最先进方法能够在合成数据和受控场景中去除反射。然而,这些方法基于强假设,并不能很好地泛化到真实世界图像。与一种常见误解相反,即使使用偏振信息,真实世界图像仍然具有挑战性。本文包含作者 2018 年 ECCV 论文《Separating Reflection and Transmission Images in the Wild》中 ReflectNet 的源代码和模型。为了与现有最先进方法进行比较,作者还实现了若干先前发表的方法,这些实现可能对研究社区中的其他人有用。


- CRRN: Multi-Scale Guided Concurrent Reflection Removal Network, (CVPR 2018)
PDF | arXiv | [GitHub]

摘要翻译(已找到公开 Abstract,严格对应):从透过玻璃拍摄的图像中去除不期望反射,广泛适用于多种计算机视觉任务。非学习方法使用不同的手工先验,例如由不同模糊程度导致的可分离稀疏梯度,但这些方法由于对真实世界反射属性的描述能力有限而常常失败。本文提出并发反射去除网络(CRRN),在一个统一框架中解决该问题。所提出网络整合图像外观信息和多尺度梯度信息,并使用受人类感知启发的损失函数;该网络在一个新的数据集上训练,该数据集包含 3250 张在多样真实世界场景下拍摄的反射图像。公共基准数据集上的大量实验表明,所提出方法相较于最先进方法表现更优。


- Single Image Reflection Separation with Perceptual Losses, (CVPR 2018)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种从单幅图像中分离反射的方法。该方法使用全卷积网络进行端到端训练,其损失函数利用低层和高层图像信息。该损失函数包含两种感知损失:来自视觉感知网络的特征损失,以及编码透射层图像特性的对抗损失。作者还提出一种新的排斥损失,用于强制实现像素级图层分离。作者创建了一个包含真实世界反射图像及其对应真值透射层的数据集,用于定量评估和模型训练。作者通过全面的定量实验验证该方法,并表明其在 PSNR、SSIM 和感知用户研究方面均优于最先进反射去除方法。作者还将该方法扩展到另外两个图像增强任务,以展示该方法的通用性。


- Seeing Deeply and Bidirectionally: A Deep Learning Approach for Single Image Reflection Removal, (ECCV 2018)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃面板拍照时,反射常常遮挡期望场景。自动从照片中去除不需要的反射是十分理想的。传统方法通常施加某些先验或假设,以针对特定类型的反射,例如移位的双重反射,因此难以泛化到其他类型。最近已经提出一种深度学习方法。它学习一个深度神经网络,以端到端方式直接将受反射污染的图像映射到背景(目标)图像(即无反射图像),并优于以往方法。作者认为,要真正良好地去除反射,应该估计反射并利用它来估计背景图像。作者提出一种级联深度神经网络,同时估计背景图像和反射。这显著提升了反射去除效果。在该级联深度网络中,作者使用估计的背景图像来估计反射,再使用估计的反射来估计背景图像,从而实现“深度地、双向地观察”的思想。

2017

- A Generic Deep Architecture for Single Image Reflection Removal and Image Smoothing, (ICCV 2017)
PDF | arXiv | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文提出一种深度神经网络结构,该结构利用边缘信息来处理具有代表性的低层视觉任务,例如图层分离和图像滤波。不同于应用于这一语境中的多数其他深度学习策略,本文方法仅使用按级联方式排列的卷积层来估计边缘并重建图像,从而处理这些具有挑战性的问题,不需要任何手工设计或特定应用的图像处理组件。作者将所得的可迁移流程应用于两个都对边缘敏感的不同问题领域,即单图像反射去除和图像平滑。对于前者,通过使用温和的反射平滑假设和一种作为弱监督的新型合成数据生成方法,作者的网络能够解决以往方法无法处理的更困难反射案例。对于后者,作者在定量和定性结果上也以很大幅度超过最先进水平。在所有情况下,所提出框架都简单、快速,并且易于在不同领域之间迁移。


- Benchmarking Single-Image Reflection Removal Algorithms (ICCV 2017)
PDF | Dataset

摘要翻译(已找到公开 Abstract,严格对应):去除在玻璃前拍摄的照片中不需要的反射,对于提升视觉计算系统的效率具有重要意义。已有多种方法被提出,并在作者自行收集的小规模数据集上显示出视觉上合理的结果。由于缺乏带有真值的合适基准数据,现有方法在同一数据集上的定量比较从未开展。本文提出第一个采集得到的单图像反射去除数据集“SIR2”,包含 40 个受控场景和 100 个野外场景,并提供背景和反射的真值。对于每个受控场景,本文进一步提供在不同光圈设置和玻璃厚度下的十组图像。本文使用四种误差指标,对四种最先进的单图像反射去除算法进行了定量和视觉质量比较。最后,本文讨论了改进反射去除算法的开放问题。


- Single Image Reflection Suppression (CVPR 2017)
PDF

摘要翻译(已找到公开 Abstract,严格对应):反射是透过玻璃窗拍摄图像中的常见伪影。在照片拍摄后自动去除反射伪影是一个不适定问题。因此,尝试使用优化方案来解决这一问题的方法依赖于来自物理世界的各种先验假设。不同于从单幅图像中去除反射这一迄今为止成功有限的任务,本文提出一种新的反射抑制方法。它基于施加在输出上的拉普拉斯数据保真项和 L0 梯度稀疏项。在人工图像和真实世界图像上的实验表明,本文的反射抑制方法优于最先进的反射去除技术。


- Reflection Removal Using Low-Rank Matrix Completion (CVPR 2017)
PDF

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃拍摄的图像通常同时捕获目标透射场景和不需要的反射场景。本文提出一种低秩矩阵补全算法,用于从在略微不同相机位置拍摄的多张玻璃图像中自动去除反射伪影。本文假设在典型玻璃图像中,透射场景比反射场景更占主导。首先,本文将多张玻璃图像配准到一张参考图像,在该图像中,透射图像的梯度是一致的,而反射图像的梯度在不同图像之间是变化的。基于这一观察,本文计算梯度可靠性,使属于透射图像显著边缘的像素被赋予高可靠性。然后,本文通过在梯度域中求解低秩矩阵补全问题,抑制反射图像的梯度,并仅恢复透射图像的梯度。本文使用所得最优梯度图重建原始透射图像。实验结果表明,所提出的算法能够忠实地从玻璃图像中去除反射伪影,并在典型玻璃图像上优于现有算法。


2016

- Depth of Field Guided Reflection Removal (ICIP 2016)
PDF | GitHub

摘要翻译(已找到公开 Abstract,严格对应):反射去除旨在分离期望场景和不期望反射的混合物。定位反射边缘和背景边缘是反射去除的关键步骤。本文提出一种视觉深度引导的方法来去除反射。本文的想法是使用景深(DoF)来标记背景边缘和反射边缘。本文提出一种 DoF 置信图,其中具有较高 DoF 值的像素被认为属于期望的背景成分。此外,本文观察到不同分辨率的图像在 DoF 图中表现出不同属性。因此,本文引入一种多尺度 DoF 计算策略,以更有效地分类边缘像素。基于边缘分类结果,可以分离背景层和反射层。实验结果使用真实世界照片验证了本文方法的有效性。


2015

- Reflection Removal Using Ghosting Cues (CVPR 2015)
PDF

摘要翻译(已找到公开 Abstract,严格对应):透过玻璃窗拍摄的照片通常同时包含期望场景和不期望的反射。分离反射层和透射层是一个重要但不适定的问题,具有审美和实际应用价值。本文引入 ghosting cues 的使用,这些线索利用图层之间的不对称性,从而帮助降低问题的不适定性。这些线索来自反射场景在玻璃表面上发生的移位双重反射。在双层玻璃窗中,每一层玻璃都会反射位于与相机同侧物体的移位且衰减的版本。对于单层玻璃窗,ghosting cues 来自玻璃板两个表面上的移位反射。即使 ghosting 有时对人类来说几乎不可察觉,本文仍然可以利用该线索进行图层分离。本文使用双脉冲卷积核来建模 ghosted reflection,并自动估计 ghosted reflection 成分的空间间隔和相对衰减。为了分离这些层,本文提出一种使用高斯混合模型进行正则化的算法。本文方法是自动的,并且只需要单幅输入图像。本文证明,该方法能够在合成输入和真实世界输入上去除很大一部分反射。

2014

- Single Image Layer Separation using Relative Smoothness, (CVPR 2014)
PDF | [arXiv] | GitHub

摘要翻译(已找到公开 Abstract,严格对应):本文研究从一幅图像中提取两个图层的问题,其中一个图层比另一个图层更平滑。该问题最明显地出现在固有图像分解和反射干扰去除中。单图像图层分解本质上是病态问题,解决方案需要施加额外约束。本文引入一种新的策略,对两个图层的梯度进行正则化,使其中一个图层具有长尾分布,而另一个图层具有短尾分布。施加长尾分布是一种常见做法,而本文在第二个图层上引入短尾分布是独特的。本文在概率框架中表述该问题,并描述一种只需少量迭代即可求解该正则化的优化方案。作者将该方法应用于固有图像和反射去除问题,并展示了与其他技术相当的高质量图层分离效果,同时速度显著快于现有主流方法。

2013

- Specular Reflection Separation Using Dark Channel Prior, (CVPR 2013)
PDF | [arXiv] | [GitHub]

摘要翻译(已找到公开摘要):本文提出一种从单幅图像中分离镜面反射的新方法。将图像分解为漫反射和镜面反射成分是一个由于观测不足而高度病态的问题。现有方法通常依赖无镜面反射图像来检测和估计高光,但这可能会将具有相同色调但饱和度不同的漫反射像素误判为镜面反射像素。本文利用暗通道先验来改进镜面反射分离,通过分析图像颜色和亮度分布中的暗通道特性,更有效地区分漫反射与镜面反射成分。

Contributors

krantbrity

120 commits