受限于光学成像机理，遥感图像的空间与光谱分辨率相互制约，单一成像手段无法获取高空间高光谱分辨率的遥感图像。如图4所示，融合两种不同空间、光谱分辨率的图像，是获取高空间高光谱分辨率图像的有效手段（Licciardi等，2012）。通过融合高分辨率的全色图像与多光谱图像，可以将多光谱图像的空间分辨率提升数倍。类似地，融合高分辨率的多光谱图像与低分辨率的高光谱图像，可以极大提升高光谱图像的空间分辨率。这一类图像融合技术又被称作遥感图像空谱融合，由于能够突破成像系统空间与光谱分辨率之间的固有矛盾，空谱融合是遥感图像融合领域的热点问题。

现有的空谱融合对象主要是全色图像与多光谱图像、全色图像与高光谱图像、多光谱图像与高光谱图像。从波段数量来说，全色图像与多光谱或高光谱图像的融合属于“一对多”的融合，多光谱图像与高光谱图像的融合属于“多对多”的融合。在图像融合之前，一般都要对图像进行几何校正、正射校正等预处理，再对两幅待融合图像进行配准。

全色图像与多光谱图像融合的研究开始最早，发展时间最长，也被称为全色锐化（Pansharpening），现有方法可分为3类。第1类是空间信息注入法。这类方法通过空间变换、多尺度分析等手段提取高空间分辨率全色图像的空间信息，并将提取出来的空间信息尽可能无损的注入到低空间分辨率的多光谱图像中。代表性方法有Gram-Smidt变换、Brovey算法等（Mura等，2015；Fasbender等，2008）。这类方法的优势是能够较好的保留光谱信息；缺点是由于提取的空间信息仅包含特定谱段范围内的空间结构，与低空间分辨率图像的空间结构并不完全匹配，因此容易产生空间结构失真。第2类是光谱信息注入法。代表性的方法有颜色空间变换法、主成分分析法等（Zhang和Hong，2005；Ghadjati等，2019），这类方法通过线性或者非线性的图像变换将高光谱分辨率的图像变换到新的投影空间，分解为光谱成分和空间成分，并用全色图像去替换其空间成分，再经过逆变换获得融合图像。这类方法能较好的保留空间信息，但光谱信息会产生一定的失真。第3类是空谱采样建模法，其核心思想是将融合问题看作是一个逆向重建问题，通过建立源图像与融合结果之间的关系模型，优化求解得到融合结果。这类方法由于模型的严谨性，相比于前两类方法，能够更好的保持图像的空间与光谱信息。此外，为进一步优化融合效果，在融合过程中可引入概率统计和先验约束，但模型的求解会更加复杂。代表性方法有基于稀疏表示的方法（Li等，2013；Jiang等，2012）、基于深度网络的方法（Scarpa等，2018）等。

全色与高光谱的融合与全色锐化较为相似，但是由于高光谱图像空间分辨率很低，像元之间会存在混淆（Winter和Winter，2002；Hardie等，2004），学者们多采用模型优化求解的方法来解决这类融合问题。多光谱与高光谱的融合相比于全色与多光谱图像融合，更具有挑战性。多光谱与高光谱的融合方法可分为3类，基于全色锐化的方法、基于成像模型的方法和基于深度网络的方法。

基于全色锐化的方法即将多光谱与全色融合的方法扩展应用在多光谱与高光谱图像的融合中。在扩展应用全色锐化融合方法时，波段的对应性是必须要考虑的因素，如Chen等（2014）将高光谱图像的波段分组，通过传统的全色锐化方法对每个波段小组进行融合；Selva等（2015）通过将高光谱波段与多光谱的波段建立分组关系，有效地将一些经典多尺度分析的方法应用于多光谱与高光谱图像的融合。

基于成像模型的方法主要包括基于混合像元分解的方法和基于张量分解的方法 （Li和Yang，2011；Dian等，2019）。基于混合像元分解的方法利用了光谱分解原理，在传感器特性的约束或先验下，分别从高光谱图像和多光谱图像中获取端元信息和高分辨率丰度矩阵，来重建融合后图像，其主要的性能影响因素在于光谱基的维度和矩阵系数的估计。基于张量分解的方法通过将高光谱图像表示成三维张量，利用光谱字典、张量核去逼近高空间和光谱分辨率的融合结果，其主要性能影响因素在于谱字典的构建和张量核的估计。此外，研究人员还提出了基于耦合非负矩阵分解（CNMF）的多光谱、高光谱图像融合技术（Yokoya等，2012）、基于低秩分解（LRF）的图像融合技术（Zhang等，2017）和基于耦合稀疏张量分解（CSTF）的图像融合技术（Li等，2018）等。

基于深度网络的方法将低分辨率图像作为深度网络的输入，通过学习低、高分辨率图像之间端到端的映射，输出高分辨率的图像（Dong等，2016）。由于深度网络自身特点，这类融合方法的性能提升点在于构造更加合理的损失函数、处理图像残差和使用更深层次的框架结构，因此研究的重点也都偏向于这3个方面。如Han等（2018）提出的PDCon-SSF融合框架，通过在多光谱图像与学习到的特征之间添加连接，获得了显著的性能提升；Shi等（2019）提出的色彩引导的深度残差注意力网络融合框架，将注意机制集成到残差网络中，充分利用了光谱和空间维度的相关性，在图像融合过程中很好的保持了图像的空间与光谱信息（Shoeiby等，2019）。

空谱融合的质量主要是体现在融合图像是否存在严重的空间失真和光谱失真。根据是否有标准的高分辨率的参考图像，客观评价指标分为有参考评价指标和无参考评价指标。常用的有参考评价指标有均方根误差（RMSE）、峰值信噪比（PSNR）、结构相似度（SSIM）、光谱角映射（SAM）、相对全局误差（ERGAS）和全局图像质量指标（UIQI）等（Wang和Bovik，2002；Wang等，2004；Wald，1999）；无参考评价指标有QNR参数（Alparone等，2008）、JQM参数（Palubinskas，2014）等。

全色、多光谱与高光谱之间的融合在实际生活中应用中十分广泛，如Tiwari等（2010）将IKONOS卫星的多光谱图像与Hyperion的高光谱图像融合，用以提高道路检测的精度，方法在印度的台拉登城区域获得较好结果；胡博和汪西原（2016）将资源三号的全色与多光谱图像融合，用以提取耕地信息，方法在宁夏平原区域获得了不错的效果。

全色、多光谱和高光谱图像都是光学传感器获取的图像，它们之间的主要区别在于光谱分辨率和空间分辨率的不同，空谱融合的目的是提升图像的光谱和空间分辨率。虽然空谱融合的研究已经发展多年，但仍存在着诸多技术难题亟待解决。

（1）当空谱融合的图像是不同卫星获取的数据时，源图像之间的配准误差会对融合性能产生较大影响，尤其是全色图像与高光谱图像、多光谱图像与高光谱图像的融合，现有成像平台无法同时获取不同分辨率的多光谱与高光谱图像，这类图像的配准难度更大，是空谱融合亟需解决的难题。

（2）不同成像手段光谱响应区间不一致时，图像融合过程中易产生空间和光谱结构失真，尤其是全色图像与高光谱图像的融合，由于全色图像与高光谱图像的光谱响应区间存在很大差异，融合过程中往往难以重构出真实的高分辨率空间信息。

（3）不同成像手段间的空间分辨率和光谱分辨率差异越大，空间与光谱信息的压缩比例就越大。这说明多分辨率图像融合存在性能极限，当图像空间分辨率的比值超出某个范围时，现有方法往往难以重构出高质量的高分辨率高光谱图像。

（4）相比于其他图像融合方法，基于成像模型的图像融合方法在融合过程中能够更好的保持图像的空间与光谱信息，但这类方法通常需要求解复杂的优化问题，计算代价也会更大，如何降低此类算法的计算代价是亟需解决的技术难题。

（5）多光谱与全色图像融合的研究趋于瓶颈，不同融合方法的性能差异在视觉上已经难以区分，而全色与高光谱图像融合、多光谱与高光谱图像融合的研究仍有较大发展空间。尤其是实验中使用的全色与高光谱融合数据、多光谱与高光谱融合数据多是通过对真实高光谱图像进行空间下采样或是光谱下采样的方式生成，采用真实卫星获取的多光谱、高光谱图像进行数据融合的研究工作较少。

（6）全色、多光谱和高光谱图像的融合研究是领域内的热点，但如何将图像融合算法与实际应用问题相结合仍存在诸多问题。从应用的角度改进融合算法的性能和效率，增加融合算法的实用性，是多源遥感图像空谱融合的挑战难题，也是其未来的发展趋势。

合成孔径雷达（SAR）是一种主动的微波遥感成像方式，能够全天时全天候工作。SAR图像能够反映地物的介电特性和几何特性，但由于其侧视相干成像方式，图像噪声污染较严重且目视效果不佳（Thompson，2001）。全色图像能够提供地物精细的空间结构信息。多光谱图像光谱信息较丰富，但空间分辨率通常低于全色与SAR图像。因此，SAR图像与全色、多光谱图像的融合，综合利用了光学成像和主动成像的独特优势，能够生成更高质量的融合图像。如图5所示，将全色图像与SAR图像进行融合，融合图像既能够保留全色图像的空间结构信息，又能够保留SAR图像中目标的后向散射信息，能够更好地进行后续的图像分析与解译（Seo和Eo，2020）。此外，将低分辨率多光谱图像与高分辨率SAR图像进行融合可有效提升多光谱图像的空间分辨（Chandrakanth等，2011）。

针对全色、多光谱与SAR图像的融合，国内外学者开展了大量研究。现有全色/多光谱与SAR图像融合方法可分为像素级、特征级和决策级融合3个层次 （Kulkarni和Rege，2020）。在进行融合之前，通常需对SAR图像进行去噪并对两幅源图像进行配准。对于像素级融合，配准的精度直接影响图像融合的性能。而不同去噪方法对细节信息的保留程度不同，适用于不同层次的图像融合。因此，图像融合中SAR图像预处理方法的选择尤为重要（孙越 等，2019）。

像素级图像融合直接对图像中的像素进行融合，结果是一副包含更多场景信息的融合图像。像素级融合的优势是能够尽可能保留全色、多光谱与SAR图像的原始信息。Ghassemian（2016）将像素级融合方法归纳为成分替换法、多分辨率分析法与基于成像模型的方法。成分替换法对低空间分辨率的多光谱图像进行图像变换，将其分解为空间和光谱成分，再用高空间分辨率的SAR图像去替代其空间成分，最后进行逆变换得到融合图像。常用的方法有主成分分析法（PCA）、GS法（Gram-Schmidt）、IHS变换法（Intensity-Hue-Saturation）、Brovey变换法、高通滤波法（HPF）等（Gupta等，2013；Chen等，2010；Feng等，2019）。这类方法原理简单，计算效率高，但容易产生光谱失真。多分辨率分析法通过拉普拉斯金字塔、小波分析等多分辨率分析方法，提取SAR图像或全色图像的空间信息，并通过不同图像多分辨表示系数的加权融合与重建得到融合图像。代表性的方法有基于拉普拉斯金字塔的方法、基于小波变换的方法、基于Shearlet变换的方法、基于Contourlet变换的方法等（邰建豪 等，2017；易维等，2018）。这类方法计算复杂度更高，在图像存在配准误差效果更佳鲁棒，但易产生空间失真。基于成像模型的方法主要包括基于变分模型和稀疏表示模型的融合方法。稀疏表示模型将图像融合问题视为图像复原问题，能够有效减少融合过程中产生的空间与光谱结构失真，但其字典学习与稀疏编码是两个挑战性的难题，算法的计算复杂度较高（Ghahremani和Ghassemian，2016）。除上述3种方法外，研究人员还提出将前3种方法进行集成，以综合利用不同类型像素级融合方法的优势，减少光谱和空间失真的同时，降低方法的计算复杂度。例如， IHS 图像融合方法对空间细节保留较好，但是会引入光谱失真。多分辨率分析方法能够很好保留图像光谱信息，但易引入光谱失真。因此，研究人员们提出了IHS和多分辨率分析相结合的图像融合方法（Alparone等，2004）；为了降低稀疏表示模型的计算复杂度，也有学者提出结合稀疏表示与IHS变换的图像融合方法（Liu等，2016；Zhang等，2016）。

特征级融合是从SAR与多光谱图像中提取显著特征，如边缘、角点、轮廓、纹理等，并将这些特征进行融合，得到辨识度更高的融合特征。例如，将SAR图像和多光谱图像中的边缘特征进行匹配与融合，可以得到地物更完整、更清晰的边缘特征图（李璟旭，2009）。决策级的融合从某种意义上来说是多源图像深层语义信息的融合，它从预处理后的图像中提取地物要素信息，并对这些信息进行融合生成最终的地物分类结果（Waske等，2007）。特征级和决策级图像融合都不会保留图像的原始像素信息，但在实际遥感应用中，特征级与决策级融合效率更高、融合结果往往能直接服务于具体的应用需求。

SAR图像与全色、多光谱图像融合的性能评估，根据融合的层次不同也会有所差异。像素级融合常用的评价指标包括SAM、ERGAS、RMSE、SSIM等，特征级与决策级的融合则根据融合前后，地物分类、变化检测或目标探测性能的差异来评估融合性能 （Liu等，2015）。

SAR图像与全色、多光谱图像的融合已成功应用于土地覆盖分类和地理环境监测等遥感应用问题（Bilgin等，2015；Gianinetto等，2015）。许璟等（2015）将Radasat卫星获取的SAR图像与Landsat 卫星获取的多光谱图像进行融合，研究结果显示图像融合能够有效提升高原山区地形地势分析的精度。Haldar和Patnaik等（2010）将Radarsat卫星获取的多时相SAR数据与星载多光谱图像进行融合，进行作物的种类识别并估算种植面积。Brunner等（2010）融合了QuickBird和WorldView-1获取的光学图像以及TerraSAR-X和COSMO-SkyMed获取的SAR图像，通过特征级的图像融合与分类，分析了汶川地震中映秀镇的灾后变化，并进行了灾害评估。Yuan等（2020）以北京为案例，融合Sentinel-1卫星获取的SAR图像和Landsat 8获取的多光谱图像，实验证明融合后地物分类精度更高，地物要素信息的提取更加准确。Seo等（2018）使用随机森林方法融合Kompsat-5 SAR图像的地表粗糙度特征与Landsat 8多光谱图像的地物光谱特征，有效提升了地物变化检测的精度。

总体来说，SAR与多光谱、高光谱图像的融合主要存在如下挑战性难题：

（1）由于成像的基本原理不同，相比于全色、多光谱、高光谱图像之间的融合，SAR图像与全色、多光谱图像的结构差异更大，导致像素级融合过程中，易产生严重的空间与光谱失真。

（2）SAR成像本身，不可避免会产生特有的斑点噪声，且SAR与多光谱、高光谱图像之间还存在不可避免的配准误差，这些因素均会对融合性能造成影响。

（3）随着深度学习技术的兴起，近年来SAR与全色、多光谱图像的融合正朝着深层特征表示与语义信息融合的方向发展，探索新的跨模态特征与决策融合方法，是SAR图像与全色、多光谱图像融合的热点问题，具有十分重要的意义（Idol等，2015）。

激光雷达图像能够准确描述地物的3维空间结构，但难以获取地物精细的光谱信息。仅使用LiDAR图像这一单一数据源，往往难以实现地物的精确分类和识别。多光谱和高光谱遥感图像具有丰富的光谱信息，与LiDAR图像具有很好的互补性（乔纪纲 等，2011）。因此，综合利用LiDAR图像获取的3维结构信息与多光谱、高光谱图像获取的地物光谱信息，可极大提升遥感图像地物分类的精度和可信度，为地物的精确识别开辟了新途径。如图6所示，结合LiDAR图像的高程信息可以有效去除多光谱图像中的阴影；此外，将LiDAR图像和高光谱图像的分类结果进行融合，能够极大提高地物分类精度 （Berger等，2013；Rasti等，2017）。

由于多光谱、高光谱图像与LiDAR图像属于异质传感器数据的融合，目前的研究多是通过特征级和决策级的方法来进行融合（张良培和沈焕锋，2016），并逐渐形成了“特征提取—特征融合—图像分类—决策融合—分类后处理”的融合流程（曹琼 等，2019）。特征级融合与决策级融合具有各自的优势，特征级融合能针对图像的特点提取特征来进行融合，融合的灵活性更高；决策级融合可以避免不同数据特征的不一致性，融合的鲁棒性更强（童庆禧 等，2006）。也有学者研究如何将特征级和决策级融合的方法相结合，来兼顾两者的优势。曹琼等（2019）提出了多级融合的方法来综合利用高光谱图像与LiDAR图像进行城市地物的精细分类，具体流程是先提取两幅源图像的空间、光谱和高程信息，并对特征进行融合与分类，然后使用LiDAR图像生成的建筑物掩膜，进一步对分类结果进行优化，得到最终的地物分类结果。Zhong等（2017）将高光谱图像与LiDAR图像融合，并通过加权投票的决策融合策略得到分类结果；Chen等（2017）将Landsat 8、环境一号卫星和Terra卫星获取的多光谱、高光谱和激光雷达图像进行融合，结果表明融合多源遥感成像手段获取的光谱、高度、角度等信息，能够获得比单一来源遥感图像更高的分类精度。袁鹏飞等（2018）融合LiDAR图像的三维特征和多光谱图像的强度、密度、平坦度等特征，实现城市复杂环境下道路中心线的精确提取。吴孟凡等（2017）将Worldview-2获取的多光谱图像与机载LiDAR数据融合吗，估算城市不透水层分布情况，实验表明LiDAR图像的引入能够更好的区分植被阴影与不透水层，进而提高不透水层的估算精度。

LiDAR图像与多光谱、高光谱的融合是遥感图像融合领域近年来逐渐兴起的热点问题。总体来说，LiDAR图像与多光谱、高光谱图像融合主要存在如下挑战性难题：

（1）LiDAR图像与多光谱、高光谱图像的融合属于多模态图像融合，两种不同模态图像反映的目标特性存在很大差异，如何实现特性各异的信息的跨模态联合表示与提取是LiDAR与多光谱、高光谱图像融合亟需解决的难题；

（2）LiDAR图像与多光谱、高光谱图像融合多是特征级或决策级的融合。特征提取的方法、分类器的设计在融合过程中发挥了重要作用。因此，设计最优的特征级、决策级或多级图像融合框架，充分发挥不同特征提取与分类方法的优势，是LiDAR图像与多光谱、高光谱图像融合的挑战性难题。

（3）LiDAR图像与多光谱、高光谱图像融合在城市制图、林业调查等领域取得了成功应用。在后续研究中，探索LiDAR图像与多光谱、高光谱图像融合新的应用问题，具有十分重要的意义。

除上述国内外研究人员普遍关注的遥感图像融合问题外，近年来，热红外遥感图像、夜光遥感图像、视频遥感数据和立体遥感图像的融合逐渐兴起。其融合的目的同样是通过综合利用不同来源遥感图像的特点和优势，获得更高质量的融合图像，或是进一步提升后续目标探测与地物分类的精度（Zhan等，2011；Huang和Song，2012）。

如图7所示，热红外图像主要反映了地面的温度分布信息，但空间分辨率低；相比于热红外图像，全色与多光谱图像的空间分辨率更高，将热红外图像与全色图像或多光谱图像融合能够得到更高空间分辨率的地表温度数据。例如，姚为和韩敏（2010）通过神经网络方法将ETM+ 数据集中的多光谱图像与热红外图像融合，获得了扎龙湿地高空间分辨率的地表温度分布图像；Jin和Han（2017） 提出基于稀疏表示的图像融合方法，将Landsat 7的热红外图像和全色图像进行融合，显著提升了地表温度分布图的空间分辨率。

除空间和光谱分辨率外，卫星的重访频率也是遥感图像的一个重要属性。一方面，卫星传感器在图像分辨率和重访频率之间必有折中，但作为研究地表特征时空特性的关键，遥感图像的时间和空间分辨率都至关重要；另一方面，多时相遥感影像中包含海量的时空信息，对数据中时空信息的挖掘，可极大地提高遥感数据的利用率（黄波和赵涌泉，2017；Zhu等，2016）。因而，不同时间与空间分辨率的遥感图像融合（时空融合）也是一种不可或缺的技术手段。近年来，多时间分辨率遥感图像融合已被成功应用于作物生长评估、城市变化监测等领域。例如，Gao等（2015）将时间分辨率更高的MODIS多光谱图像和空间分辨率更高的Landsat多光谱图像融合，融合结果继承了Landsat的空间分辨率（30 m）和MODIS的重访频率（每天），被成功应用于农作物的长势分析和监测；张猛和曾永年（2018）以长株潭城市群核心区为例，将MODIS与Landsat融合后的高时空分辨率数据用于估算植被净生产力，结果与实测值保持了较好的一致性。

其他类型的多源遥感图像融合还包括夜间灯光数据、立体图像、视频数据的融合。例如，吴小语和张鹏林等（2015）以武汉市为研究对象，合DMSP夜间遥感数据和Landsat 7获取的多光谱图像来提升城市边界提取精度。张靖宇等（2015）以西沙群岛北岛为研究对象，采用WorldView-2 4波段立体图像数据和非遥感数据（水深点和潮汐表）进行决策级融合，实现了岛屿周边水深的精确反演。

为了鼓励和推动多源遥感数据融合的研究，IEEE地球科学与遥感学会IEEE GRSS（IEEE Geoscience and Remote Sensing Society）自2006年以来，每年都会举办多源遥感数据融合竞赛，近十年来，比赛主题不仅涉及空谱融合、时空融合、高光谱与LiDAR融合等领域，还包括多角度光学图像、视频数据、地图矢量数据等。近十年来，IEEE GRSS数据融合大赛的主题和数据信息如表2所示。从表中可以得出以下结论。

（1）视频、立体等新型遥感数据已出现在2011年、2016年的数据融合竞赛中，随着这类搭载新型传感器的卫星和机载平台的发展，探索针对夜光、视频与立体图像的融合技术是未来的发展方向之一。

（2）现有图像融合方法的输入大多是两种不同不同来源的图像，两种以上不同来源图像如何高效融合仍是多源图像融合亟需解决的技术难题。

（3）除遥感图像数据外，如何融合不同来源的地理信息数据、地面站点数据、不同来源的遥感图像数据是多源遥感图像融合技术进一步发展必须要考虑的问题。

（4）近年来，图像融合正在从像素级的融合往更深层次的特征级与决策级融合的方向发展，地物分类精度等指标在图像融合性能评估中发挥越来越重要的作用。例如2013年—2020年的数据融合竞赛中，均采用地物解译或者分类的精度来评价融合性能。换言之，研究人员逐渐认识到遥感图像融合的最终目的是提高应用场景下地物的解译和识别能力。