联合稀疏表示的医学图像融合及同步去噪

将多模态医学图像的互补信息有机地融合在一起,可为临床诊断和辅助治疗提供丰富信息和有效帮助。基于联合稀疏模型,提出一种联合稀疏表示的医学图像融合算法,当图像被噪声污染时,该算法在融合的同时兼有去噪功能。首先,将配准的源图像编纂成列向量并组成联合矩阵,通过在线字典学习算法(ODL)得到该矩阵的超完备字典;其次,利用该字典得到联合稀疏模型下的联合字典,之后利用最小角回归算法(LARS)计算基于联合字典的公共稀疏系数和各图像的独特稀疏系数,并根据“选择最大化”融合规则得到融合图像的稀疏系数;最后,根据融合系数和超完备字典重构融合图像。将该算法与3种经典算法比较,结果显示其主观上亮度失真和对比度失真较小,边缘纹理清晰,客观参数指标MI、Q^AB/F在无噪声干扰和有噪声干扰时的统计均值分别为：3.992 3、2.896 4、2.505 5和0.658、0.552 4、0.439 6,可以为临床诊断和辅助治疗提供有效帮助。     

MRI-PET image fusion based on NSCT transform using local energy and local variance fusion rules

Image fusion means to integrate information from one image to another image. Medical images according to the nature of the images are divided into structural (such as CT and MRI) and functional (such as SPECT, PET). This article fused MRI and PET images and the purpose is adding structural information from MRI to functional information of PET images. The images decomposed with Nonsubsampled Contourlet Transform and then two images were fused with applying fusion rules. The coefficients of the low frequency band are combined by a maximal energy rule and coefficients of the high frequency bands are combined by a maximal variance rule. Finally, visual and quantitative criteria were used to evaluate the fusion result. In visual evaluation the opinion of two radiologists was used and in quantitative evaluation the proposed fusion method was compared with six existing methods and used criteria were entropy, mutual information, discrepancy and overall performance.     

基于稀疏表示和脉冲耦合神经网络的医学影像融合算法

为满足医学图像辅助诊断的需要,提出一种基于稀疏表示和脉冲耦合神经网络（PCNN）的CT和MR影像融合算法。首先,原始图像通过滑动窗方法构成联合矩阵,通过K-SVD算法得到该联合矩阵的冗余字典,采用正交匹配追踪算法得到该联合矩阵的稀疏系数;然后,根据稀疏系数的特点,采用脉冲耦合神经网络来融合稀疏系数;最后,由融合后的稀疏系数和冗余字典得到融合矩阵,反变换得到融合图像。实验图像为10组配准的脑部CT和MR图像,采用5种性能指标来评价融合图像的质量,同2种流行的医学影像融合算法进行比较,结果显示算法除Q^AB/F指数外,其他4项指标均为最优,Piella指数、Q^AB/F指数和BSSIM指数的均值分别为0.760 4、0.877 1和0.537 3,融合图像的纹理和边缘清晰,对比度高。主观和客观分析显示,算法的融合性能比较优越。     

基于双稀疏字典的医学图像融合算法及在脑血管疾病诊断中的应用

目的通过图像融合方法结合解剖和功能医学图像以提供更多有用的信息并辅助医生诊断。方法利用稀疏表示能很好地反映图像特征的优势。首先,选取医院脑梗死和脑出血的CT和MRI的临床图像,采用双稀疏字典算法得到稀疏字典,再通过结合空间域信息的最大选择法作为融合规则对其进行融合,并与基于主成分分析(principal component analysis,PCA)和离散小波变换(discrete wavelet transform,DWT)方法的图像融合结果在主观方面以及客观方面的QAB/F和Piella指标上进行比较。结果本文提出的方法所获得的融合图像主观评价优于另外两种方法。QAB/F和Piella的均值分别为0.9139和0.7213,客观评价指标也优于另外两种方法。结论基于双稀疏字典的图像融合算法得到的融合图像更清晰,对比度更高,并且特征保留效果更好,有助于医生的诊断。     

基于在线字典学习和脉冲耦合神经网络的脑图像融合

医学图像融合是医学影像和放射医学等领域的研究热点之一,广受医学界和工程界重视。提出一种基于在线字典学习(ODL)和脉冲耦合神经网络(PCNN)的脑部CT和MR图像融合新算法。首先,利用滑动窗技术将源图像分块,使用ODL算法和最小角回归算法(LARS)得到各图像块对应列向量的稀疏编码;其次,将稀疏编码作为脉冲耦合神经网络的外部输入刺激信号进行迭代处理,根据点火次数确定融合系数;最后,根据融合系数和学习字典重构融合图像。基于哈佛医学院的10组脑部CT和MR数据,将所提出算法同基于KSVD的融合算法、基于ODL的融合算法、基于NSCT的融合算法比较。实验结果显示：综合考虑主观视觉效果和客观评价指标,该算法性能整体优于其他算法,客观参数指标BSSIM、MI、Piella、SF、STD、Q^AB/F的均值分别为0.751 2、3.769 6、0.697 1、29.526 7、90.090 6、0.570 7,可以提供丰富的信息来辅助医生分析病变体,提高临床医疗诊断的准确性和治疗规划的科学性。     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

基于在线字典学习的医学图像特征提取与融合

提出一种基于在线字典学习(ODL)的医学图像特征提取与融合的新算法。首先,采用大小为8像素×8像素的滑动窗处理源图像,得到联合矩阵;通过ODL算法得到该联合矩阵的冗余字典,并利用最小角回归算法(LARS)计算该联合矩阵的稀疏编码;将稀疏编码列向量的1范数作为稀疏编码的活动级测量准则,然后根据活动级最大准则融合稀疏编码;最后根据融合后的稀疏编码和冗余字典重构融合图像。实验图像为20位患者的已配准脑部CT和MR图像,采用5种性能指标评价融合图像的质量,同两种流行的融合算法比较。结果显示,所提出算法的各项客观指标均值最优,Piella指数、QAB/F指数、MIAB/F指数、BSSIM指数和空间频率的均值分别为0.800 4、0.552 4、3.630 2、0.726 9和31.941 3,融合图像对比度、清晰度高,病灶的边缘清晰,运行速度较快,可以辅助医生诊断和临床治疗。     

An Improved Medical Image Fusion Algorithm for Anatomical and Functional Medical Images

In recent years,many medical image fusion methods had been exploited to derive useful information from multimodality medical image data, but, not an appropriate fusion algorithm for anatomical and functional medical images. In this paper, the traditional method of wavelet fusion is improved and a new fusion algorithm of anatomical and functional medical images,in which high-frequency and low-frequency coefficients are studied respectively. When choosing high-frequency coefficients, the global gradient of each subimage is calculated to realize adaptive fusion,so that the fused image can reserve the functional information;while choosing the low coefficients is based on the analysis of the neighborbood region energy, so that the fused image can reserve the anatomical image＇ s edge and texture feature. Experimental results and the quality evaluation parameters show that the improved fusion algorithm can enhance the edge and texture feature and retain the function information and anatomical information effectively.     

基于层次式优化的多幅眼底图像融合方法

针对眼底图像配准后直接叠加产生的接缝及如何保证多幅图像融合后细节信息不丢失的问题,提出层次式优化的多频带眼底图像融合方法。该方法通过多阈值分割获取掩模图像并计算其欧式距离得到各层次图像蒙版;根据欧氏距离值及拉普拉斯能量和设计每层蒙版图像的改进加权系数。构建基于信息熵、空间频率和清晰度的图像融合联合客观评价方法进行分析。最后,利用配准误差及重叠率对图像序列进行分组融合后进入下一层,对于奇数幅图像序列中没有组合的图像直接放入下一层。再根据分组规则重新分组进行优化融合,实现层次式的多幅眼底图像优化融合。通过对75 组取自福建省附属第一医院眼科及眼底相机实验系统的图像序列,涉及4 898 组图像对（正常眼底图像2 952 对,病变眼底图像1 946 对）进行测试与验证,结果表明,提出方法在有效除去拼接缝的同时,融合图像在重叠区域的RMSE值约为（01±005）像素。提出的融合方法在客观评价和主观视觉效果之间取得了较好的平衡。     

基于融合多网络深层卷积特征和稀疏双关系正则化方法的乳腺癌图像分类研究

乳腺癌是全球女性癌症死亡的主要原因之一。现有诊断方法主要是医生通过乳腺癌观察组织病理学图像进行判断,不仅费时费力,而且依赖医生的专业知识和经验,使得诊断效率无法令人满意。针对以上问题,设计基于组织学图像的深度学习框架,以提高乳腺癌诊断准确性,同时减少医生的工作量。开发一个基于多网络特征融合和稀疏双关系正则化学习的分类模型:首先,通过子图像裁剪和颜色增强进行乳腺癌图像预处理;其次,使用深度学习模型中典型的3种深度卷积神经网络(InceptionV3、ResNet-50和VGG-16),提取乳腺癌病理图像的多网络深层卷积特征并进行特征融合;最后,通过利用两种关系(“样本-样本”和“特征-特征”关系)和l_F正则化,提出一种有监督的双关系正则化学习方法进行特征降维,并使用支持向量机将乳腺癌病理图像区分为4类—正常、良性、原位癌和浸润性癌。实验中,通过使用ICIAR2018公共数据集中的400张乳腺癌病理图像进行验证,获得93%的分类准确性。融合多网络深层卷积特征可以有效地捕捉丰富的图像信息,而稀疏双关系正则化学习可以有效降低特征冗余并减少噪声干扰,有效地提高模型的分类性能。     

CT and MR Image Fusion Scheme in Nonsubsampled Contourlet Transform Domain

Fusion of CT and MR images allows simultaneous visualization of details of bony anatomy provided by CT image and details of soft tissue anatomy provided by MR image. This helps the radiologist for the precise diagnosis of disease and for more effective interventional treatment procedures. This paper aims at designing an effective CT and MR image fusion method. In the proposed method, first source images are decomposed by using nonsubsampled contourlet transform (NSCT) which is a shift-invariant, multiresolution and multidirection image decomposition transform. Maximum entropy of square of the coefficients with in a local window is used for low-frequency sub-band coefficient selection. Maximum weighted sum-modified Laplacian is used for high-frequency sub-bands coefficient selection. Finally fused image is obtained through inverse NSCT. CT and MR images of different cases have been used to test the proposed method and results are compared with those of the other conventional image fusion methods. Both visual analysis and quantitative evaluation of experimental results shows the superiority of proposed method as compared to other methods.     

MRI图像的小波融合处理

背景：小波图像融合是将两幅图像融合在一起,以获取对同一场景的更为精确、全面、可靠的图像描述。 目的：用小波变换图像融合技术融合MRI脑梗死图像,以恢复缺损图像。 方法：图像融合的主要机制是利用二维小波分析法对MRI脑梗死图像进行小波分解,并对高低频信号采用多种融合方式进行融合。通过对比不同融合方式后的效果图,找出最适合本部位MRI图像的融合方法。 结果与结论：不同方式的融合技术能成功修复不同的缺损部位,多种融合方式的合适组合能完全修复多处缺失部位。对于文中给出的MRI脑梗死图像,采用最小值融合方式的融合效果最好。提示使用二维小波分析法处理医学图像,简便快捷,能有效改善图像的视觉效果,辅助临床诊断。     

Detail-enhanced multimodality medical image fusion based on gradient minimization smoothing filter and shearing filter

In this paper, a detail-enhanced multimodality medical image fusion algorithm is proposed by using proposed multi-scale joint decomposition framework (MJDF) and shearing filter (SF). The MJDF constructed with gradient minimization smoothing filter (GMSF) and Gaussian low-pass filter (GLF) is used to decompose source images into low-pass layers, edge layers, and detail layers at multiple scales. In order to highlight the detail information in the fused image, the edge layer and the detail layer in each scale are weighted combined into a detail-enhanced layer. As directional filter is effective in capturing salient information, so SF is applied to the detail-enhanced layer to extract geometrical features and obtain directional coefficients. Visual saliency map-based fusion rule is designed for fusing low-pass layers, and the sum of standard deviation is used as activity level measurement for directional coefficients fusion. The final fusion result is obtained by synthesizing the fused low-pass layers and directional coefficients. Experimental results show that the proposed method with shift-invariance, directional selectivity, and detail-enhanced property is efficient in preserving and enhancing detail information of multimodality medical images.

Open image in new window

Graphical abstract The detailed implementation of the proposed medical image fusion algorithm.

     

小波变换在医学图像融合中的应用

图像融合是医学图像处理中的关键技术。文中探讨了基于小波变换的医学图像融合方法。首先对源图像进行小波多尺度分解,然后采用基于窗口的融合规则进行小波系数融合,最后通过小波逆变换重构融合图像。实验结果表明,该方法能在保留原图像信息的情况下增强融合图像的细节信息。     

基于小波变换的多模态医学图像的融合及性能评价

为了研究小波变换分解的尺度和融合策略对图像融合效果的影响。我们选择已配准后的多聚焦医学图像以及MRI/CT灰度图像,在提取图像的低频和高频小波系数时,分别进行单尺度和多尺度分解,融合时采取了基于独立像素点和基于邻域窗口的多种融合策略,深入对比分析各种融合规则对医学图像融合性能的影响。实验结果和性能评价表明:使用局部滤波的操作可以明显改善图像融合的效果,使图像的细节信息更加丰富,而多尺度融合能明显提高融合图像的亮度。     

基于稀疏分解的医学CT图像去噪

医学CT图像成像过程中,由于成像机制的影响,不可避免的引入噪声。图像中的噪声会降低图像质量,影响临床诊断。因此,有必要对医学CT图像进行去噪处理。本文采用图像的稀疏分解方法来对混有噪声的肝癌CT图像进行消噪处理,提出分块稀疏分解去噪。实验表明,本文算法对医学图像中噪声去除有一定效果。在分解原子个数相同的条件下,本文方法去噪后重建图像比在整幅图像上进行稀疏去噪重建的计算速度提高了约15倍。     

基于小波变换的医学图像融合方法综述

目的：图像融合是图像处理领域中的一个热门研究方向,其目的为了将来自不同传感器的多模态信息综合体现在一张高质量的图像上,已被广泛应用于医学、航空遥感、军事等领域。不同的融合算法会得到不同的融合结果,融合算法的选择直接决定融合的结果。方法：本文主要调研了当前比较热门的基于小波变换方法的融合方法。根据小波变换的流程,我们知道影响融合后图像质量的因素主要有两个：一个是变换分类及变换基,另一个是变换域的系数融合规则。本文将从这两方面对基于小波变换的各种融合方法进行总结。文中算法的选取原则为：融合实验效果好、被引用次数较多的文献中的使用的算法。另外,本文对经典的融合算法也进行了较系统的描述。结论：经过对文献的搜集与整理,我们就变换种类与融合规则方法分别进行了汇总：在变换种类上有传统Haar小波、性能经过提升的小波、与小波变换交叉使用的变换方法三个子类;在融合规则上,有单个像素法、区域法、多种决策算法参与的系数融合规则三个子类。最后本文叙述了几种对于融合后图像的图像质量评价指标。     

基于稀疏表示的视网膜图像对变化检测

视网膜图像对变化检测主要研究两个不同时间点所采集到图像的变化情况。图像间的亮度差异及解剖结构与病灶的亮度相似性,使得基于逐点对比的差分方法或商方法很难准确检测变化区域。针对光照干扰问题,提出对光照具有鲁棒性的稀疏表示(SRC)变化检测方法。SRC方法先抽取参考图像局部区域块构建字典,再通过稀疏表示重构当前图像的局部背景块,最后利用背景相减获得变化区域。通过该方法,图像对的亮度差异可用稀疏表示系数自动调整,而基于块的方式可过滤掉局部光照,更有效地检测出变化区域。SRC方法与其他检测方法结合,可以增加检测结果的准确性。实验根据一对来自DRIVE数据集的小病灶仿真数据,SRC方法的AUC和mAP值分别为0.986和0.865;对一对采集自临床的大病灶数据,SRC与迭代鲁棒同态曲面拟合(IRHSF)校正结合方法的AUC和mAP值分别达到了0.989和0.969。实验结果表明,SRC方法比RPCA方法对局部光照鲁棒性更强,比基于逐点的比较差分方法更多地考虑局部邻域信息,能够更有效地检测出变化区域。     

Pixel-Feature Hybrid Fusion for PET/CT Images

Color blending is a popular display method for functional and anatomic image fusion. The underlay image is typically displayed in grayscale, and the overlay image is displayed in pseudo colors. This pixel-level fusion provides too much information for reviewers to analyze quickly and effectively and clutters the display. To improve the fusion image reviewing speed and reduce the information clutter, a pixel-feature hybrid fusion method is proposed and tested for PET/CT images. Segments of the colormap are selectively masked to have a few discrete colors, and pixels displayed in the masked colors are made transparent. The colormap thus creates a false contouring effect on overlay images and allows the underlay to show through to give contours an anatomic context. The PET standardized uptake value (SUV) is used to control where colormap segments are masked. Examples show that SUV features can be extracted and blended with CT image instantaneously for viewing and diagnosis, and the non-feature part of the PET image is transparent. The proposed pixel-feature hybrid fusion highlights PET SUV features on CT images and reduces display clutters. It is easy to implement and can be used as complementarily to existing pixel-level fusion methods.     

基于三次样条层间插值的多模态医学图像配准

我们从PET-CT多模态图像序列的特点出发,提出了一种全新的图像配准及融合方法,它采用三次样条插值法对PET-CT图像进行层间插值,然后再利用最大互信息法进行配准,最后应用改进的主成分分析(PCA)法融合PET-CT图像用以增强PET显像效果,从而得到满意的配准以及融合结果。用三次样条插值法进行层间插值并恢复层间缺失图像的信息,弥补了现有配准方法的不足,提高了配准精度,使融合后的图像更加接近实际的物理断层。该方法已经成功应用于三维适形放疗(3D-CRT)系统的开发中。