人脑MRI和PET图像的融合方法

目的：研究MRI和PET医学图像融合的方法并且应用在人脑神经解剖中。方法：以Chamfer matching为基本配准方法和以模糊数学为理论基础的融合方法。结果：使得融合后图像有很强的抗配准偏差能力,并且能极大程度地保留原来解剖性信息图像和功能性图像的信息。能根据融合算子的不同组合,得到倾向于不同检查仪器结果的图像。结论：通过本文方法得出的融合后图像,能在人脑解剖结构上显示出该区域的功能状态,对于了解该结构的存在、变异、病变提供了很大的便利。对人脑神经解剖学研究和临床应用都有很大的理论和实践意义。     

An Improved Medical Image Fusion Algorithm for Anatomical and Functional Medical Images

In recent years,many medical image fusion methods had been exploited to derive useful information from multimodality medical image data, but, not an appropriate fusion algorithm for anatomical and functional medical images. In this paper, the traditional method of wavelet fusion is improved and a new fusion algorithm of anatomical and functional medical images,in which high-frequency and low-frequency coefficients are studied respectively. When choosing high-frequency coefficients, the global gradient of each subimage is calculated to realize adaptive fusion,so that the fused image can reserve the functional information;while choosing the low coefficients is based on the analysis of the neighborbood region energy, so that the fused image can reserve the anatomical image＇ s edge and texture feature. Experimental results and the quality evaluation parameters show that the improved fusion algorithm can enhance the edge and texture feature and retain the function information and anatomical information effectively.     

基于小波变换的多模态医学图像的融合及性能评价

为了研究小波变换分解的尺度和融合策略对图像融合效果的影响。我们选择已配准后的多聚焦医学图像以及MRI/CT灰度图像,在提取图像的低频和高频小波系数时,分别进行单尺度和多尺度分解,融合时采取了基于独立像素点和基于邻域窗口的多种融合策略,深入对比分析各种融合规则对医学图像融合性能的影响。实验结果和性能评价表明:使用局部滤波的操作可以明显改善图像融合的效果,使图像的细节信息更加丰富,而多尺度融合能明显提高融合图像的亮度。     

基于自由变形法的多模态医学图像的配准与融合

本研究提出了一种自动识别颈部PET-CT图像特征点的算法，它应用自由变形（FFD）方法以CT图像的特征点为参考使PET图像产生变形，再结合最大互信息法对颈部PET与CT图像进行非刚体配准，最后用改进的小波图像融合法把两者进行融合得出视觉效果比较理想的融合图像。经实际计算得出的变形PET图像与对应CT图像的互信息量大于原始PET图像，并且最后用改进的小波图像融合法得出的融合图像的信息量比一般小波融合大，由此证明本研究所用方法是有效的。     

CT与磁共振图像融合技术对显示正常内耳结构的应用价值

目的 探讨内耳CT与磁共振成像(MRI)图像融合的可行性以及融合图像对正常内耳结构的显示能力.方法 对20例(40耳)双侧内耳及内听道形态正常的感音神经性耳聋患者行多层螺旋CT(MSCT)和MRI扫描,并应用西门子图像融合软件将CT与MRI图像进行配准、融合,然后半定量评价融合图像对正常内耳和内听道结构的显示能力.结果 CT与MRI融合可有9种融合模式,在不同融合模式的图像中CT不反相+MRI反相对骨迷路显示最清晰;CT反相+MRI不反相、CT反相+MRI伪彩对膜迷路显示最清晰、立体感强;CT不反相+MRI反相、CT与MRI均反相对面神经、听神经及蜗神经显示最清晰、最直观、立体感最强;CT不反相+MRI反相、CT反相+MRI不反相、CT伪彩+MRI反相对蜗孔处蜗神经显示最好.结论 CT与MRI图像可以进行精确配准和融合,不同模式融合图像对内耳不同结构的显示清晰度不同.     

融合图像放疗靶区定位精度的检验和初步临床结果

目的：探讨以图像融合技术为基础的肿瘤三维适形放疗靶区定位精度的检验及依据融合图像放疗靶区的确定与单纯CT影像放疗靶区确定的初步临床结果。方法：利用定制的模体分别行CT、MRI和PET成像，进行CT与MRI，CT与PET融合。检验融合后定制标记点的定位精度。对3例特殊病例分别以单纯CT图像为基础和融合图像为基础，进行三维适形放疗靶区认定，对不同医生之间和同一医生在不同时间，放疗靶区定义情况进行对照分析。结果：MRI／CT融合图像总定位精度小于2mm，PET／CT图像融合图像融合精度情况（包括同机融合和异机融合），采用不同的融合算法。定位精度有显著差异（P〈0．01，t=5．385）。单纯利用CT图像进行靶区的定义，不同医生之间，在不同的时间存在差异（P〈0．05），而采用融合技术可减少他们的争议和差异。结论：利用多模式图像融合可以提高靶区定义的准确性．有利于三维适形精确放射治疗。     

基于层次式优化的多幅眼底图像融合方法

针对眼底图像配准后直接叠加产生的接缝及如何保证多幅图像融合后细节信息不丢失的问题,提出层次式优化的多频带眼底图像融合方法。该方法通过多阈值分割获取掩模图像并计算其欧式距离得到各层次图像蒙版;根据欧氏距离值及拉普拉斯能量和设计每层蒙版图像的改进加权系数。构建基于信息熵、空间频率和清晰度的图像融合联合客观评价方法进行分析。最后,利用配准误差及重叠率对图像序列进行分组融合后进入下一层,对于奇数幅图像序列中没有组合的图像直接放入下一层。再根据分组规则重新分组进行优化融合,实现层次式的多幅眼底图像优化融合。通过对75 组取自福建省附属第一医院眼科及眼底相机实验系统的图像序列,涉及4 898 组图像对（正常眼底图像2 952 对,病变眼底图像1 946 对）进行测试与验证,结果表明,提出方法在有效除去拼接缝的同时,融合图像在重叠区域的RMSE值约为（01±005）像素。提出的融合方法在客观评价和主观视觉效果之间取得了较好的平衡。     

MRI图像的小波融合处理

背景：小波图像融合是将两幅图像融合在一起,以获取对同一场景的更为精确、全面、可靠的图像描述。 目的：用小波变换图像融合技术融合MRI脑梗死图像,以恢复缺损图像。 方法：图像融合的主要机制是利用二维小波分析法对MRI脑梗死图像进行小波分解,并对高低频信号采用多种融合方式进行融合。通过对比不同融合方式后的效果图,找出最适合本部位MRI图像的融合方法。 结果与结论：不同方式的融合技术能成功修复不同的缺损部位,多种融合方式的合适组合能完全修复多处缺失部位。对于文中给出的MRI脑梗死图像,采用最小值融合方式的融合效果最好。提示使用二维小波分析法处理医学图像,简便快捷,能有效改善图像的视觉效果,辅助临床诊断。     

Histology image search using multimodal fusion

This work proposes a histology image indexing strategy based on multimodal representations obtained from the combination of visual features and associated semantic annotations. Both data modalities are complementary information sources for an image retrieval system, since visual features lack explicit semantic information and semantic terms do not usually describe the visual appearance of images. The paper proposes a novel strategy to build a fused image representation using matrix factorization algorithms and data reconstruction principles to generate a set of multimodal features. The methodology can seamlessly recover the multimodal representation of images without semantic annotations, allowing us to index new images using visual features only, and also accepting single example images as queries. Experimental evaluations on three different histology image data sets show that our strategy is a simple, yet effective approach to building multimodal representations for histology image search, and outperforms the response of the popular late fusion approach to combine information.     

基于三次样条层间插值的多模态医学图像配准

我们从PET-CT多模态图像序列的特点出发,提出了一种全新的图像配准及融合方法,它采用三次样条插值法对PET-CT图像进行层间插值,然后再利用最大互信息法进行配准,最后应用改进的主成分分析(PCA)法融合PET-CT图像用以增强PET显像效果,从而得到满意的配准以及融合结果。用三次样条插值法进行层间插值并恢复层间缺失图像的信息,弥补了现有配准方法的不足,提高了配准精度,使融合后的图像更加接近实际的物理断层。该方法已经成功应用于三维适形放疗(3D-CRT)系统的开发中。     

基于双稀疏字典的医学图像融合算法及在脑血管疾病诊断中的应用

目的通过图像融合方法结合解剖和功能医学图像以提供更多有用的信息并辅助医生诊断。方法利用稀疏表示能很好地反映图像特征的优势。首先,选取医院脑梗死和脑出血的CT和MRI的临床图像,采用双稀疏字典算法得到稀疏字典,再通过结合空间域信息的最大选择法作为融合规则对其进行融合,并与基于主成分分析(principal component analysis,PCA)和离散小波变换(discrete wavelet transform,DWT)方法的图像融合结果在主观方面以及客观方面的QAB/F和Piella指标上进行比较。结果本文提出的方法所获得的融合图像主观评价优于另外两种方法。QAB/F和Piella的均值分别为0.9139和0.7213,客观评价指标也优于另外两种方法。结论基于双稀疏字典的图像融合算法得到的融合图像更清晰,对比度更高,并且特征保留效果更好,有助于医生的诊断。     

CT and MR Image Fusion Scheme in Nonsubsampled Contourlet Transform Domain

Fusion of CT and MR images allows simultaneous visualization of details of bony anatomy provided by CT image and details of soft tissue anatomy provided by MR image. This helps the radiologist for the precise diagnosis of disease and for more effective interventional treatment procedures. This paper aims at designing an effective CT and MR image fusion method. In the proposed method, first source images are decomposed by using nonsubsampled contourlet transform (NSCT) which is a shift-invariant, multiresolution and multidirection image decomposition transform. Maximum entropy of square of the coefficients with in a local window is used for low-frequency sub-band coefficient selection. Maximum weighted sum-modified Laplacian is used for high-frequency sub-bands coefficient selection. Finally fused image is obtained through inverse NSCT. CT and MR images of different cases have been used to test the proposed method and results are compared with those of the other conventional image fusion methods. Both visual analysis and quantitative evaluation of experimental results shows the superiority of proposed method as compared to other methods.     

基于小波变换和一致性检验的多模态医学图像融合算法

目的选择已配准后的多聚焦医学图像以及MRI/CT灰度图像为实验素材,以探究不同的融合策略对图像融合效果的影响。方法在对多模态医学图像融合时,低频融合分别采取了加权平均、取极大值法、区域能量以及区域方差的对比实验。高频融合分别采取了区域能量、区域方差以及滤波后基于邻域窗口的一致性检验的对比实验。结果通过对融合图像主观(融合效果)与客观(灰度直方图、边缘提取、性能评价)对比分析,找到了多模态医学图像融合的最优融合策略。结论当低频选择局部区域方差融合,融合后的图像轮廓清晰、边缘较完整;而高频选择滤波后基于邻域窗口的一致性检验,融合后的图像更好地保留和加强了源图像的细节信息。     

SPECT-CT同机图像融合的仪器质量控制方法探讨

目的探讨SPECT-CT同机图像融合硬件配准误差的质量评价方法。方法制作带外套点源、点线模型及用ECT模型,加注放射源后,在床有、无负重情况下,分别对模型进行SPECT-CT采集,然后进行SPECT-CT同机图像融合处理,分析两种图像融合偏差程度。结果SPECT与CT旋转中心无偏移。在床无负重情况时,点源及点线源与外套无X、Y轴偏移。在床有负重情况下,融合图像Y轴偏移最大值为8.0mm,X轴偏差无像素偏移。ECT模型可检测核医学"冷"区图像及整体图像融合情况,但不能进行定量测量偏移情况。结论单点源模型可用于日常简单检测SPECT-CT图像融合硬件配准情况;点线源模型可用于准确定量分析图像融合硬件配匹程度;ECT模型可用图像融合质量综合分析。     

An image fusion algorithm based on multi-resolution decomposition for functional magnetic resonance images

This paper presents a new functional image fusion algorithm which is the combination of SPM and ICA using multi-resolution decomposition. Firstly, we designed the fMRI experiments and obtained the fMRI image data from different experimental conditions. The brain activated regions were extracted by the SPM and ICA methods respectively. Secondly, by constructing the Laplacian pyramids of the source image, a new fusion rule based on the salience and matching measure is proposed in various resolutions. Finally, the fused functional images are reconstructed by the inverse Laplacian pyramid transformation. The results show that the algorithm can retain the details of the source images and pinpoint exactly the brain functional area associated with the hand action, thus outperforming SPM or ICA for functional regions extraction.     

基于深度学习的多模态医学图像融合方法研究进展

医学图像融合方法可以将有用的信息整合到一张图上，提高单张图像的信息量。对多模态医学图像进行融合时，如何对图像进行有效的变换，提取到不同图像中独有的特征，并施以适当的融合规则是医学图像融合领域研究的重点。近年随着深度学习的快速发展，深度学习被广泛应用于医学图像领域，代替传统方法中的一些人工操作，并在图像表示、图像特征提取以及融合规则的选择方面显示出独特优势。本文针对基于深度学习的医学图像融合进展予以探讨，介绍了卷积神经网络、卷积稀疏表示、深度自编码和深度信念网络这些常用于医学图像融合的框架，对一些应用于融合过程不同步骤的深度学习方法进行分析和总结，最后，分析了当前基于深度学习的融合方法的不足并展望了未来的研究方向。     

Medical Image Fusion Based on Sparse Representation with KSVD

Medical image fusion is a process by which two different models of images are combined into a single image, in order to provide doctors with accurate diagnoses, and take right action. This paper proposes an image fusion method based on sparse representation with KSVD. Firstly, all source images are combined into a joint-matrix, which can be represented with sparse coefficients using an overcompletedictionary trained by KSVD algorithm. Secondly, the coefficients which are considered as image features are combined with the choose-max fusion rule. Finally, the fused image is reconstructed from the concatenated coefficients and the overcomplete dictionary. Compared with three state-of-the-art algorithms, the proposed method has better fusion performance.     

SPECT-CT同机图像融合的仪器质量控制方法探讨

目的 探讨SPECT-CT同机图像融合硬件配准误差的质量评价方法.方法 制作带外套点源、点线模型及用ECT模型,加注放射源后,在床有、无负重情况下,分别对模型进行SPECT-CT采集,然后进行SPECT-CT同机图像融合处理,分析两种图像融合偏差程度.结果 SPECT与CT旋转中心无偏移.在床无负重情况时,点源及点线源与外套无X、Y轴偏移.在床有负重情况下,融合图像Y轴偏移最大值为8.0 mm,X轴偏差无像素偏移.ECT模型可检测核医学"冷"区图像及整体图像融合情况,但不能进行定量测量偏移情况.结论 单点源模型可用于日常简单检测SPECT-CT图像融合硬件配准情况;点线源模型可用于准确定量分析图像融合硬件配匹程度;ECT模型可用图像融合质量综合分析.     

基于非降采样轮廓波和直方图变换的生物图像融合

随着分子成像系统的发展,图像融合在细胞生物学领域得到广泛应用,其中灰度结构图像与彩色功能图像的融合对蛋白质定位和功能的研究有重要意义。针对传统融合方法平衡结构信息和功能信息的难点,提出一种适用于生物图像融合的新方法。该方法基于非降采样轮廓波变换,得到源图像亮度分量的高低频分量,计算融合所需的权重矩阵,并由直方图变换对其做必要的调整,系数融合后经反变换得到融合的亮度分量,继而采用广义亮度-色调-饱和度法的快速实现算法,得到最终的融合结果。实验对117组来自约翰英纳中心的拟南芥细胞图像进行测试,采用视觉信息保真度,量化评估了荧光区和非荧光区中融合图像与源图像的相似程度。结果表明,新方法受荧光图像黑色背景影响较少,并保留了荧光图像中大量的细节信息,相比传统方法更为优越。     

基于小波变换的医学图像融合方法综述

目的：图像融合是图像处理领域中的一个热门研究方向,其目的为了将来自不同传感器的多模态信息综合体现在一张高质量的图像上,已被广泛应用于医学、航空遥感、军事等领域。不同的融合算法会得到不同的融合结果,融合算法的选择直接决定融合的结果。方法：本文主要调研了当前比较热门的基于小波变换方法的融合方法。根据小波变换的流程,我们知道影响融合后图像质量的因素主要有两个：一个是变换分类及变换基,另一个是变换域的系数融合规则。本文将从这两方面对基于小波变换的各种融合方法进行总结。文中算法的选取原则为：融合实验效果好、被引用次数较多的文献中的使用的算法。另外,本文对经典的融合算法也进行了较系统的描述。结论：经过对文献的搜集与整理,我们就变换种类与融合规则方法分别进行了汇总：在变换种类上有传统Haar小波、性能经过提升的小波、与小波变换交叉使用的变换方法三个子类;在融合规则上,有单个像素法、区域法、多种决策算法参与的系数融合规则三个子类。最后本文叙述了几种对于融合后图像的图像质量评价指标。