首页 >> 知识 >> 医学图像检索:融合多尺度特征及注意力机制

医学图像检索:融合多尺度特征及注意力机制

医学图像检索是当前图像处理技术在医学领域的重要应用,医学图像可为临床诊断提供重要影像学信息,如何解决临床医师从海量图像库中快速准确检索到所需图像是当前一项重要研究课题。

相比与传统的图像检索技术以及常规应用场景,医学影像数据集主要存在以下特征:

(1)医学图像大多数为灰度图像,边界模糊,具有噪声,对比度差,因此传统特征表示方法很难捕捉到其特征的细微差异;

(2)同一组织对于不同病人、不同模态、不同成像设备来说其影像存在一定差异,甚至同一模态不同帧之间也可能存在差异;

(3)医学图像类别分布不均匀,存在类别不平衡问题。更重要的是数据标签获取需要专业人员参与,数据标注耗费昂贵,很难得到充足的医学图像检索标注数据集。因此,对于医学图像检索的研究依旧存在巨大的挑战性。

近日,福州大学姚剑敏副研究员团队在《液晶与显示》(ESCI、核心期刊)发表了题为“融合多尺度特征及注意力机制的医学图像检索”的研究文章。

文章针对目前医学图像普遍存在病理区域尺寸分布较分散、细节特征不明显以及同类组织影像间的视觉差异较大等主要问题,提出了一种融合多尺度特征及注意力机制的医学图像检索方法。

该方法通过融合多尺度特征并设置可学习权重系数来自适应平衡浅层图像纹理特征和深层图像语义特征的关系,提高网络对不同尺度上的病理特征提取能力。同时,引入注意力模块,对网络输出的特征图进行通道加权求和,提高关键特征通道的特征表达能力,使网络更能关注到图像中的具有辨识性的病理特征区域。

1. 引言

医学影像技术日益成熟,如何有效地利用已有的医学影像数据辅助医生进行分析和诊断是目前相对有挑战性的任务。在传统的基于内容的图像检索方法中,主要利用图像的颜色,纹理和形状等特征作为检索依据,然而这类特征与人们所需要的高级语义特征存在“语义鸿沟”,所以检索性能一直受限。近年来,随着深度学习技术在各大计算机视觉比赛中取得突破性进展,其良好的特征表达能力已经在自然图像检索领域中也表现出了优异性能。因此,深度学习技术给医学图像检索带来巨大契机。

2. 系统概述

由图1中系统示意图所示,一个完整的医学图像检索系统一般包括以下三个流程:首先是数据集线下特征抽取,并组建特征矩阵库的阶段,其次是线上输入图像特征提取阶段,最后是将输入图像的特征与特征矩阵库中的特征进行相似度计算,并返回相似度排名靠前的topk图像。

3. 多尺度特征及注意力机制融合

在特征提取模块,

网站地图