目录
前言
📅大四是整个大学期间最忙碌的时光,一边要忙着备考或实习为毕业后面临的就业升学做准备,一边要为毕业设计耗费大量精力。近几年各个学校要求的毕设项目越来越难,有不少课题是研究生级别难度的,对本科同学来说是充满挑战。为帮助大家顺利通过和节省时间与精力投入到更重要的就业和考试中去,学长分享优质的选题经验和毕设项目与技术思路。
🚀
对毕设有任何疑问都可以问学长哦!
选题指导:
https://blog.csdn.net/qq_37340229/article/details/128243277
大家好,这里是海浪学长毕设专题,本次分享的课题是
🎯
基于深度学习的数字病理图像分割
课题背景和意义
数字病理图像分析对于心脑病、乳腺癌、前列腺癌等良恶性分级诊断具有重要意义
,
其中
,
组织基元的形态目标 测量是量化分析的重要依据.
然而
,
由于病理数据多样性和复杂性等新特点
,
其分割任务面临着特征提取困难、实例分割困难等挑战.
人工智能辅助病理量化分析将复杂病理数据转化为可挖掘的图像特征
,
使得自动提取组织基元的定量化信息成为可能.
特别是随着计算机计算能力的快速发展
,深度学习技术凭借其强大的特征学习、设计灵活等特性在数字病理量化分析领域取得了突破性成果.
在病理诊断和分析过程中,显微解剖结构的分割起着关键作用.分割结果可被用于可视化组织基元形态、 计算与病变相关的定量化指标、定位感兴趣区域(region of interest,简称 ROI)以及辅助制定外科手术方案等.随着数字病理的发展,临床和医学研究迫切需要能够进行多个器官和疾病状态的病理图像高精度分割方法.然而, 由于病理图像背景结构复杂,组织基元高密度分布、粘连重叠等,精准实例分割是一个挑战性问题。
实现技术思路
一、数字病理相关学科研究
病理学是研究疾病病因、发病机制、形态结构改变以及由此而引起的功能变化的一门基础医学与临床医学之间的桥梁学科.
近年来
,
病理诊断已经成为当今疾病诊断、治疗和预防的重要途径和金标准,
而病理切片的数字化被认为是病理学和病理诊断发展过程中的重要转折点。
病理切片染色及成像模式
数字病理切片的制作首先需要组织染色
.
为了突出切片中特定的细胞核和腺体特征
,
限定并检查组织
,
通常使用染色剂来增强组织成分间的对比度
一般而言,
染色之后
,
可利用数字显微镜或放大系统在低倍物镜下对玻璃切片进行逐幅扫描采集成像
.
图像压缩和存储软件将高分辨数字图像自动进行无缝拼接处理,
制作生成整张全视野数字切片
。
肿瘤的组织学分级
肿瘤分级
反映了在组织结构和细胞形态上肿瘤组织与正常组织细胞不同程度的形态差异
,
可用来判断 组织是否癌变.目前,许多类型肿瘤的组织学分级与患者预后的关系已经引起病理学家的重视,包括:乳腺癌组织学分级、前列腺癌组织学分级、结肠直肠癌组织学分级、胃腺癌组织学分级、肝细胞癌组织学分级、肾细胞癌组织学分级等。
二、病理图像特点与分割挑战
病理图像分割具有如下新挑战
(1) 由于组织病理图像中组织基元高密度分布、基元间出现重叠、缠绕
,
使得传统基于图像分析方法的检测与分割很难获得正确的结果. (2) 对于病理状态图像而言
,
由于染质稀疏、背景杂斑干扰、表观多样等
,
基于有效特征提取的个体基元精准实例分割是一个挑战性问题. (3) 对于不同类型的病理图像而言
,
由于图像特性存在显著差异
,
如何设计一个普适的分割方法是一个重要且具有挑战性的研究问题.
(4)
大多数已有的分割方法只局限于重叠或接触基元的简单分割
,
精确的完整轮廓推断能够显著改进个体基元的形态计算精度.(5) 在已有方法中
,
检测与分割是两个相互独立的过程
,
如何设计一个统一的框架
,
联立执行检测与分割是亟待解决的问题. (6) 已有深度学习方法需要较大规模的训练数据集以经验拟合深层网络参数
,
如何设计更加高效模型提升表征学习能力是当前的研究热点之一.
三、深度学习病例图像分割方法
卷积神经网络
CNN
是近年来深度学习能够在各个领域取得突破性成果的基石,
它主要包括
4
类网络层:
(1)
卷积层
,
旨在学习一组卷积核
,
并通过在输入图像上滑动不同的卷积核计算多张特征图;
(2)
非线性层
,
通过在特征图上逐元素地应用激活函数
,
增强判定函数和整个网络的非线性;
(3)
池化层
,
利用池化核对特征图中不同位置的特征进行聚合统计
,
大大降低了特征维数并增加了对局 部变换的鲁棒性;
(4)
全连接层
,
在网络中起到分类器的作用
,
将学习到的特征映射到样本标记空间
.。
与传统的全连接神经网络相比,CNN 的主要优势是通过局部感受野、权值共享以及时间或空间子采样减少网络中自由参数的个数
,
获得某种程度上的位移、尺度和形变不变性
全卷积网络
FCN
是
CNN
的变种网络模型
,
其主要思想是采用卷积神经网络实现从图像像素到像素类别的变换
,
例如 VGG16、
GoogLeNet.
与
CNN
不同
,FCN
网络使用卷积层代替全连接层
,
并通过转置卷积
(transposed convolution) 层将中间层特征图的高和宽变换回输入图像的尺寸,
从而令预测结果与输入图像在空间维上一一对应
.
因此
,
在网络实现中,FCN
可以接受任意尺寸的输入图像
,
并生成相同尺寸的分割图
.
FCN
通过使用跳跃连接结构对网络模型最后层的特征图进行上采样
,
并与较浅层的特征图进行融合
,
将高层语义信息和底层图像信息组合起来,
以生成精细的分割结果。
编码器
–
解码器与自编码器模型
于图像语义分割的代表性网络是编码器
–
解码器模型
[57]
.
编码器
–
解码器模型利用对称网络结构将数据点从输入域映射到输出域,
其主要思想是
:
利用编码函数
z
=
g
(
x
)
所定义的编码器
(encoder)
将输入压缩成 特征空间表示,
再利用解码器
(decoder)
y
=
f
(
z
)
从特征空间表示中预测输出结果。
循环神经
RNN
及其变种网络
可描述动态时间行为
,
显式地建模序列数据和多维数据中的复杂依赖关系,
其主要思想是利用独特设计结构
:“
门
”,
将输入序列编码为隐藏状态
,
并通过更新隐藏状态记忆数据中的重 要信息,
实现对长期依赖关系的预测。
而隐藏状态的更新策略包括
3
类
:
双曲正切
(tanh)
[18]
、长短期记忆
(long short-term memory,
简称
LSTM)和门控循环单元(gated recurrent unit,
简称
GRU)
[63]
.
其中
,LSTM
单元和
GRU
通过设计门内特殊交互机制调节信息流,
有选择地丢弃和添加信息
,
从而保留重要特征
,
并保证其在长期传播过程中不会丢失,门控机制也在一定程度上缓和了传统 RNN
的退化问题
,
有助于理解模型的决策依据
.
生成对抗网络
在各种不同的深度网络模型中
,GAN
是一种简单有效的数据建模工具
,
在其整个训练过程中
,
都无需提前
对数据做任何假设,此种网络结构通常包含两个部分,即生成器(generator)和判
别器(discriminator).
判别器试图区分由生成器产生的伪数据和真实数据
,
而生成器则想要产生与真实数据更加相似的伪数据去扰乱判别器,
此过程类似于博弈论中的二人零和博弈
(zero-sum game).GAN
的训练实质是寻找零和博弈的一个纳什均衡解.
最终
,
生成器能够产生与真实数据拥有相同分布的伪数据
,
也即学习到
了真实数据的潜在分布
.
四、基于深度学习的病理图像分割
基于
CNN
的病理图像检测与分割方法
通过构建
CNN
网络模型进行逐层训练和预测
,
可输出一个概率图,
其中
,
每个像素值表示该像素是种子的概率
;
然后
,
根据生成的概率图寻找局部最大值
,
从而实现组织基元的准确定位.
一方面
,
基于
CNN
分类的方法为了对一个像素分类
,
通常使用该像素周围的一个图像块作为 CNN
的输入用于训练和预测
,
由于存储开销大且计算效率低下
,
从而导致检测的性能受到限制;
另一方面
,
为解决错误分类问题
,CNN
也尝试采用回归策略将空间拓扑引入网络模型
以赋值目标中心邻近像素更高的概率值,进而实现精确检测目的,
例如深度回归网
、深度投票网、局部敏感深度网、
CNN
和压缩感知相结合的网络模型
传统
CNN
在图像细节捕获能力上具有缺陷.
针对组织病理细胞核图像
,
构建了两个卷积
–
池化层对和两个全连接层构成的 CNN2
模型
,
实现了端到端的模型训练
,
然后根据输出结果应用水平集模型
,
通过最小化能量函数完成对测试图像重叠细胞核的分割.
在此基础上
,
提出了更深的
CNN3
模型
基于
FCN
的病理图像分割方法
基于
FCN
的病理图像分割方法通常使用像素级别的人工分割样本作为训练数据集
,
进而通过逐像素计算损失进行学习,
例如交叉熵损失
,
虽然提升了传统
CNN
网络的分割性能
,
但由于受下采样的影响
,
使得上采样的特征图很难保留有意义的空间信息
由于传统像素级损失函数同等地对待图像中每个像素点,
因而当大小、厚度不一致时,分割和追踪
果会有较大差异结。
基于反向传播算法的自动求梯度
,
极大地简化了优化算法的实现
.
考虑到边缘信息的空间特性,
将一个轮廓数据拟合项引入交叉熵损失函数
,
由此
,
通过随机梯度下降建模
腺体间交互关系则将分割任务建模为监督回归问题,由此通过自适应矩估计 (adaptive moment estimation,简称 Adam)解决重叠细胞核分割问题.
FCN 框架
对检测和分割任务进行建模
,
通过定义并最小化检测损失函数和分割损失函数
,
实现对不同
类型细胞的准确识别
.
基于编码器
–
解码器模型的病理图像分割方法
目前
,
编码器
–
解码器模型在计算机视觉和人工智能领域得到了广泛应用
.
与传统
FCN
相比
,
编码器
–
解码器模型在病理图像分析的应用逐步引起广泛关注
在现有的编码器-解码器模型中,U-Net是病理图像分割中应用最为广泛的技术之一,其主要思想是:在收缩路径上捕获全局特征和在扩展路径上实现精确定位,从而较好解决了复杂神经元结构的分割问题.
除了主流的
U-Net,V-Net
及其变种网络
,
其他类型的编码器
–
解码器模型
也已经应用到病理图像的语义分割.
例如
:
针对大脑神经元图像
,
分别提出了深度上下文分割网络和残差反卷积分割网络。
基于
RNN
的病理图像分割方法
CNN
和
FCN
模型相比
,RNN
在病理图像分割领域
,
研究者关注较少
,
一般而言
,RNN
利用自身循环结构渐进地训练多个弱预测器
,
可迭代改进分割结果
,
增加对局部错误的鲁棒性,
且模型参数规模较小
,但是如何
同时捕捉空间区域内各元素强度的相关性以及它们各自随时间的演变规律,
一直是亟待解决的核心难题之一,
将 CNN 或
FCN 与
RNN
进行堆叠
,
这样在每个时间步中
,
上层卷积网络特征编码的输出为下层
RNN
序列建模的输入
,
例如 RACE-Net
模型。
基于
GAN
的病理图像分割方法
GAN
能够检测到预 测分割和人工分割结果间高阶统计量的细微差异[144]
.
尤其随着
CGAN
的引入
,
对抗分割方法可通过增加感受野的大小学习基于上下文感知的结构化网络损失
,
从而解决复杂背景结构下的细胞分割问题
实现效果图样例
基于栈式稀疏自编码器的细胞核检测,用于检测细胞核和分类病理图像
GAN
网络出现以来
,
关于其在病理学领域的应用研究文献不断涌现
,
其中包括图像生成
、 病灶检测、癌症亚型分类
、腺和细胞分割,如图:
我是海浪学长,创作不易,欢迎点赞、关注、收藏、留言。
毕设帮助,疑难解答,欢迎打扰!
最后