牛人说|AI医学影像三大技术实战、优劣、经验及发展

这是AI掘金志的第二个讲座,美女CEO
简介如下:
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片

授课目录:1.医疗影像AI的发展状况以及我们可以怎么做
2.医疗影像应用的深度学习解决方案
3.分类网络在医疗影像中的应用及拓展
4图像切割在医疗影像中的应用及拓展
----------------------------------------------------------------------------------------------------------
1.牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片

这部分就是概括一下AI的作用


2.医疗影像应用的深度学习解决方案
复习:医疗影像类型
1.放射性影像:X光、CT、MRI、OCT(光学断层相干检查,主要用于眼科的眼底病的检查)

2.超声检测(实时查看,不利于图像的存储)

3.病理检测(图片超大)

4.内窥镜检测

5.高倍拍照:眼底、皮肤

举例:黄斑的分类
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片




应用深度
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


3.分类网络在医疗影像中的应用及拓展

主要包括分类网络
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


我们可以在上述网络中了解并且实现。
这部分讲解了三个案例
1.眼底等级判读

谷歌的眼底分类网络

牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


训练这个网络 使用的数据量非常大,包括128000张图像,其中,每一张图像都得到了54位眼科医生中3到7位医生的评估。这同样也会产生一个问题,就是医生的不一致程度高。如下图所示:
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


不同的颜色块代表疾病的不同程度,如果所有医生判断的一致性越高,那么一行的数据就越相同。
这个例子所用的数据量很大,可以直接训练。但如果数据集稍微小一点,可以用迁移学习。
基于Resnet和InceptionV3均可以迁移+Finetune
训练技巧:根据样本的复杂度选择锁层数量
2.X光及关注区域的获取

CAM网络(class activation mapping)可以用在无监督的情况下判断影像分类的区域。
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


方案要点:构成原理类似FCN网络,优势在于无监督,但在结论不够精确
训练:需要预训练

前提:需要物体相对明确。

如果数据是直接从医院拿过来的,那么多半是只有分类标签,而没有其他的标注,这种时候就可以尝试CAM方法。
3.sliding window病理切片的区域判读
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片

病理切片的特点:
1.大尺寸,确保足量够切

2.相似性,不太具有contexture(上下文关系)

牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


应用方案:sliding window+分类网络
实操要点:数据处理、multi-scale、置信区间、后期降噪
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片




4图像切割在医疗影像中的应用及拓展
主流做法:编码解码结构
孔洞卷积(事实证明很有用)

条件随机场

常用的网络如:
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


分割主流网络:unet(属于FCN网络)
是首个 应用于医学案例,也是深度学习用于图像切割早期重要论文。
最新进展:
*大内核:解决FCN同时多个问题切分的问题
*PSPnet:整合全局信息
*MaskRCNN:整合物体识别的优势和方法
优缺点:适用于有明确边缘的组织和病灶;缺点是标记难拿,数量不足,病灶类别不平衡
应用案例:
【牛人说|AI医学影像三大技术实战、优劣、经验及发展】案例一:标注FCN网络
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


论文;
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片


优点:基于整图的学习识别、速度快;不足:局部特征提取精度不足,微小病灶难以识别
案例二:
切片+跨越式结构+FCN(肽积木)
GAN网络
适用于各类生成、转化、在医疗领域应用似乎有限,但比较火
医疗领域的应用场景:
图像切割:标记生成
增强样本:可多提供一些数据,强化结果等
切割案例:
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片

合成病灶:生成假的肺结节
牛人说|AI医学影像三大技术实战、优劣、经验及发展
文章图片




    推荐阅读