宫颈癌医学图像分析--宫颈图像与组织玻片

nykek5i

宫颈癌关联任务

针对宫颈癌，有有些基于宫颈图像的任务，亦有在宫颈切片上的关联工作。

基于宫颈图像的任务

子宫颈非典型增生归类

文案：Multimodal Deep Learning for Cervical Dysplasia Diagnosis, MICCAI 2016.

术语：

Cervical intraepithelial neoplasia (CIN) ：宫颈上皮内瘤变

Cervical Dysplasia：子宫颈非典型增生

Screening：筛查

综述：这是该行业深度学习第1篇文案，科研的问题是运用宫颈图像和额外信息（HPV和Pap检验结果等）进行多模态信息融合并归类。几种类别包含：Normal（正常）、CIN1 (mild，轻度)、CIN2 (moderate，中等)和CIN3 (severe，重度)。CIN2/3 (CIN2+)，即癌症，必须对应的治疗。这儿重点的办法是两路特征分别处理，最后拼接，再采用全连接的方式完成信息融合。

图1 多模态子宫颈非典型增生类型诊断

基于碘和醋酸图像和目的检测的办法

文案：Multi-modal Fusion Learning for Cervical Dysplasia Diagnosis. IEEE International Symposium on Biomedical Imaging (ISBI), 2019.

综述：这是浙大课题组的工作，经过前期特征融合模块融合两个网络（分别对应不同模态）在不同尺度的特征，最后将融合后的图像特征直接和非图像特征拼接，再进行归类。

图2 基于目的检测丁文后的双路fusion办法

基于单向双向特征融合的办法

文案：Multi-view Learning with Feature Level Fusion for Cervical Dysplasia Diagnosis, MICCAI 2019.

综述：这是吴健老师课题组的工作，仍然是基于碘和醋酸宫颈图像。经过类似于构建特征金字塔的方式，在每一个尺度对特征进行融合。二种融合方式包含一主一辅的单项融合，以及二个模态对等的双向融合。在最后的评测中两种办法各有千秋。