2022年医学专题—图像处理中的细胞核检测、分割、分类方法综述(1).pptx

本PPT基于Methods for Nuclei Detection,Segmentation and Classification in Digital Histopathology:A Review.Current Status and Future Potential制作，历时2周，补充了大量的图像处理方面的基础。主要关注点为细胞检测、分割、分类。对图像处理有所需要这自行(zxng)下载。能力所限，多有不足。by 临风游吟,1/140,第一页，共一百四十二页。,Methods for Nuclei Detection,Segmentation and Classification in Digital Histopathology:A Review.Current Status and Future Potential,Humayun Irshad,Student Member,IEEE,Antoine Veillard,Ludovic Roux,Daniel Racoceanu,Member,IEEE,2/140,第二页，共一百四十二页。,outline,简介和动机细胞分割(fng)和分类的挑战图像处理方法简介检测、分割和分类的方法讨论,3,第三页，共一百四十二页。,This present review is intended as a comprehensive state-of-the-art survey on the particular issues of nuclei detection,segmentation and classification methods restricted to two widely available types of image modalities:H&E and IHC.We conclude with a discussion,pointing to future research directions and open problems related to nuclei detection,segmentation and classification.,4,第四页，共一百四十二页。,染色(rns),苏木精 伊红染色法(hematoxylin-eosin staining)，简称HE染色法。细胞核深蓝色，其他（细胞质，基质等）粉红色。免疫组织化学（Immunohistochemistry，IHC）又称免疫细胞(xbo)化学，是指带显色剂标记的特异性抗体在组织细胞(xbo)原位通过抗原抗体反应和组织化学的呈色反应，对相应抗原进行定性、定位、定量测定的一项新技术。,5,第五页，共一百四十二页。,6,第六页，共一百四十二页。,照明(zhomng),统一的光照是必须的。显微镜，样本厚度，染色等会导致照度不均。照相技术对不同波长的光的敏感度不一致（短波-蓝长波-红）。使用标准套件纠正(jizhng)光谱和空间光照变化。,7,第七页，共一百四十二页。,重点(zhngdin),淋巴细胞：形状规则，比上皮细胞小上皮细胞：染色质均匀(jnyn)，边界平滑（健康）；变大，染色质分布不均，边界不规则（癌变）,8,第八页，共一百四十二页。,挑战(tio zhn),病理图像中待检测、分割、分类的细胞通常有很多的计算机视觉问题，这些视觉问题由很多因素(yn s)导致，包括切片处理和图像采集等。细胞核通常是聚集在一起且存在重叠，并有多样化的外观。一个成功的图像处理方法应该是能够用鲁棒的方式克服这些问题以便在各种情况下都有高质量和准确率。,9,第九页，共一百四十二页。,图像处理(t xin ch l)方法,阈值（thresholding）形态学（morphology）区域(qy)生长（region growing）分水岭（watershed）主动轮廓模型和水平集（active contour model and level sets）K-均值聚类（K-means clustering）概率模型（probabilistic models）图切割（graph cuts）,10,第十页，共一百四十二页。,Thresholding,目标和背景内部(nib)的相邻像素间的灰度值是高度相关的，但在目标和背景交界处两边的像素在灰度上有很大的差别。全局二值化,11,第十一页，共一百四十二页。,全局阈值：仅根据图像(t xin)像素本身性质 1、极小点阈值 2、最优阈值 3、最大凸残差阈值；局部阈值：像素本身性质和局部区域性质 1、直方图变换 2、灰度-梯度散射图动态阈值：像素本身性质、局部区域性质以及像素位置坐标,12,第十二页，共一百四十二页。,13,第十三页，共一百四十二页。,Morphology,形态学是一门建立在集论基础上的学科，将图像(t xin)视为元素的集合，将图像(t xin)作为几何形状进行处理。形态学图像处理是在图像中移动一个结构元素，然后将结构元素与下面的二值图像进行交、并等集合运算。常用的结构元素有十字，矩形和圆形等。,14,第十四页，共一百四十二页。,在形态学中，结构元素是最重要(zhngyo)最基本的概念。结构元素在形态变换中的作用相当于信号处理中的“滤波窗口”。基本的形态运算是腐蚀和膨胀。腐蚀和膨胀公式：,15,第十五页，共一百四十二页。,16,第十六页，共一百四十二页。,先腐蚀后膨胀的过程称为开运算。它具有消除细小物体，在纤细处分离物体和平滑较大物体边界(binji)的作用。先膨胀后腐蚀的过程称为闭运算。它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。均会除去比结构元素小的图像细节。,17,第十七页，共一百四十二页。,18,第十八页，共一百四十二页。,White and black top-hat transforms：可以(ky)提取元素和细节。White top-hat transformsBlack top-hat transforms,19,第十九页，共一百四十二页。,20,第二十页，共一百四十二页。,形态学梯度(t d)：用于边缘检测,21,第二十一页，共一百四十二页。,Region growing,种子区域生长法是从一组代表不同生长区域的种子像素(xin s)开始，接下来将种子像素(xin s)邻域里符合条件的像素(xin s)合并到种子像素(xin s)所代表的生长区域中，并将新添加的像素(xin s)作为新的种子像素(xin s)继续合并过程，直到找不到符合条件的新像素(xin s)为止。,22,第二十二页，共一百四十二页。,23,第二十三页，共一百四十二页。,选择或确定一组能正确代表所需区域的种子像素确定在生长过程中能将相邻像素包括进来的准则制定让生长停止的条件(tiojin)或规则,24,第二十四页，共一百四十二页。,Watershed,分水岭法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学(dxu)上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。,25,第二十五页，共一百四十二页。,该算法的实现可以模拟成洪水淹没的过程，图像的最低点首先被淹没，然后水逐渐淹没整个山谷。当水位到达一定高度的时候将会溢出，这时在水溢出的地方修建堤坝，重复这个(zh ge)过程直到整个图像上的点全部被淹没，这时所建立的一系列堤坝就成为分开各个盆地的分水岭。分水岭算法对微弱的边缘有着良好的响应，但图像中的噪声会使分水岭算法产生过分割的现象。,26,第二十六页，共一百四十二页。,27,第二十七页，共一百四十二页。,ACM能量函数：以规范化曲线形状为目的的项，称为内能量,最小化内能量使得曲线不断向内部紧缩且保持平滑以靠近目标物体边缘为目的的项，称为外能量,外能量则是保证曲线紧缩到目标物体边缘时停止。是自定义或目标物体先验的知识(zh shi)，来控制边界。,Active contour model and level sets,28,第二十八页，共一百四十二页。,参数活动轮廓模型(mxng)是基于Lagrange框架，直接以曲线的参数化形式来表达曲线，最具代表性的是Snake模型。该类模型在早期的生物图像分割领域得到了成功的应用，但其存在着分割结果受初始轮廓的设置影响较大以及难以处理曲线拓扑结构变化等缺点.,29,第二十九页，共一百四十二页。,基本思想是1）在图像中初始化一个闭合曲线轮廓。形状任意，只要保证将目标物体完全包含在曲线内部即可；2）然后构建能量方程。能量方程由两部分组成。3）根据能量方程，计算出表示曲线受力的欧拉方程（Euler equation）。按照曲线各点的受力来对曲线进行变形，直至受力为0。此时能量方程达到最小值，曲线收敛(shulin)到目标物体边缘。,30,第三十页，共一百四十二页。,几何(j h)活动轮廓模型的曲线运动过程是基于曲线的几何(j h)度量参数而非曲线的表达参数，因此可以较好地处理拓扑结构的变化，并可以解决参数活动轮廓模型难以解决的问题。而水平集（LevelSet）方法的引入，则极大地推动了几何活动轮廓模型的发展，因此几何活动轮廓模型一般也可被称为水平集方法。,31,第三十一页，共一百四十二页。,基本思想是将图像按照曲线(qxin)量化为level set函数（最常用的是signed distance function）。level-set类似于等势线，一幅图像上所有level-set值等于某个常量的点构成一个闭合曲线。因此，t时刻的曲线可以表示为：C(t)=(x,y):u(t,x,y)=0这样的曲线表示方法不依赖于参数化，因此是曲线的本征表示。这样就将曲线的运动转化为zero level-set函数的运动。,32,第三十二页，共一百四十二页。,Level sets,水平集(levelset)的基本思想是将界面(jimin)看成高一维空间中某一函数（称为水平集函数）的零水平集，同时界面的演化也扩充到高一维的空间中。我们将水平集函数按照它所满足的发展方程进行演化或迭代，由于水平集函数不断进行演化，所以对应的零水平集也在不断变化，当水平集演化趋于平稳时，演化停止，得到界面形状。,33,第三十三页，共一百四十二页。,简单来说就是把低维空间上的函数通过水平集的方法来转化为高维空间(如果低维是n，则这里的高维指n+1)假设用C(p,t)表示一个(y)沿其法向方向的闭合曲线，它可以是二维中的一条闭合曲线(curve)，也可以是三维中的一个闭合曲面(Surface)。,34,第三十四页，共一百四十二页。,如果把水平(shupng)集函数 中的z变量变为t，则二维空间的闭合曲线就是通过截取不同时刻三维空间连续函数曲面的水平层。当函数中的t取不同的值时，水平集函数对应不同的水平集，三维中的函数就是这样映射到二维的平面中的。也就是将二维中曲线的演化转化为了三维中的曲面的演化，低维变化到了高维，低维中的问题变化到了高维进行求解。,35,第三十五页，共一百四十二页。,36,第三十六页，共一百四十二页。,Maximum Likelihood,极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，。若在一次试验中，结果A出现，则一般认为(rnwi)试验条件对A出现有利，也即A出现的概率很大。,37,第三十七页，共一百四十二页。,假设数据是服从(fcng)同一个概率分布p(x|)的分布参数，那么抽到A的概率是p(xA|)，抽到B的概率是p(xB|)，那因为他们是独立的，同时抽到A和B的概率是p(xA|)*p(xB|)，那么从分布是p(x|)的总体样本中抽取到n个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：最大似然估计会寻找关于的最可能的值,38,第三十八页，共一百四十二页。,求最大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数，令导数为0，得到(d do)似然方程；（4）解