图像处理中的细胞核检测、分割、分类方法综述.pptx

本PPT基于Methods for Nuclei Detection,Segmentation and Classification in Digital Histopathology:A Review.Current Status and Future Potential制作，历时2周，补充了大量的图像处理方面的基础。主要关注点为细胞检测、分割、分类。对图像处理有所需要这自行下载。能力所限，多有不足。by 临风游吟 1/140 Methods for Nuclei Detection,Segmentation and Classification in Digital Histopathology:A Review.Current Status and Future Potential Humayun Irshad,Student Member,IEEE,Antoine Veillard,Ludovic Roux,Daniel Racoceanu,Member,IEEE,2/140 outline 简介和动机 细胞分割和分类的挑战 图像处理方法简介 检测、分割和分类的方法 讨论 3 This present review is intended as a comprehensive state-of-the-art survey on the particular issues of nuclei detection,segmentation and classification methods restricted to two widely available types of image modalities:H&E and IHC.We conclude with a discussion,pointing to future research directions and open problems related to nuclei detection,segmentation and classification.4 染色 苏木精 伊红染色法(hematoxylin-eosin staining)，简称HE染色法。细胞核深蓝色，其他（细胞质，基质等）粉红色。免疫组织化学（Immunohistochemistry，IHC）又称免疫细胞化学，是指带显色剂标记的特异性抗体在组织细胞原位通过抗原抗体反应和组织化学的呈色反应，对相应抗原进行定性、定位、定量测定的一项新技术。5 6 照明 统一的光照是必须的。显微镜，样本厚度，染色等会导致照度不均。照相技术对不同波长的光的敏感度不一致（短波-蓝长波-红）。使用标准套件纠正光谱和空间光照变化。7 重点 淋巴细胞：形状规则，比上皮细胞小 上皮细胞：染色质均匀，边界平滑（健康）；变大，染色质分布不均，边界不规则（癌变）8 挑战 病理图像中待检测、分割、分类的细胞通常有很多的计算机视觉问题，这些视觉问题由很多因素导致，包括切片处理和图像采集等。细胞核通常是聚集在一起且存在重叠，并有多样化的外观。一个成功的图像处理方法应该是能够用鲁棒的方式克服这些问题以便在各种情况下都有高质量和准确率。9 图像处理方法 阈值（thresholding）形态学（morphology）区域生长（region growing）分水岭（watershed）主动轮廓模型和水平集（active contour model and level sets）K-均值聚类（K-means clustering）概率模型（probabilistic models）图切割（graph cuts）10 Thresholding 目标和背景内部的相邻像素间的灰度值是高度相关的，但在目标和背景交界处两边的像素在灰度上有很大的差别。全局二值化 11 全局阈值：仅根据图像像素本身性质 1、极小点阈值 2、最优阈值 3、最大凸残差阈值；局部阈值：像素本身性质和局部区域性质 1、直方图变换 2、灰度-梯度散射图 动态阈值：像素本身性质、局部区域性质以及像素位置坐标 12 13 Morphology 形态学是一门建立在集论基础上的学科，将图像视为元素的集合，将图像作为几何形状进行处理。形态学图像处理是在图像中移动一个结构元素，然后将结构元素与下面的二值图像进行交、并等集合运算。常用的结构元素有十字，矩形和圆形等。14 在形态学中，结构元素是最重要最基本的概念。结构元素在形态变换中的作用相当于信号处理中的“滤波窗口”。基本的形态运算是腐蚀和膨胀。腐蚀和膨胀公式：15 16 先腐蚀后膨胀的过程称为开运算。它具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。先膨胀后腐蚀的过程称为闭运算。它具有填充物体内细小空洞，连接邻近物体和平滑边界的作用。均会除去比结构元素小的图像细节。17 18 White and black top-hat transforms：可以提取元素和细节。White top-hat transforms Black top-hat transforms 19 20 形态学梯度：用于边缘检测 21 Region growing 种子区域生长法是从一组代表不同生长区域的种子像素开始，接下来将种子像素邻域里符合条件的像素合并到种子像素所代表的生长区域中，并将新添加的像素作为新的种子像素继续合并过程，直到找不到符合条件的新像素为止。22 23 选择或确定一组能正确代表所需区域的种子像素 确定在生长过程中能将相邻像素包括进来的准则 制定让生长停止的条件或规则 24 Watershed 分水岭法是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。25 该算法的实现可以模拟成洪水淹没的过程，图像的最低点首先被淹没，然后水逐渐淹没整个山谷。当水位到达一定高度的时候将会溢出，这时在水溢出的地方修建堤坝，重复这个过程直到整个图像上的点全部被淹没，这时所建立的一系列堤坝就成为分开各个盆地的分水岭。分水岭算法对微弱的边缘有着良好的响应，但图像中的噪声会使分水岭算法产生过分割的现象。26 27 ACM能量函数：以规范化曲线形状为目的的项，称为内能量,最小化内能量使得曲线不断向内部紧缩且保持平滑 以靠近目标物体边缘为目的的项，称为外能量,外能量则是保证曲线紧缩到目标物体边缘时停止。是自定义或目标物体先验的知识，来控制边界。Active contour model and level sets 28 参数活动轮廓模型是基于Lagrange框架，直接以曲线的参数化形式来表达曲线，最具代表性的是Snake模型。该类模型在早期的生物图像分割领域得到了成功的应用，但其存在着分割结果受初始轮廓的设置影响较大以及难以处理曲线拓扑结构变化等缺点.29 基本思想是 1）在图像中初始化一个闭合曲线轮廓。形状任意，只要保证将目标物体完全包含在曲线内部即可；2）然后构建能量方程。能量方程由两部分组成。3）根据能量方程，计算出表示曲线受力的欧拉方程（Euler equation）。按照曲线各点的受力来对曲线进行变形，直至受力为0。此时能量方程达到最小值，曲线收敛到目标物体边缘。30 几何活动轮廓模型的曲线运动过程是基于曲线的几何度量参数而非曲线的表达参数，因此可以较好地处理拓扑结构的变化，并可以解决参数活动轮廓模型难以解决的问题。而水平集（LevelSet）方法的引入，则极大地推动了几何活动轮廓模型的发展，因此几何活动轮廓模型一般也可被称为水平集方法。31 基本思想是将图像按照曲线量化为level set函数（最常用的是signed distance function）。level-set类似于等势线，一幅图像上所有level-set值等于某个常量的点构成一个闭合曲线。因此，t时刻的曲线可以表示为：C(t)=(x,y):u(t,x,y)=0 这样的曲线表示方法不依赖于参数化，因此是曲线的本征表示。这样就将曲线的运动转化为zero level-set函数的运动。32 Level sets 水平集(levelset)的基本思想是将界面看成高一维空间中某一函数（称为水平集函数）的零水平集，同时界面的演化也扩充到高一维的空间中。我们将水平集函数按照它所满足的发展方程进行演化或迭代，由于水平集函数不断进行演化，所以对应的零水平集也在不断变化，当水平集演化趋于平稳时，演化停止，得到界面形状。33 简单来说就是把低维空间上的函数通过水平集的方法来转化为高维空间(如果低维是n，则这里的高维指n+1)假设用C(p,t)表示一个沿其法向方向的闭合曲线，它可以是二维中的一条闭合曲线(curve)，也可以是三维中的一个闭合曲面(Surface)。34 如果把水平集函数 中的z变量变为t，则二维空间的闭合曲线就是通过截取不同时刻三维空间连续函数曲面的水平层。当函数中的t取不同的值时，水平集函数对应不同的水平集，三维中的函数就是这样映射到二维的平面中的。也就是将二维中曲线的演化转化为了三维中的曲面的演化，低维变化到了高维，低维中的问题变化到了高维进行求解。35 36 Maximum Likelihood 极大似然原理的直观想法是：一个随机试验如有若干个可能的结果A，B，C，。若在一次试验中，结果A出现，则一般认为试验条件对A出现有利，也即A出现的概率很大。37 假设数据是服从同一个概率分布p(x|)的分布参数，那么抽到A的概率是p(xA|)，抽到B的概率是p(xB|)，那因为他们是独立的，同时抽到A和B的概率是p(xA|)*p(xB|)，那么从分布是p(x|)的总体样本中抽取到n个样本的概率，也就是样本集X中各个样本的联合概率，用下式表示：最大似然估计会寻找关于的最可能的值 38 求最大似然函数估计值的一般步骤：（1）写出似然函数；（2）对似然函数取对数，并整理；（3）求导数，令导数为0，得到似然方程；（4）解似然方程，得到的参数即为所求；39 Expectation Maximization 期望最大化（Expectation-maximuzation）算法在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。EM是一个在已知部分相关变量的情况下，估计未知变量的迭代技术。40 EM的算法流程如下：1：初始化分布参数：2：重复直到收敛。E步骤：估计未知参数的期望值，给出当前的参数估计。M步骤：重新估计分布参数，以使得数据的似然性最大，给出未知变量的期望估计。41 K-means clustering K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。该算法认为簇是由距离靠近的对象组成的，因此把得到紧凑且独立的簇作为最终目标。42（1）从 n个数据对象任意选择 k 个对象作为初始聚类中心；（2）根据每个聚类对象的均值（中心对象），计算每个对象与这些中心对象的距离；并根据最小距离重新对相应对象进行划分；（3）重新计算每个（有变化）聚类的均值（中心对象）（4）循环（2）到（3）直到每个聚类不再发生变化为止 43 Fuzzy c-means clustering 模糊c-均值聚类算法 fuzzy c-means algorithm(FCMA)或称（FCM）。在众多模糊聚类算法中，模糊C-均值（FCM）算法应用最广泛且较成功，它通过优化目标函数得到每个样本点对所有类中心的隶属度，从而决定样本点的类属以达到自动对样本数据进行分类的目的。1973年，Bezdek提出 44 FCM用模糊划分，使得每个给定数据点用值在0，1间的隶属度来确定其属于各个组的程度。样本点的隶属度函数取值为区间0,1，同时每个样本点对各类的隶属度之和为1，即认为样本点对每个聚类均有一个隶属度关系，允许样本点以不同的模糊隶属度函数同时归属于所有聚类。模糊聚类方法的软性划分，真实地反映了图