少有人走的路高斯混合模型(GMM)分类的理论有点复杂。当处理分类时候，基本理论之一就是贝叶斯决策规则。一般，贝叶斯决策规则告诉我们，通过最大化特征向量x属于某类的可能性，来最小化错分特征向量的可能性。这个所谓的“后验概率”应该在所有的类别中被最大化。然后，贝叶斯决策规则将特征空间划分为相互不连接的区域。这些区域被超平面所分割，例如对于1D数据被点分割，或者2D数据被曲线分割。尤其是，超平面是由点定义的，相邻的两个类是等可能的。
贝叶斯决策规则可以被表示如下：
其中:
：后验概率
：先验概率，假设特征向量的类是
，则特征向量x出现的概率
：类出现的概率
特征向量出现的概率
对于分类，后验概率应该在所有的类别中达到最大化。这里，我们粗略的展示一下怎么获得一个特征向量x的后验概率。首先，我们将其标注为
，例如如果x存在，类的概率则是一个常数。
贝叶斯分类器的第一个问题就是如何获得
，如一个类出现的概率。这有两种策略，第一种，你可以从被用的训练集中去评估它，当你的训练集不仅在样本的质量，还是样本集中单个类的频率，都具有代表性时，这种方法是被推荐的。由于这种策略是不稳定的，所以在大多数情况下，第二种策略是被推荐的。这里，假设每一类出现的概率是一样的，如
被设为1/m，m是现有类的数量。
贝叶斯分类器的第二个问题是如何获得先验概率。原则上，训练集中所有特征向量的直方图可以被利用。很明显的解决思路就是去把特征空间的每一维细分为许多位，但是位的数量会随着特征空间的维数成指数增长，你就会面对所谓的维数灾难。那么，想去得到一个好的近似
，你需要更多的内存，进而才能更合适的去处理。另一个解决方案，不是让一个位的大小保持不变，让位的样本数量变化，而是让一个类别
的样本数量k保持不变，变化的是包含k个样本
的特征向量x的周围空间内区域的体积在变化。体积依靠是类别的K个最近邻，所以此解决方案也被称为K最近邻密度评估。其有一个劣势就是，所有的训练样本必须存储在分类器中，k最近邻的搜索是非常耗时的。由于这个原因，它很少在实践中被运用。一个在实践中被采用的方案是，假设
遵循的是特定的分布，例如正态分布。然后，你仅仅必须去评估正态分布的两个参数，例如均值向量
和方差矩阵
，这个可以通过如最大似然估计实现。
在某些情况下，一个单独的正态分布时不足够的，因为在一个类的内部有很大的变化，例如字符‘a’可以用
或者
来代替，其有着很不同的形状。然而，两者属于同一个字符，例如相同的类。在一个具有很大不同的类内，
个不同密度的混合是存在的。如果再次被假设为正态分布，我们就有了一个高斯混合模型。用高斯混合密度模型去分类就意味着去评估一个样本具体是属于哪个混合密度。这可以被所谓的期望最小值算法来实现。
简单的说，GMM分类器用单个类的概率密度函数，并将它们表述为一个高斯分布的线性组合，如下图。同简单的分类方法相比，你可以想象一下GMM在簇中心构造一个n维错误(方差）椭圆体。如下图。
类别1的方差要大于类别2的。在这样的情况下，对于类的关系，到高斯错误部分曲线的距离比到簇中心的距离是一个更好的标准。
特征向量X到类1的错误椭圆更近，尽管到类1的簇中心的距离要大于到类别2簇中心的距离
GMM仅仅对于低维的特征向量是可行的（大约差不多15个特征），因此HALCON仅仅用GMM来对一般特征进行分类和图像分割，而不是OCR。典型的应用就是图像分割和异常检测。异常检测对于GMM识特殊的。其意味着不属于训练类之一的特征向量将被拒绝。值得注意的是，异常检测也可以应用SVM，但是具体的参数必须被设定，且仅仅是两类问题可以被处理，例如一个单独的类可以被训练，不属于那个单独类的特征向量将被拒绝。
