联系我们： 手动添加方式: 微信>添加朋友>企业微信联系人>13262280223 或者 QQ: 1483266981
这是一篇是创建统计数据模型并进行决策分析
ST3901: Statistical Learning and Decision Making
Exercise 5
这是本课程的最终项目。我们的任务是写我们自己的学习和
关于作业4中使用的综合数据集的分类程序。提醒一下，
这些数据样本x∈R
2是根据混合高斯模型生成的
pX | Y（x | i）=
n集群
X
j = 1
cj
·N（x; μi，j，I2），i = 0，1
其中μi，j是一些随机选择的聚类中心，I2是2×2恒等式协方差矩阵，
和cj
满足P

cj =1。生成数据的典型图，nClusters = 10
如下图所示。我们在作业4中表明，该数据集可以是
通过简单的神经网络学习和分类。这个项目的目的是写我们的
自己的学习算法，基于参数的迭代更新，可以完成相同的任务，
这样我们就可以了解神经元内部的关键成分是什么
网络。
模型族和参数
首先，我们定义一个模型族。当然我们可以定义要混合的家庭
高斯主义者，但这似乎在作弊。给出了常用的模型族
如下所示。
1个
PY | X（i | x;θ）= e
固定）
P
一世

固定）
y = i∈Y（1）
对于Y可以采用的每个值i的一组函数Fi（x）。现在快速观察一下
在每个Fi（x）上增加一个常数不会改变该比率，因此w.o.l.g.我们经常
方便约束
X
一世
对于所有x，Fi（x）= 0。
在此项目中，我们仅考虑Y = {0，1}的简单情况，即，我们只有
两个类，所以我们有F1（x）= -F0（x）= F（x）。因此，我们将以更简单的方式工作
建模为
PY | X（1 | x）= e
F（x）

F（x）+ e
-F（x）
，PY | X（0 | x）= e
-F（x）

F（x）+ e
-F（x）
（2）
并且在不引起混淆的情况下，我将在下面将矢量符号放在X上。
我们假设
F（x）= X
k1
j = 0
权重[j]·b（x，中心[j]）（3）
即一些易于计算且易于实现的基本函数b（x，center）的线性组合
适合，我们将在后面给出一个示例。我们需要担心的是找到这些权重
以及基本函数的中心系数。我们总共允许其中k个
模型的复杂性。我们写θ=（权重[j]∈R，中心[j]∈R
2
，j = 0，。 。 。 ，k 1）
作为分布的参数。 θ是我们需要从数据中学到的东西。什么时候我们
给出了一组训练样本（x [i]，y [i]），i = 0，。 。 。 ，n 1，我们需要找到最大值
θ的似然估计
θML = arg最大值
θ
1个

Xn-1
i = 0
记录PY | X（y [i] | x [i]）！
（4）
其中，PY | X取决于（2）和（3）中定义的参数θ。
简短讨论1您可能会觉得（2）中的形式有些奇怪。我们为什么不
直接将分布写为简单函数的线性组合原来是
当我们在指数上进行线性组合的这种特殊形式很方便
有很多样本，我们希望将它们的对数似然值相加。这个表格是
与“指数家庭”的概念密切相关，这一概念非常重要，但我们将
在本课程中不做详细介绍。我们当然鼓励您尝试其他形式的
分布家庭。
2
基本函数b（x，center）可以选择为易于实现的单峰函数
计算。我们希望x接近中心时函数值更大而更小
除此以外。例如，一个简单的选择可以是
b（x，中心）=（
如果kx centerk为1
2