一

机器学习定义

计算机程序从经验E中学习，解决某一问题T，进行某一性能度量P，通过P测定在T上的表现因经验E而提高。

监督学习

回归问题（预测值连续）
分类问题（预测值离散）

无监督学习

无监督学习算法可以把数据分成不同的簇。

二

模型描述

假设函数，参数，代价函数，优化目标。
当代价函数有两个参数时，可以用等高图表示。

梯度下降

梯度下降算法
最小化J函数，即要最小化h函数，就是最小化各个θ。
：=是赋值语句
α称为学习率，即在梯度下降时，我们迈出多大的步子。
同时更新temp0和temp1。

三

矩阵和向量

向量是只有一列的矩阵。
矩阵与向量的乘法。
矩阵与矩阵的乘法。
矩阵的逆及转置。

四

多元梯度下降法

特征缩放

图一：如果两个参数取值范围相差过大（如X1取值0-2000，X2取值1-5），得到的等值线是个椭圆，在梯度下降时会走弯路。
图二：若把X1除2000，X2除5，得到的等值线接近于圆，会有一条更直接的路线接近于全局最小值。

均值归一化：
用Xi减去他的均值，除以他的取值范围。
还可以使用化作标准正态分布的公式。这里的S1可以是标准差，也可以是取值范围的大小，即X的取值的最大值减去最小值。

学习率

如果代价函数图像上升或者出现波浪形，那么很有可能是学习率α太大，出现了图二来回跑的情况。
α太小会导致下降很慢。

正规方程（区别于迭代方法的直接解法）

通过上图中最后的式子就可以求出使得代价函数最小化的θ。

梯度下降和正规方程的优缺点比较。
特征变量数目小时适用正规方程。

五

矢量

将式子中的各项化作向量更有利于用工具进行计算。

六

分类

线性回归不适用于分类问题。可以使用logistic回归算法，其输出一直介于0到1之间。

假设陈述

假设函数h(x)。
g称为sigmoid函数。
h(x)大于等于0.5则预测y为1，否则预测y为0。

决策界限

图中的这条斜线被称为决策边界，在这条线的右上方，假设函数预测y=1。

代价函数

如果我们继续用之前的平方函数定义代价函数的话，会得到一个非凸函数。所以我们要找一个不同的代价函数，他是凸函数。

h是在0到1之间变化的。如果真实值y=1，则-log（h（x））的图像如图，若预测值h=0，则代价函数会很大。

简化代价函数与梯度下降

可以把代价函数合并写到一个式子。
logistic回归和线性回归的梯度下降虽然看起来相同，但是式子中的h函数是不同的。

高级优化

代码要做的是算出J(θ）以及他的偏导,图中给出了其他最小化代价函数的算法。
这些算法不需要给出学习率α，更快收敛。但是这些算法也更复杂。

七

过拟合问题

过拟合：算法在训练集上表现好，但在测试集上表现不好，泛化性能差。
解决办法：
1.尽量减少选取变量的数量；
2.正则化，保留所有的特征变量，减少量级或参数θ的大小。

代价函数

要使上图中的min式子尽可能小，则θ3和θ4就要尽可能的小。使得四次方程接近于二次方程。
J是正则化代价函数，式子最后一项是正则化项，λ是正则化参数。

线性回归的正则化

梯度下降中的方法，θj是加入正则化项之后的式子。括号内θj的参数是略小于一的正数，式子后一项与之前的代价函数项相同。
正规方程中的方法，在求最小的θ时加入正则化项即可。n为特征数量。

logistic回归的正则化

形式跟之前的相似，但是代价函数h不同。

八

非线性假设

之前提到的算法并不能解决当n很大时学习非线性假设的问题，因为特征太多。由此引出神经网络，他在学习复杂的非线性假设上被证明是很好的算法。

模型

可以加入额外的偏置单元X0和a0，他们恒等于1。Layer1称为输入层，Layer2称为隐藏层，Layer3称为输出层。

例子

通过神经网络实现逻辑与运算。

多元分类

当要识别的目标是多个不同物体时，称为多元分类。如图，输出层的每一个单元表示一个物体，若识别为人则输出向量（1 0 0 0），以此类推。

九

代价函数

找到方法让J(θ)最小
神经网络的代价函数。正则化项是从1开始的。