机器学习中矩阵求导法则
机器学习中矩阵求导法则一、定义法求导二、分子与分母布局三、常见求导法则一、定义法求导矩阵求导的本质上就是矩阵中元素对元素的求导,只是将其按照矩阵的形式进行一些规范化的写法罢了标量、向量、矩阵组成9种求导的情况其中标量对于其他三种求导比较容易就不过多叙述了向量对于向量求导,一般先分成单个元素对于向量求导即可向量对于矩阵求导,一般先把矩阵按照行或者列划分成分块矩阵,然后就成为向量与向量的求导矩阵对于矩
·
一、定义法求导
矩阵求导的本质上就是矩阵中元素对元素的求导,只是将其按照矩阵的形式进行一些规范化的写法罢了
标量、向量、矩阵
组成9种求导的情况
- 其中标量对于其他三种求导比较容易就不过多叙述了
- 向量对于向量求导,一般先分成单个元素对于向量求导即可
- 向量对于矩阵求导,一般先把矩阵按照行或者列划分成分块矩阵,然后就成为向量与向量的求导
- 矩阵对于矩阵的求导仍然是采取分块的思想进行,分成向量和矩阵的求导
了解了求导的定义之后,如何将求导结果用矩阵表示就是下面这一部分所叙述的
二、分子与分母布局
-
分子布局
顾名思义就是按照分子的形状进行布局,例如分子为m * 1阶矩阵,那么求导之后也是按照m * 1阶进行排布
-
分母布局
按照分母的形状进行布局,与分子布局差一个转置
三、常见求导法则
矩阵求导仍然满足链式法则,以及加法等等法则

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
所有评论(0)