一、正则化-岭回归-频率角度

回顾：

Loss Function：

过拟合的解决方法：

①最直接：加数据

②降维（特征选择/特征提取（PCA））

③正则化（对参数空间，例如w的约束）

正则化的框架：

L(w) + \lambda P(w)

（L(w)：Loss Function  λ：惩罚系数  P(w)：penalty(惩罚项)）

即优化的目标为：argmin[L(w) + \lambda P(w)]

若为L_{1}正则化：Lasso回归     P(w) = ||w||_{1}

若为L_{2}正则化：岭回归           P(w) = ||w||_{2} = w^{T}w

(备注L_{2}正则化又叫权重衰减)

优化目标函数：

接下来就对J(w)求极值计算w的最优值：

目标：w\hat{} = argminJ(w)

过程：

\frac{\partial J(w)}{\partial x} = 2(X^{T}X + \lambda E)\omega - 2X^{T}Y=0

(X^{T}X + \lambda E)\omega =X^{T}Y

\omega \hat{} = (X^{T}X + \lambda E)^{-1}X^{T}Y（岭回归下得到的解析解）

二、正则化-岭回归-贝叶斯角度 

回顾：

 目标：argmaxP(y|w)*P(w)

 结论：

①无正则化：最小二乘法（LSE） 等价于   最大似然估计（MLE）-（noise服从高斯分布）

②L_{2}正则化：Regularized LSE  等价于  最大后验估计（MAP）-（noise服从高斯分布）

# 人工智能 # 线性回归
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

2026微信机器人怎么搭建？手把手从0跑通收发消息（含完整代码）

很多人想做微信机器人，一上来就被各种框架、协议、SDK绕晕。其实跑通一个能用的机器人，最短路径只有三件事：让号在线、能发消息、能收消息。这篇用Python手把手走一遍，复制改Token就能跑。接口路径、参数与回调字段以api文档weiti.apifox.cn 为准。

avatar DAMO开发者矩阵

大模型入门学习笔记（一）：大模型基础与 Ollama 本地部署

本文系统记录大模型学习第一阶段内容，涵盖聊天机器人原理、大模型基础概念、私有化部署意义及Ollama的安装使用。重点介绍Ollama核心命令（如run、pull、list、show、rm）、API调用方式（POST /api/chat）及与ChatBox结合搭建本地AI聊天机器人。通过Streamlit+Ollama+Qwen技术栈，实现从模型运行到前端交互的完整链路，掌握大模型本地化部署与应用开

avatar DAMO开发者矩阵
cover

企业微信外部群机器人：如何把群内咨询自动转成可执行的业务请求

avatar DAMO开发者矩阵