背景：

  • BP在产生的过程中：会产生梯度消失／梯度爆炸。　为了阻止这种情况发生

 

优点与缺点：

  • 优点：简单粗暴
  • 缺点：很难找到满意的阈值

 

代码：

torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=20)

 

 

 

 

参考：https://www.cnblogs.com/lindaxin/p/7998196.html

Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

GPT-6 Astra 企业微信和飞书知识库机器人教程

在聊天平台里发送一条带有明确问题的测试消息，确认机器人能收到、GPT-6 Astra 能回复、回复能回到原来的群聊或私聊。完成这一步，这个教程或案例就跑通了。项目与完整配置参考：https://github.com/langbot-app/LangBot。

avatar DAMO开发者矩阵

GPT-6 Astra 企业微信和钉钉机器人部署教程

在聊天平台里发送一条带有明确问题的测试消息，确认机器人能收到、GPT-6 Astra 能回复、回复能回到原来的群聊或私聊。完成这一步，这个教程或案例就跑通了。项目与完整配置参考：https://github.com/langbot-app/LangBot。

avatar DAMO开发者矩阵

【Koopman降阶非线性辨识与控制】数据驱动Data-driven的库普曼Koopman控制特征函数研究（Matlab代码实现）

复杂工业与机器人领域的动力学系统普遍具备强非线性、多模态演化特性，传统基于机理建模的控制方案高度依赖系统先验知识，局部线性化手段仅能在小工作区间保证控制效果，难以适配大范围工况下的预测与闭环控制需求。Koopman 算子理论为非线性动力学分析提供全新范式，通过将有限维非线性状态映射至无穷维可观测函数空间，实现非线性动力学的全局线性表征，规避传统局部线性化的固有局限。

avatar DAMO开发者矩阵