• 前面我们介绍了 n 元语法，也就是单词 xtx_txt​ 在时间步 t 的条件概率仅取决于前面的 n-1 个单词。如果我们想将之前的单词都考虑进去会使得模型参数的数量呈指数增长
  • 我们考虑隐变量模型：其中 ht−1h_{t-1}ht−1​ 是隐状态，也叫隐藏变量，他存储到了时间步 t−1t-1t−1 的序列信息，我们可以根据当前输入 xtx_txt​ 和先前隐状态 ht−1h_{t-1}ht−1​ 来计算时间步 t 时的隐状态
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

1. 无隐状态的神经网络

  • 多层感知机只要可以随机选择“特征-标签”对， 并且通过自动微分和随机梯度下降能够学习网络参数就可以了。
    在这里插入图片描述

2. 有隐状态的循环神经网络

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

# 深度学习 # rnn
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

【网络安全】交换机安全配置

avatar DAMO开发者矩阵

工业人形机器人技术栈：视觉感知、VLA、运动规划与Sim2Real及其工业应用

深圳市发布智能机器人产业高质量发展方案，推动人形机器人与具身智能进入真实生产环境。其核心技术栈涵盖视觉感知、VLA任务理解、运动规划及仿真训练。工业场景凭借边界的明确性更易落地，但需解决Sim2Real差距。行业竞争正从机器人本体内演变为模型、数据、仿真与场景的完整系统能力较量。

avatar DAMO开发者矩阵

vLAN及VPC主机通讯详解

VLAN 内与跨 VLAN 主机之间数据包传输路径全解析：二层交换、三层路由、路由策略与防火墙策略的完整技术方案，并补充云上 VPC 内 / 跨 VPC 通信原理、配置与排查。

avatar DAMO开发者矩阵