如是我闻：

语言模型的目标是估计：
$$p(w_t\mid w_1,w_2,\dots ,w_{t-1})$$
RNN 是一种可以逐步读取输入词序列并更新“记忆”的神经网络模型。今天我们就手动算一个最小化 RNN 的例子，从输入词向量 → 计算隐藏状态 → softmax 预测。

---

✅ 设定：极简词表

我们用一个小词表：

单词	编号
“I”	0
“like”	1
“cats”	2

---

✅ 模型参数设计

📦 词嵌入矩阵 $C\in {\mathbb{R}}^{2\times 3}$

每个词是一个 2 维向量，矩阵为：
$$C=\left[\begin{array}{ccc}1& 0& 1\\ 0& 1& 1\end{array}\right]$$

表示：

• “I” → $[1,0{]}^T$
• “like” → $[0,1{]}^T$
• “cats” → $[1,1{]}^T$

---

🧠 RNN 权重参数：

• $W=\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]$（词向量部分）
• $U=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]$（隐藏状态部分）
• $b=\left[\begin{array}{c}0\\ 0\end{array}\right]$（偏置项）
• 初始状态：$h_0=\left[\begin{array}{c}0\\ 0\end{array}\right]$
• 激活函数：简化为 $\tanh (x)\approx x$

---

🔚 输出层参数：

• $V=\left[\begin{array}{cc}1& 0\\ 0& 1\\ 2& 2\end{array}\right]\in {\mathbb{R}}^{3\times 2}$

输出层目标是将隐藏状态 ( h ) 投影为 logits，表示下一个词的得分。

---

🧮 输入句子：“I like”

我们计算这个序列经过 RNN 的处理，最终预测第三个词的概率分布。

---

⏳ Step 1: 输入 “I”

查词向量：
$$x_1=C(w_1)=C(0)=\left[\begin{array}{c}1\\ 0\end{array}\right]$$

隐藏状态计算：
$$h_1=\tanh (b+U{h}_0+W{x}_1)\approx b+U{h}_0+W{x}_1=0+0+\left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}1\\ 0\end{array}\right]$$

---

⏳ Step 2: 输入 “like”

查词向量：
$$x_2=C(1)=\left[\begin{array}{c}0\\ 1\end{array}\right]$$

隐藏状态计算：
$$U{h}_1=\left[\begin{array}{cc}1& 0\\ 1& 1\end{array}\right]\cdot \left[\begin{array}{c}1\\ 0\end{array}\right]=\left[\begin{array}{c}1\\ 1\end{array}\right]$$

$$W{x}_2=\left[\begin{array}{cc}1& 1\\ 0& 1\end{array}\right]\cdot \left[\begin{array}{c}0\\ 1\end{array}\right]=\left[\begin{array}{c}1\\ 1\end{array}\right]$$

$$h_2=\tanh (b+U{h}_1+W{x}_2)\approx \left[\begin{array}{c}2\\ 2\end{array}\right]$$

---

🎯 输出预测：

$$V=\left[\begin{array}{cc}1& 0\\ 0& 1\\ 2& 2\end{array}\right],h_2=\left[\begin{array}{c}2\\ 2\end{array}\right]$$

$$V{h}_2=\left[\begin{array}{c}1\cdot 2+0\cdot 2\\ 0\cdot 2+1\cdot 2\\ 2\cdot 2+2\cdot 2\end{array}\right]$$
$$V{h}_2=\left[\begin{array}{c}2\\ 2\\ 8\end{array}\right]$$

$$\text{softmax}(V{h}_2)=\text{softmax}([2,2,8])=\left[\frac{e^2}{e^2+e^2+e^8},\frac{e^2}{e^2+e^2+e^8},\frac{e^8}{e^2+e^2+e^8}\right]\approx [0.0025,0.0025,0.995]$$

softmax：
$$\text{softmax}([2,2,8])\approx \left[\frac{e^2}{Z},\frac{e^2}{Z},\frac{e^8}{Z}\right]$$

近似计算：

• $e^2\approx 7.39$
• $e^8\approx 2980$
• $Z\approx 7.39+7.39+2980=2994.78$

所以概率分布为：
$$p\approx [0.0025,0.0025,0.995]$$

---

✅ 最终结果

模型预测下一个词是：“cats”，概率高达 99.5%。结果非常amazing啊

以上