范数：首先，选择一个合适的矩阵范数来度量权重矩阵的“大小”。常见的矩阵范数包括：

• 1-范数（列和范数）：矩阵所有列向量绝对值之和的最大值。
• 2-范数（谱范数）：矩阵的最大奇异值。
• ∞-范数（行和范数）：矩阵所有行向量绝对值之和的最大值。
• Frobenius范数：矩阵元素平方和的平方根，类似于向量的欧氏范数。

举例

1. 矩阵的1-范数（列和范数）

定义: 矩阵每一列元素绝对值之和的最大值。

2. 矩阵的2-范数（谱范数）

定义: 矩阵的最大奇异值。

什么是奇异值？

3. 矩阵的∞-范数（行和范数）

定义: 矩阵每一行元素绝对值之和的最大值。

4. 矩阵的Frobenius范数

定义: 矩阵元素平方和的平方根。

通过这些具体例子，可以直观地看到不同矩阵范数如何衡量矩阵的“大小”或“强度”，进而理解它们在正则化过程中的作用。