https://multipleriver.github.io/tags/matrix/ Recent content in Matrix on River's Blog Hugo zh-CN Fri, 15 May 2026 00:00:00 +0000 https://multipleriver.github.io/posts/bias%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E7%9A%84%E5%81%8F%E7%BD%AE%E4%B8%8E-tikhonov-%E6%AD%A3%E5%88%99%E5%8C%96/ Fri, 15 May 2026 00:00:00 +0000 https://multipleriver.github.io/posts/bias%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0%E7%9A%84%E5%81%8F%E7%BD%AE%E4%B8%8E-tikhonov-%E6%AD%A3%E5%88%99%E5%8C%96/ <p>在神经网络和矩阵分析中，经常会看到一种表面相似的操作：给某个表达式加一个小量。</p> <p>在线性最小二乘的 Tikhonov 正则化中，我们把</p> $$ \min_x \|Ax-b\|_2^2 $$<p>改成</p> $$ \min_x \|Ax-b\|_2^2+\lambda\|x\|_2^2 $$<p>求导后，法方程从</p> https://multipleriver.github.io/posts/%E4%BB%8E%E5%88%97%E6%BB%A1%E7%A7%A9%E5%88%B0%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E7%9F%A9%E9%98%B5%E6%80%A7%E8%B4%A8%E4%B8%B2%E7%83%A7/ Fri, 15 May 2026 00:00:00 +0000 https://multipleriver.github.io/posts/%E4%BB%8E%E5%88%97%E6%BB%A1%E7%A7%A9%E5%88%B0%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E7%9F%A9%E9%98%B5%E6%80%A7%E8%B4%A8%E4%B8%B2%E7%83%A7/ <p>我们从一个很小的例子开始。</p> <p>设</p> $$ A= \begin{bmatrix} 1 & 2\\ 2 & 4\\ 3 & 6 \end{bmatrix} $$<p>这个矩阵有两列：</p> $$ a_1= \begin{bmatrix} 1\\2\\3 \end{bmatrix}, \qquad a_2= \begin{bmatrix} 2\\4\\6 \end{bmatrix} $$<p>显然</p> $$ a_2=2a_1 $$<p>也就是说，第二列并没有提供新的方向。虽然 $A$ 有两列，但它真正独立的列方向只有一个。</p>