# 数理统计、信息论与神经网络底座

> 假设检验误区、贝叶斯更新、信息熵与交叉熵、矩阵特征空间及反向传播原理。

---

LLMS 索引： [llms.txt](/llms.txt)

---

剥开深度学习黑盒，底层全是线性变换、信息压缩与统计推断的严密咬合。唯有打通矩阵几何、编码树熵与假设检验的数学直觉，才能看透模型训练的本质并避开数据归因陷阱。

## 一、神经网络原理与信息论直觉 {#nn-and-info-theory}

### 为何前馈推断极简训练极难，反向传播如何破局？ {#nn-inference-and-backprop}

辛顿与霍普菲尔德摘得诺贝尔物理学奖，印证了统计物理对神经网络的奠基。前馈推断只是逐层嵌套 \(a^l = \sigma(W^l a^{l-1} + b^l)\)，难在用光滑可导代价替代离散准确率做小批量梯度下降。百万参数逐一微扰必算力破产，反向传播定义本层误差 \(\delta^l \equiv \partial C / \partial z^l\)，借链式法则用一次前馈加一次 \((W^{l+1})^T\) 回传外积便一步算出全网梯度。

- [诺贝尔物理学奖颁给计算机领域了：神经网络奠基人辛顿与霍普菲尔德](/ai/nobel-neural-network/)
- [神经网络基本原理 · 神经网络推断](/ai/neuron-network/#神经网络推断)
- [神经网络基本原理 · 代价函数](/ai/neuron-network/#代价函数)
- [神经网络基本原理 · 反向传播方程](/ai/neuron-network/#反向传播方程)

### 分类为何用交叉熵，L2 正则又如何防过拟合？ {#cross-entropy-and-l2}

均方误差配 Sigmoid 时，输出误差受制于饱和区趋零的导数项 \(\sigma'(z)\)，导致“错得越离谱学得越慢”；改用交叉熵可精准约消 \(\sigma'(z)\)，化简为 \(\delta^L = a^L - y\)，使修正步长正比于偏差。同时过剩参数极易长出大权重死记噪声，L2 规范化引入 \(\frac{\lambda}{2n}\sum w^2\) 惩罚令权重按步衰减，寥寥数行即可将 MNIST 错误率从 4% 腰斩至 2% 以下。

- [神经网络基本原理 · 代价函数：交叉熵](/ai/neuron-network/#代价函数交叉熵)
- [神经网络基本原理 · 规范化](/ai/neuron-network/#规范化)

### 香农熵、互信息与相对熵在前缀树上有何物理直觉？ {#shannon-entropy-prefix-tree}

在二进制无前缀树上，分配长 \(L\) 的码字会报废其全部子分支，等于消耗 \(1/2^L\) 编码空间配额；令配额等于概率 \(p(x)\) 即得最优码长 \(\log_2(1/p(x))\)，加权期望便是无损压缩极限香农熵 \(H(X)\)。互信息 \(I(X;Y) = H(X) - H(X\mid Y)\) 恒非负，证明外部线索平均绝不增加不确定度；拿预测分布 \(q\) 硬压真实分布 \(p\) 多交的冤枉比特税，正是训练要挤干的 KL 散度 \(D(p \| q)\)。

- [信息论基础知识：熵 · 直觉](/ai/info-entropy/#直觉)
- [信息论基础知识：熵 · 互信息（mutual information）](/ai/info-entropy/#互信息mutual-information)
- [信息论基础知识：熵 · 交叉熵(cross entropy)与相对熵(relative entropy)](/ai/info-entropy/#交叉熵cross-entropy与相对熵relative-entropy)

## 二、概率公理、描述统计与假设检验 {#prob-and-stats}

### 概率论如何靠公理平息争拗，并将试验收敛为分布？ {#kolmogorov-and-random-var}

柯尔莫哥洛夫搁置频率与主观信念之争，在 \(\sigma\) 代数上仅凭非负性、规范性 \(P(S)=1\) 与互斥可数可加性三条公理，便严密推出全部概率法则。已知事件发生即将样本空间坍缩重归一化为条件概率 \(P(A\mid B) = P(A\cap B)/P(B)\)，进而导出贝叶斯逆向溯因。面对 \(2^{50}\) 级爆炸样本空间，引入映射到实轴的随机变量函数 \(X\)，离散与连续现象便统一收敛于累积分布函数 \(F_X(x) = P(X \le x)\)。

- [概率论基本概念 · 定义：概率函数](/ai/probability-intro/#定义概率函数)
- [概率论基本概念 · 定义：条件概率](/ai/probability-intro/#定义条件概率)
- [概率论基本概念 · 定义：随机变量](/ai/probability-intro/#定义随机变量)

### 描述统计有何运算禁区，样本方差为何除以 N-1？ {#scale-rounding-and-bessel}

称名、顺序、等距、比率四级量表锁死了合法运算：顺序仅能比大小，等距无绝对零点禁求比率；偏态分布须用中位数抗离群值，数值修约靠“四舍六入五取偶”银行家舍入消除进位上漂。用样本估总体方差时，围绕样本均值 \(\bar{X}\) 的离差平方和恒最小，除以 \(N\) 的期望 \(\frac{n-1}{n}\sigma^2\) 永远偏低——因算 \(\bar{X}\) 已耗去 1 个自由度，必须除以 \(N-1\) 才无偏。

- [统计学基础：描述统计 · 2.1 测量量表（Scale）](/ai/descriptive-stats/#21-测量量表scale)
- [统计学基础：描述统计 · 方差估计的证明](/ai/descriptive-stats/#方差估计的证明)

### 皮尔逊相关有何几何本质，为何高相关不等于因果？ {#pearson-cosine-and-causality}

数据化为标准分数 \(z = (X-\mu)/\sigma\) 后，皮尔逊相关系数 \(r\) 既是中心化向量夹角余弦 \(\cos\theta\)，也是标准空间回归斜率，\(r^2\) 给出因变量变异被解释的比例。但相关绝不等于因果：混杂变量与巧合皆可造假，唯有主动操纵自变量的真实验能定因果；实操中截断区间的全距效应会低估相关，单个离群点又能拉出伪高相关。

- [统计学基础：描述统计 · 皮尔逊线性相关系数 \(r\)](/ai/descriptive-stats/#皮尔逊线性相关系数r)
- [统计学基础：描述统计 · 相关不代表因果](/ai/descriptive-stats/#相关不代表因果)

### 为何 p 值常遭倒置误读，实验该如何结合效应量？ {#p-value-and-effect-size}

全称命题只能证伪不能证实，假设检验故设无差异虚无假设 \(H_0\) 靠小概率反证。把 \(p\) 小于 0.05 当成“\(H_0\) 仅 5% 为真”是条件概率倒置谬误：\(p\) 值只是 \(P(D^*\mid H_0)\) 而非 \(P(H_0\mid D^*)\)；小样本易因检验力 \((1-\beta)\) 不足漏掉真效应，海量样本又会把毫无实用价值的微弱噪声刷出“统计显著”。正道是报告独立于样本量的效应量，联合 \(\alpha\) 与检验力事前反推样本规模。

- [推断统计：p值的前生今世 · 假设检验的哲学基础](/ai/inferential-stats/#假设检验的哲学基础)
- [推断统计：p值的前生今世 · 假设检验的结果](/ai/inferential-stats/#假设检验的结果)
- [推断统计：p值的前生今世 · 效应量的作用](/ai/inferential-stats/#效应量的作用)

## 三、线性变换、对偶性与特征空间 {#linear-algebra}

### 矩阵与行列式有何几何本质，不满秩为何必不可逆？ {#matrix-transform-and-rank}

看透线性代数的主线是把矩阵视作空间线性变换：每列记录基向量变换后的新落点，结合律 \(A(BC)=(AB)C\) 即依次复合变换。行列式绝对值刻画体积缩放倍率，正负号代表手性翻转；行列式为 0 时列空间维度（秩）坍缩，三维体被拍扁成面或线，零空间挤进原点——单值函数无法一对多还原，故不满秩必不可逆。

- [线性代数基本概念 · 矩阵乘法，线性变换的复合](/ai/linear-algebra/#矩阵乘法线性变换的复合)
- [线性代数基本概念 · 矩阵代数，逆矩阵](/ai/linear-algebra/#矩阵代数逆矩阵)

### 点积叉积藏着什么对偶律，相似对角化有何本质？ {#duality-and-eigenbasis}

多维向一维数轴的线性映射必与空间唯一向量对偶：向量放倒成 \(1\times n\) 扁矩阵即投影算子（点积）；将 \(\vec{x}\) 映射为平行六面体有向体积的对偶向量垂直底面且模长等于底面积，即三维叉积。相似变换 \(Q^{-1}AQ\) 是同动作换基翻译，取只伸缩不偏转的特征向量作基即可对角化；广义向量只是满足八公理的抽象接口。

- [线性代数基本概念 · 点积与对偶性](/ai/linear-algebra/#点积与对偶性)
- [线性代数基本概念 · 特征基](/ai/linear-algebra/#特征基)