概率论与数理统计 · 第五章

大数定律及中心极限定理

依概率收敛、大数定律与正态近似

大数定律

随机变量序列 XnX_n 依概率收敛于 XX,记为 Xn→PXX_n\xrightarrow{P}X,若对任意 ε>0\varepsilon>0,

P{∣Xn−X∣≥ε}→0.P\{|X_n-X|\ge\varepsilon\}\to0.

辛钦大数定律:X1,X2,…X_1,X_2,\ldots 独立同分布且 E∣Xi∣<∞E|X_i|<\infty 时,样本均值依概率收敛于总体均值。

伯努利大数定律:重复独立试验中,事件发生的频率依概率收敛于其概率 pp。

易错 大数定律说明均值或频率的稳定性,不说明单个随机变量趋于常数。

中心极限定理

独立同分布中心极限定理:若 XiX_i 独立同分布,E(Xi)=μE(X_i)=\mu,D(Xi)=σ2<∞D(X_i)=\sigma^2<\infty,则

∑i=1nXi−nμσn→dN(0,1).\frac{\sum_{i=1}^nX_i-n\mu}{\sigma\sqrt n} \xrightarrow{d}N(0,1).

李雅普诺夫中心极限定理允许各变量不同分布。设它们独立,E(Xi)=μiE(X_i)=\mu_i、D(Xi)=σi2D(X_i)=\sigma_i^2,Bn2=∑σi2B_n^2=\sum\sigma_i^2;若存在 δ>0\delta>0 使

1Bn2+δ∑i=1nE∣Xi−μi∣2+δ→0,\frac{1}{B_n^{2+\delta}} \sum_{i=1}^nE|X_i-\mu_i|^{2+\delta}\to0,

则标准化和依分布收敛于标准正态分布。

棣莫夫-拉普拉斯定理(也译棣莫弗-拉普拉斯)是二项分布的正态近似:

X−npnp(1−p)→dN(0,1).\frac{X-np}{\sqrt{np(1-p)}}\xrightarrow{d}N(0,1).

离散分布用正态近似时可作连续性修正,例如 P(X≤k)P(X\le k) 对应正态变量上界取 k+0.5k+0.5。

易错 中心极限定理描述标准化“和”的分布,不是原变量本身变成正态分布。

搜索

可搜索:洛必达、格林公式、正态分布、等价无穷小…