1. 泊松分布

1.1 定义和性质

泊松分布：设非负的离散随机变量XXX 取值为 0,1,2,… 分布律为

P(X=k)=λkk!e−λ,k=0,1,2...,λ>0P(X=k) = \frac{\lambda^k}{k!}e^{-\lambda},\quad k=0,1,2..., \quad \lambda>0 P(X=k)=k!λke−λ,k=0,1,2...,λ>0 则称 XXX 服从参数为 λ\lambdaλ 的泊松分布，记做 X∼P(λ)X\sim P(\lambda)X∼P(λ)服从参数为 λ\lambdaλ 的泊松分布的随机变量 X∼P(λ)X\sim P(\lambda)X∼P(λ) 的期望和方差为

E(X)=λD(X)=λE(X) = \lambda\\ D(X) = \lambda E(X)=λD(X)=λ 期望证明如下

E(X)=∑k=0∞kλkk!e−λ=∑k=1∞kλkk!e−λ=∑k=1∞λk(k−1)!e−λ=λe−λ∑k=1∞λk−1(k−1)!=λe−λeλ=λ\begin{aligned} E(X) &= \sum_{k=0}^\infin k \frac{\lambda^k}{k!}e^{-\lambda} \\ &= \sum_{k=1}^\infin k \frac{\lambda^k}{k!}e^{-\lambda}\\ &= \sum_{k=1}^\infin \frac{\lambda^k}{(k-1)!}e^{-\lambda}\\ &= \lambda e^{-\lambda} \sum_{k=1}^\infin \frac{\lambda^{k-1}}{(k-1)!}\\ &= \lambda e^{-\lambda}e^\lambda \\ &=\lambda \end{aligned} E(X)=k=0∑∞kk!λke−λ=k=1∑∞kk!λke−λ=k=1∑∞(k−1)!λke−λ=λe−λk=1∑∞(k−1)!λk−1=λe−λeλ=λ 其中倒数第三个等号用到泰勒展开 ex=1+x+x22!+x33!+…+xnn!+…=∑k=1∞xk−1(k−1)!e^x=1+x+\frac{x^2}{2 !}+\frac{x^3}{3 !}+\ldots+\frac{x^n}{n !}+\ldots=\sum_{k=1}^{\infty} \frac{x^{k-1}}{(k-1) !}ex=1+x+2!x2+3!x3+…+n!xn+…=∑k=1∞(k−1)!xk−1方差证明如下

E(X2)=∑k=0∞k2λkk!e−λ=λe−λ∑k=1∞kλk−1(k−1)!=λe−λ∑k=1∞(k−1+1)λk−1(k−1)!=λe−λ(∑m=0∞m⋅λmm!+∑m=0∞λmm!)(令m=k−1)=λe−λ(λ∑m=1∞λm−1(m−1)!+∑m=0∞λmm!)=λe−λ(λeλ+eλ)=λ2+λD(X)=E(X2)−E(X)2=λ2+λ−λ2=λ\begin{aligned} E(X^2) &= \sum_{k=0}^\infin k^2 \frac{\lambda^k}{k!}e^{-\lambda} \\ &= \lambda e^{-\lambda} \sum_{k=1}^\infin \frac{k\lambda^{k-1}}{(k-1)!} \\ &= \lambda e^{-\lambda} \sum_{k=1}^\infin \frac{(k-1+1)\lambda^{k-1}}{(k-1)!} \\ &= \lambda e^{-\lambda}\left(\sum_{m=0}^{\infty} \frac{m \cdot \lambda^m}{m !}+\sum_{m=0}^{\infty} \frac{\lambda^m}{m !}\right)\quad (令 m=k-1) \\ &= \lambda e^{-\lambda}\left(\lambda\sum_{m=1}^{\infty} \frac{\lambda^{m-1}}{(m-1) !}+\sum_{m=0}^{\infty} \frac{\lambda^m}{m !}\right) \\ &= \lambda e^{-\lambda} \left(\lambda e^{\lambda}+e^{\lambda}\right) \\ &= \lambda^2+\lambda \\ \space\\ D(X) &= E(X^2)-E(X)^2 \\ &= \lambda^2+\lambda -\lambda^2 \\ &=\lambda\ \end{aligned} E(X2)D(X)=k=0∑∞k2k!λke−λ=λe−λk=1∑∞(k−1)!kλk−1=λe−λk=1∑∞(k−1)!(k−1+1)λk−1=λe−λ(m=0∑∞m!m⋅λm+m=0∑∞m!λm)(令m=k−1)=λe−λ(λm=1∑∞(m−1)!λm−1+m=0∑∞m!λm)=λe−λ(λeλ+eλ)=λ2+λ=E(X2)−E(X)2=λ2+λ−λ2=λ

1.2 理解泊松分布

1.2.1 从二项分布角度理解

泊松分布可以理解为极限情况下的二项分布。伯努利实验中一个事件有 ppp 的概率发生，1−p1-p1−p 的概率不发生（例如抛硬币），二项分布就是独立重复 nnn 次伯努利试验后事件发生次数的概率分布，其分布律为

P(X=k)=Cnkpk(1−p)kP(X=k) = C_n^k p^k(1-p)^k P(X=k)=Cnkpk(1−p)k考虑 n→∞,p→0n\to \infin, \space p\to 0n→∞,p→0 的极端情况，并且要求二项分布期望 np=λnp=\lambdanp=λ 是一个常数（这意味着 nnn 无穷大的程度 ppp 无穷小的程度是同阶的），把 p=λnp=\frac{\lambda}{n}p=nλ 带回到上述分布律并取 lim⁡n→∞\lim_{n\to\infin}limn→∞，得到

P(X=k)=lim⁡n→∞n!k!(n−k)!λknk(1−λn)n−k=lim⁡n→∞n(n−1)(n−2)...(n−k+1)k!λknk(1−λn)n−k=lim⁡n→∞n(n−1)(n−2)...(n−k+1)nkλkk!(1−λn)n−k=lim⁡n→∞λkk!(1−λn)n−k=λkk!lim⁡n→∞(1−λn)n(1−λn)−k=λkk!lim⁡n→∞(1−λn)n=λkk!lim⁡n→∞[(1+1−nλ)−nλ]−λ=λkk!e−λ\begin{aligned} P(X=k) &= \lim_{n\to\infin} \frac{n!}{k!(n-k)!} \frac{\lambda^k}{n^k}(1-\frac{\lambda}{n})^{n-k} \\ &= \lim_{n\to\infin} \frac{n(n-1)(n-2)...(n-k+1)}{k!}\frac{\lambda^k}{n^k}(1-\frac{\lambda}{n})^{n-k} \\ &= \lim_{n\to\infin} \frac{n(n-1)(n-2)...(n-k+1)}{n^k}\frac{\lambda^k}{k!}(1-\frac{\lambda}{n})^{n-k}\\ &= \lim_{n\to\infin}\frac{\lambda^k}{k!}(1-\frac{\lambda}{n})^{n-k}\\ &= \frac{\lambda^k}{k!}\lim_{n\to\infin}(1-\frac{\lambda}{n})^n(1-\frac{\lambda}{n})^{-k} \\ &= \frac{\lambda^k}{k!}\lim_{n\to\infin}(1-\frac{\lambda}{n})^n \\ &= \frac{\lambda^k}{k!}\lim_{n\to\infin} \Big[(1+\frac{1}{-\frac{n}{\lambda}})^{-\frac{n}{\lambda}}\Big]^{-\lambda} \\ &= \frac{\lambda^k}{k!}e^{-\lambda} \\ \end{aligned} P(X=k)=n→∞limk!(n−k)!n!nkλk(1−nλ)n−k=n→∞limk!n(n−1)(n−2)...(n−k+1)nkλk(1−nλ)n−k=n→∞limnkn(n−1)(n−2)...(n−k+1)k!λk(1−nλ)n−k=n→∞limk!λk(1−nλ)n−k=k!λkn→∞lim(1−nλ)n(1−nλ)−k=k!λkn→∞lim(1−nλ)n=k!λkn→∞lim[(1+−λn1)−λn]−λ=k!λke−λ 这样就推出了泊松分布的分布律

注意上面最后一个等号使用了重要极限 lim⁡x→∞(1+1x)x=e\lim_{x\to \infin}(1+\frac{1}{x})^x = elimx→∞(1+x1)x=e

1.2.2 直观理解

直观上看，泊松分布描述指定时间长度时间内某事件发生次数的分布。举例来说，现在我们观察到 aaa 分钟内停车场进入了 bbb 辆车

把这 aaa 分钟均匀分成长 an\frac{a}{n}na 分钟的 nnn 段，每一段时间都成为一个来车概率为 ppp 的独立伯努利实验n→∞n\to \infinn→∞ 时每个时间段长度 an→0\frac{a}{n}\to 0na→0，于是每段内来车概率 p→0p\to 0p→0根据观测结果，我们知道这 nnn 次伯努利实验满足 np=bnp=bnp=b

于是，“aaa 分钟内停车场进入了 bbb 辆车” 这个观测，意味着 “停车场 aaa 分钟内来车次数” 服从参数为 λ=b\lambda=bλ=b 的泊松分布

P(X=k)=3kk!e−3P(X=k) = \frac{3^k}{k!}e^{-3} P(X=k)=k!3ke−3 这里的核心思想就是把 “一次一段时间的观测结果” 看做 “无穷多次无穷短时间独立伯努利实验的宏观观测结果”

上面是从一次单独的观测中导出泊松分布，只能考察固定时间长度内事件发生次数的分布规律；如果我们宏观上知道事件发生的频率，则能同时考察任意时间长度内事件发生次数的分布规律，这相当于大量宏观观测导出大量泊松分布的平均。设停车场来车的频率为 mmm，长度为 ttt 的时间内来车数量的期望就是 mtmtmt，这时泊松分布也可以表示为

P(N(t)=k)=(mt)kk!e−mtP(N(t)=k) = \frac{(mt)^k}{k!}e^{-mt} P(N(t)=k)=k!(mt)ke−mt 这里 N(t)N(t)N(t) 表示某种关于时间的函数关系，比如

某停车场平均每分钟来车数量某医院平均每小时出生婴儿数量某公司平均每10分钟接到电话数量

1.3 分布律曲线

如下绘制泊松分布曲线

from scipy import statsimport numpy as npimport matplotlib.pyplot as pltpoisson1 = stats.poisson.pmf(np.arange(50), 1)poisson2 = stats.poisson.pmf(np.arange(50), 2)poisson5 = stats.poisson.pmf(np.arange(50), 5)poisson10 = stats.poisson.pmf(np.arange(50), 10)poisson25 = stats.poisson.pmf(np.arange(50), 25)poisson40 = stats.poisson.pmf(np.arange(50), 40)x = np.arange(50)plt.plot(x, poisson1, label="λ=1")plt.plot(x, poisson2, label="λ=2")plt.plot(x, poisson5, label="λ=5")plt.plot(x, poisson10, label="λ=10")plt.plot(x, poisson25, label="λ=25")plt.plot(x, poisson40, label="λ=40")plt.legend()

可见泊松分布是非对称的，λ\lambdaλ 值越小越偏倚，随着 λ\lambdaλ 增大迅速接近正态分布。 λ\lambdaλ 越小，意味着事件发生次数的期望越小（从二项分布角度考虑），考虑极限情况事件几乎不可能发生，那么事件多次发生就更加不可能，概率全部分配到发生次数 kkk 较小的情况，呈现非对称分布λ\lambdaλ 增大时，意味着事件发生次数的期望较大（从二项分布角度考虑），这时期望次数附近，事件发生次数多一次少一次相对而言变化程度就不大（原先是1，加上1翻倍了；原先是10，加上1就变了一点），这样就会呈现近似正态分布

2. 指数分布

指数分布是事件发生间隔的概率分布，下面这些都属于指数分布：某停车场来车的时间间隔某医院出生婴儿的时间间隔某公司接到电话数量的时间间隔指数分布的公式可以从泊松分布推断出来：下一次事件发生间隔时间 ttt 等价于 ttt 时间内事件一次也没发生，于是

P(X>t)=P(N(t)=0)=(mt)00!e−mt=e−λtP(X>t) = P(N(t)=0) = \frac{(mt)^0}{0!}e^{-mt} = e^{-\lambda t} P(X>t)=P(N(t)=0)=0!(mt)0e−mt=e−λt 指数分布的图像通常如下