概统概统

第一章

第二章 概率分布的定义、性质;常用分布;随机变量函数的分布;

第三章 联合分布;边缘分布与条件分布;随机变量的独立性;随机变量的函数的分布(和的分布、线性组合的分布、商的分布、平方和的分布、极值的分布);

第四种 期望,方差,定义性质;随机变量函数的期望,方差;相关系数,协方差;期望方差的应用。

第六章 总体、样本、统计量的概念;三大抽样分布定义、性质以及分位点定义;常用统计量(或枢轴量)的分布

第七章 矩估计和最大似然估计(最大似然不变性原理);参数估计的评价标准(无偏性、有效性、一致性);参数的区间估计(一个正态总体下的双侧和单侧置信区间)

第八章 假设检验的基本思想和实施步骤;可能产生的两类错误和控制方法;一个正态总体参数的单侧与双侧假设检验;p 值检验方法。

Q:条件概率公式?贝叶斯公式?全概率公式?

P(AB)=P(AB)P(B)

即,在 B 已经发生的情况下,A 发生的概率为 A,B 均发生的概率除以 B 发生的概率。

全概率公式:

P(A)=i=1nP(Bi)P(ABi)

贝叶斯公式:

P(BA)=P(AB)P(B)P(A)
P(BiA)=P(Bi)P(ABi)i=1nP(Bi)P(ABi)

Info:一类概率题目

不太好分类,就记在这里了:如何转换 P(BA)=1P(BA) 的条件?

关键是利用 P(A B)=1P(AB)=1P(A)P(B)+P(AB). 直接暴力展开:

P(AB)P(B)+1P(A)P(B)+P(AB)1P(B)=0

可得 P(AB)=P(A)P(B),然后也可以得到 P(A B)=P(A)P(B). 因此这个条件和 A,B 独立、A,B 独立等价。

Q: 什么是泊松定理?

λ=np,伯努利分布的极限(当 n)就是泊松分布,也就是:

limnCnkpk(1p)nk=eλλkk!

或者从分布近似相等的角度理解:

XB(n,λn)n+XP(λ)

n 比较大时,可以用这个公式做近似。

Info:一些常见的分布的性质

Q: 分布函数的性质

Q: 怎么求连续型随机变量函数的分布啊!

一般地,设 X 为连续型随机变量,如果已知 X 的概率密度为 fX(x)(或分布函数),又设函数 y=g(x),求 Y=g(X) 的概率密度(或分布函数)的步骤如下:

当然,需要特别注意分段函数的范围!

也可以利用直接推导的结论: 假设 Y=g(X) 的反函数为 x=h(y),对于一个严格单调的区间来说,结论是:

fY(y)=fX(h(y))|h(y)|

如果有多个严格单调的区间,应该对每个区间都计算,然后叠加。

特别地,Y=FX(X) 的密度函数为 U(0,1).

Q: 定义二维随机变量的联合分布函数、边缘分布函数、联合分布律、边缘分布律!

仅有关于 XY 的边缘分布,一般来说不能确定随机变量 (X,Y) 的联合分布。

Q: 给出二维连续型随机变量的条件分布的公式。

对于离散型:

对于连续型:

Q: 给出二维随机变量独立的条件。

我们还有:独立性定理(X,Y) 是二维连续型随机变量,f(x,y)(X,Y) 的联合概率密度,则 XY 相互独立的充分必要条件是存在非负可积函数 r(x)g(y),使得:

f(x,y)=r(x)g(y)

在一切连续点上成立,此时:

fX(x)=r(x)+r(x)dx,fY(y)=g(y)+g(y)dy

使用独立性定义判断时还需要注意定义域的影响,不能看到 f(x,y) 可以分解为 r(x)g(y) 的形式,就认为 X,Y 相互独立。

Info:特殊随机变量函数的分布

离散型随机变量和的分布 Z=X+Y

P(Z=r)=i=0rP(X=i)P(Y=ri)

即离散卷积公式。

连续型随机变量和的分布 Z=X+Y

fZ(z)=+f(zy,y)dy=+f(x,zx)dx

线性函数的分布 Z=aX+bY+c

fZ(z)=1|b|+f(x,zaxcb)dx

|b| 是因为不同的 b 对应的积分区域一个朝下,一个朝上。

商的分布 Z=X/Y (积分区域怎么画)

+f(yz,y)|y|dy

平方和的分布 Z=X2+Y2(积分区域是一个圆)

fZ(z)=02πdθ12f(zcosθ,zsinθ)(z0)

通过该结论,可以推出 χ2(2) 服从参数为 1/2 的指数分布。

假设 Z=f(X,Y),解出 X=h(Y,Z),结论是:

fZ(z)=|h(y,z)z|f(h(y,z),y)dy

不知道对不对?感觉用来记忆上面几个例子够用了。

Q: 什么是方差不等式?并且给出证明

对于任意实数 Y

D(X)E((XY)2)

因为:

E(X2)E(X)2E(X2)2E(X)Y+Y2

Info: 常见分布的期望和方差

分布表达式期望方差
0-1分布P(X=k)=pk(1p)1k,k=0,1.pp(1p)
B(n,p): n 个 0-1P(X=k)=Cnkpk(1p)nknpnp(1p)
P(λ)P(X=k)=eλλkk!,k=0,1,2,λλ
G(p)P(X=k)=(1p)k1p,k=1,2,1/p(1p)/p2
Pascal 分布: r 个几何P(X=k)=Ck1r1prqkr,k=r,r+1,r/pr(1p)/p2
U(a,b)1/(ba) 对于 x[a,b],其余为零(a+b)/2(ba)2/12
E(λ)λeλx 对于 x>0,其余为零1/λ1/λ2
N(μ,σ2)f(x)=12πσe(xμ)22σ2,<x<+μσ2

Q: 给出不相关和独立的定义.

XY 不相关的等价命题

设随机变量 XY 的方差都存在,且 D(X)>0D(Y)>0,则下列命题等价:

  1. XY 不相关;

  2. ρXY=0, cov(X,Y)=0, E(XY)=E(X)E(Y). 这三者的等价关系可以从表达式得出。

  3. D(X±Y)=D(X)+D(Y).

XY 相互独立

P(XY)=P(X)P(Y)

由相互独立推出不相关

E(XY)=f(x,y)xydxdy=fX(x)fY(y)xydxdy=fX(x)xdxfY(y)ydy=E(X)E(Y)

X,Y 服从正态总体,不相关和相互独立等价,相当于联合密度函数中 ρ=0

Q: 什么事 Chebyshev 不等式?并且定性描述其揭示的规律,给出证明。

设随机变量 X 的数学期望 E(X)=μ,方差 D(X)=σ2,则对于任意正数 ε,恒有不等式:

P(|Xμ|ε)σ2ε2

P(|Xμ|ε)>1σ2ε2

描述了落在 |Xμ|ε 区间内或区间外的几率,我们现在分析落在区间内的情况,显然,σ 越小,ε 越大,落在区间内的几率就越大。

证明从方差的定义出发:

P(|Xμ|ε)=|Xμ|εf(x)dx|Xμ|ε(xμε)21f(x)dx+(xμε)2f(x)dx=D(x)/ε2=σ2ε2

Q: 什么是依照概率收敛?它和数列收敛有什么不同?

依照概率收敛Y1,Y2,,Yn, 是一个随机变量序列,X 是一个随机变量,若 ε>0,有:

limn+P(|YnX|ε)=0 or limn+P(|YnX|<ε)=1

则称随机变量序列依概率收敛于 X,记作 YnPn+X. (并不能保证一定发生,只能保证出现偏差的绝对值大于 ε 的概率很小,趋于零)

Q: 什么是序列服从大数定理?并且给出解释。

定义序列服从大数定理 若随机变量序列 X1,X2,,Xn, 满足 ε>0,有:

limn+P(|1nk=1nXk1nk=1nE(Xk)|<ε)=1

X1,X2,,Xk 同分布,也等价于:

limn+P(|XE(X)|<ε)=1

则称该序列服从大数定律。

大数定律是有关随机变量序列的前 n 项的算术平均值在一定条件下收敛到这 n 项的数学期望的算术平均值的定律。

Q: 给出几个常见的大数定律?

大数定律成立的核心是利用 Chebyshev 不等式,证明随机变量的算术平均值收敛到其均值,要求

limnD(1ni=1nXi)=0

Chebyshev 大数定理 设随机变量序列 X1,X2,Xn 两两不相关,它们的方差存在,且有共同的上界,即 ρXiXj=0,ijD(Xk)=σk2σ2k=1,2,3,,n,,记 E(Xk)=μk,则称该序列服从大数定律。

其推广为 Markov 大数定理X1,X2,Xn 两两不相关的条件可以去掉,代之 1n2D(k=1nXk)Pn+0,即 Markov 条件。满足 Markov 条件的序列服从 Markov 大数定律。

Khintchine 大数定理 MkPn+μk,k=1,2,.

Q: 中心极限定理?

对于均值为 μ,方差为 σ2 的随机变量,取足够多样本,样本的和近似服从:

N(nμ,nσ2)

样本的均值近似服从:

N(μ,σ2n)

Q: 给出样本均值和样本方差数字特征

重要结论 设总体 X 的期望与方差存在,E(X)=μ,D(X)=σ2,则:

E(X)=μ,D(X)=σ2n,E(S2)=σ2

如果总体 X 还服从正态分布,

D(S2)=2σ4n1

Q: 卡方分布当 n=2 时服从什么分布?

n=2 时,其密度函数为:

f(x)=12ex/2,x>0;0,x0

服从参数为 1/2 指数分布。

Q: 卡方分布的性质

卡方分布的性质

Q: t 分布的性质

Q: F 分布的性质

Info 单个正态总体的抽样分布的各种结论

XN(μ,σ2)(X1,X2,,Xn) 是来自总体 X 的一个简单随机样本,X,S2 分别为样本均值和样本方差。

Info 多个正态分布总体的抽样分布的各种结论

(X1,X2,X3,,Xm)(Y1,Y2,,Yn) 为来自总体 N(μ1,σ12)N(μ2,σ22) 的样本,且两样本之间相互独立,记:

S12=1m1i=1m(XiX)2,S22=1n1i=1n(XiX)2

则:

Q: 矩估计法的过程?

矩估计法的理论基础是 Khinchine 大数定律,使用样本的 k 阶矩作为总体的 k 阶矩的估计量。如果需要估计 k 个参数,至少需要研究总体的 1,2,,k 阶矩。

Q: 最大似然估计法的过程?

写出似然函数:

L(θ)=i=1nf(ai;θ)

求其对数 lnL(θ).

求解似然方程组:

lnL(θ)θi=0

得到 θi,确定最大似然估计值为 θ^i=θi.

L(θ) 单调时,如何处理?极大值/极小值在边界取到。

相关结论:

最大似然估计不变性原理θ^ 是未知参数 θ 的最大似然估计,又设 g(θ)θ 的连续函数,则 g^=g(θ^)g=g(θ) 的最大似然估计。

Q: 给出一些常见无偏估计量

Q: 给出估计量有效性的定义

θ^1=θ^1(X1,X2,,Xn)θ^2=θ^2(X1,X2,,Xn) 均为 θ无偏估计量(也就是两种不同的估计方法),对于任意 n

D(θ^1)<D(θ^2)

则称 θ^1θ^2 有效。

估计量在无偏的情况下,才能评价有效性。

Q: 给出估计量具有一致性的定义和等价条件

一致性的定义 序列 {θ^n} 依概率收敛于 θ,即 ε>0,有:

limnP(|θ^nθ|<ε)=1

则称 θ^nθ 的一致估计量。

等价条件limnD(θ^n)=0.

证明,使用 Chebyshev 不等式。

0P(|θ^nE(θ^)|ε)=D(θ^n)ε20

Info: 指数正态分布

财富的分布并不服从正态分布,而是呈现左偏的一个形状,为什么呢,我们可以猜测影响财富的因素不是相加,而是相乘,比如考入交大可以让你的收入减半,考入浙大可以让你的收入翻倍,如:

X=i=1nXi

两边取对数:

logX=i=1nlogXi

此时,我们就可以说 logXN(μ,σ2). 如何求 X 的期望和方差,利用随机变量函数的期望,设 Y=logX,则 X=eY

E(X)=+12πσe(yμ)22σ2eydy=eμ+σ2/2E(X2)=+12πσe(yμ)22σ2e2ydx=e2μ+2σ2D(X)=E(X2)E(X)2=e2μ+σ2(eσ21)

Q: 置信区间的定义?

如果 θ 是待估计参数,(X1,X2,,Xn) 是来自总体 X 的一个样本,如果对于给定的 α(0<α<1),存在 θ(X1,X2,,Xn)θ(X1,X2,,Xn),使得:

P(θ<θ<θ)=1α

则称区间 (θ,θ)θ 的置信度为 1α 的置信区间。1α 称为置信度。

置信区间的取法不唯一,需要保证置信度的前提下,最小化置信区间长度,也就是最小化平均长度 E(|θθ|).

一般来说,置信度越高,置信区间的长度越长——可靠度和估计的精度是矛盾的,在满足可靠度的前提下,可以增大样本容量,来增加估计的精度。

Q: 给出正态分布总体的区间估计的枢轴量.

对于正态总体 N(μ,σ2).

为了强调枢轴量只含有待估计参数,不含有其它未知参数,将待估计参数标红。

Q: 给出参数假设检验的步骤.

原假设和备选假设如何选取,原假设一般是认为系统工作正常,备择假设一旦成立,可能说明系统产生严重的问题。

pl 老师上课提出的简单记忆方法,拒绝域的符号和备择假设一致。

Q: 检验统计量怎么选取?

和枢轴量类似。

Q: 什么是参数假设检验的两类错误?

 接受 H0接受 H1
H0 为真正确(>1α犯第一类错误(α
H0 为假犯第二类错误(β正确(1β

假设检验的原则 控制犯第一类错误的概率不超过 α,再尽可能降低犯第二类错误的概率。