概统概统

第一章

第二章 概率分布的定义、性质;常用分布;随机变量函数的分布;

第三章 联合分布;边缘分布与条件分布;随机变量的独立性;随机变量的函数的分布(和的分布、线性组合的分布、商的分布、平方和的分布、极值的分布);

第四种 期望,方差,定义性质;随机变量函数的期望,方差;相关系数,协方差;期望方差的应用。

第六章 总体、样本、统计量的概念;三大抽样分布定义、性质以及分位点定义;常用统计量(或枢轴量)的分布

第七章 矩估计和最大似然估计(最大似然不变性原理);参数估计的评价标准(无偏性、有效性、一致性);参数的区间估计(一个正态总体下的双侧和单侧置信区间)

第八章 假设检验的基本思想和实施步骤;可能产生的两类错误和控制方法;一个正态总体参数的单侧与双侧假设检验;p 值检验方法。

Q:条件概率公式?贝叶斯公式?全概率公式?

P(A∣B)=P(AB)P(B)

即,在 B 已经发生的情况下,A 发生的概率为 A,B 均发生的概率除以 B 发生的概率。

全概率公式:

P(A)=∑i=1nP(Bi)P(A∣Bi)

贝叶斯公式:

P(B∣A)=P(A∣B)P(B)P(A)
P(Bi∣A)=P(Bi)P(A∣Bi)∑i=1nP(Bi)P(A∣Bi)

Info:一类概率题目

不太好分类,就记在这里了:如何转换 P(B∣A)=1−P(B―∣A―) 的条件?

关键是利用 P(A― B―)=1−P(A∪B)=1−P(A)−P(B)+P(AB). 直接暴力展开:

P(AB)P(B)+1−P(A)−P(B)+P(AB)1−P(B)=0

可得 P(AB)=P(A)P(B),然后也可以得到 P(A― B―)=P(A―)P(B―). 因此这个条件和 A,B 独立、A―,B― 独立等价。

Q: 什么是泊松定理?

当 λ=np,伯努利分布的极限(当 n→∞)就是泊松分布,也就是:

limn→∞Cnkpk(1−p)n−k=e−λλkk!

或者从分布近似相等的角度理解:

X∼B(n,λn)⇒n→+∞X∼P(λ)

当 n 比较大时,可以用这个公式做近似。

Info:一些常见的分布的性质

Q: 分布函数的性质

Q: 怎么求连续型随机变量函数的分布啊!

一般地,设 X 为连续型随机变量,如果已知 X 的概率密度为 fX(x)(或分布函数),又设函数 y=g(x),求 Y=g(X) 的概率密度(或分布函数)的步骤如下:

当然,需要特别注意分段函数的范围!

也可以利用直接推导的结论: 假设 Y=g(X) 的反函数为 x=h(y),对于一个严格单调的区间来说,结论是:

fY(y)=fX(h(y))|h′(y)|

如果有多个严格单调的区间,应该对每个区间都计算,然后叠加。

特别地,Y=FX(X) 的密度函数为 U(0,1).

Q: 定义二维随机变量的联合分布函数、边缘分布函数、联合分布律、边缘分布律!

仅有关于 X 和 Y 的边缘分布,一般来说不能确定随机变量 (X,Y) 的联合分布。

Q: 给出二维连续型随机变量的条件分布的公式。

对于离散型:

对于连续型:

Q: 给出二维随机变量独立的条件。

我们还有:独立性定理 设 (X,Y) 是二维连续型随机变量,f(x,y) 是 (X,Y) 的联合概率密度,则 X 与 Y 相互独立的充分必要条件是存在非负可积函数 r(x) 和 g(y),使得:

f(x,y)=r(x)g(y)

在一切连续点上成立,此时:

fX(x)=r(x)∫−∞+∞r(x)dx,fY(y)=g(y)∫−∞+∞g(y)dy

使用独立性定义判断时还需要注意定义域的影响,不能看到 f(x,y) 可以分解为 r(x)g(y) 的形式,就认为 X,Y 相互独立。

Info:特殊随机变量函数的分布

离散型随机变量和的分布 Z=X+Y

P(Z=r)=∑i=0rP(X=i)P(Y=r−i)

即离散卷积公式。

连续型随机变量和的分布 Z=X+Y

fZ(z)=∫−∞+∞f(z−y,y)dy=∫−∞+∞f(x,z−x)dx

线性函数的分布 Z=aX+bY+c

fZ(z)=1|b|∫−∞+∞f(x,z−ax−cb)dx

|b| 是因为不同的 b 对应的积分区域一个朝下,一个朝上。

商的分布 Z=X/Y (积分区域怎么画)

∫−∞+∞f(yz,y)|y|dy

平方和的分布 Z=X2+Y2(积分区域是一个圆)

fZ(z)=∫02πdθ⋅12f(zcos⁡θ,zsin⁡θ)(z≥0)

通过该结论,可以推出 χ2(2) 服从参数为 1/2 的指数分布。

假设 Z=f(X,Y),解出 X=h(Y,Z),结论是:

fZ(z)=|∂h(y,z)∂z|∫f(h(y,z),y)dy

不知道对不对?感觉用来记忆上面几个例子够用了。

Q: 什么是方差不等式?并且给出证明

对于任意实数 Y,

D(X)≤E((X−Y)2)

因为:

E(X2)−E(X)2≤E(X2)−2E(X)Y+Y2

Info: 常见分布的期望和方差

分布表达式期望方差
0-1分布P(X=k)=pk(1−p)1−k,k=0,1.pp(1−p)
B(n,p): n 个 0-1P(X=k)=Cnkpk(1−p)n−knpnp(1−p)
P(λ)P(X=k)=e−λλkk!,k=0,1,2,⋯λλ
G(p)P(X=k)=(1−p)k−1p,k=1,2,⋯1/p(1−p)/p2
Pascal 分布: r 个几何P(X=k)=Ck−1r−1prqk−r,k=r,r+1,⋯r/pr(1−p)/p2
U(a,b)1/(b−a) 对于 x∈[a,b],其余为零(a+b)/2(b−a)2/12
E(λ)λe−λx 对于 x>0,其余为零1/λ1/λ2
N(μ,σ2)f(x)=12πσe−(x−μ)22σ2,−∞<x<+∞μσ2

Q: 给出不相关和独立的定义.

X 与 Y 不相关的等价命题

设随机变量 X 与 Y 的方差都存在,且 D(X)>0,D(Y)>0,则下列命题等价:

  1. X 与 Y 不相关;

  2. ρXY=0, cov(X,Y)=0, E(XY)=E(X)E(Y). 这三者的等价关系可以从表达式得出。

  3. D(X±Y)=D(X)+D(Y).

X 与 Y 相互独立

P(XY)=P(X)P(Y)

由相互独立推出不相关

E(XY)=∬f(x,y)xydxdy=∬fX(x)fY(y)xydxdy=∫fX(x)xdx∫fY(y)ydy=E(X)E(Y)

当 X,Y 服从正态总体,不相关和相互独立等价,相当于联合密度函数中 ρ=0。

Q: 什么事 Chebyshev 不等式?并且定性描述其揭示的规律,给出证明。

设随机变量 X 的数学期望 E(X)=μ,方差 D(X)=σ2,则对于任意正数 ε,恒有不等式:

P(|X−μ|≥ε)≤σ2ε2

或

P(|X−μ|≤ε)>1−σ2ε2

描述了落在 |X−μ|≤ε 区间内或区间外的几率,我们现在分析落在区间内的情况,显然,σ 越小,ε 越大,落在区间内的几率就越大。

证明从方差的定义出发:

P(|X−μ|≥ε)=∫|X−μ|≥εf(x)dx≤∫|X−μ|≥ε(x−με)2⏟≥1f(x)dx≤∫−∞+∞(x−με)2f(x)dx=D(x)/ε2=σ2ε2

Q: 什么是依照概率收敛?它和数列收敛有什么不同?

依照概率收敛 设 Y1,Y2,⋯,Yn,⋯ 是一个随机变量序列,X 是一个随机变量,若 ∀ε>0,有:

limn→+∞P(|Yn−X|≥ε)=0 or limn→+∞P(|Yn−X|<ε)=1

则称随机变量序列依概率收敛于 X,记作 Yn⟶Pn→+∞X. (并不能保证一定发生,只能保证出现偏差的绝对值大于 ε 的概率很小,趋于零)

Q: 什么是序列服从大数定理?并且给出解释。

定义序列服从大数定理 若随机变量序列 X1,X2,⋯,Xn,⋯ 满足 ∀ε>0,有:

limn→+∞P(|1n∑k=1nXk−1n∑k=1nE(Xk)|<ε)=1

当 X1,X2,⋯,Xk 同分布,也等价于:

limn→+∞P(|X―−E(X)|<ε)=1

则称该序列服从大数定律。

大数定律是有关随机变量序列的前 n 项的算术平均值在一定条件下收敛到这 n 项的数学期望的算术平均值的定律。

Q: 给出几个常见的大数定律?

大数定律成立的核心是利用 Chebyshev 不等式,证明随机变量的算术平均值收敛到其均值,要求

limn→∞D(1n∑i=1nXi)=0

Chebyshev 大数定理 设随机变量序列 X1,X2⋯,Xn 两两不相关,它们的方差存在,且有共同的上界,即 ρXiXj=0,i≠j,D(Xk)=σk2≤σ2,k=1,2,3,⋯,n,⋯,记 E(Xk)=μk,则称该序列服从大数定律。

其推广为 Markov 大数定理:X1,X2⋯,Xn 两两不相关的条件可以去掉,代之 1n2D(∑k=1nXk)⟶Pn→+∞0,即 Markov 条件。满足 Markov 条件的序列服从 Markov 大数定律。

Khintchine 大数定理 Mk⟶Pn→+∞μk,k=1,2,⋯.

Q: 中心极限定理?

对于均值为 μ,方差为 σ2 的随机变量,取足够多样本,样本的和近似服从:

N(nμ,nσ2)

样本的均值近似服从:

N(μ,σ2n)

Q: 给出样本均值和样本方差数字特征

重要结论 设总体 X 的期望与方差存在,E(X)=μ,D(X)=σ2,则:

E(X―)=μ,D(X―)=σ2n,E(S2)=σ2

如果总体 X 还服从正态分布,

D(S2)=2σ4n−1

Q: 卡方分布当 n=2 时服从什么分布?

n=2 时,其密度函数为:

f(x)=12e−x/2,x>0;0,x≤0

服从参数为 1/2 指数分布。

Q: 卡方分布的性质

卡方分布的性质:

Q: t 分布的性质

Q: F 分布的性质

Info 单个正态总体的抽样分布的各种结论

设 X∼N(μ,σ2),(X1,X2,⋯,Xn) 是来自总体 X 的一个简单随机样本,X―,S2 分别为样本均值和样本方差。

则

Info 多个正态分布总体的抽样分布的各种结论

设 (X1,X2,X3,⋯,Xm) 与 (Y1,Y2,⋯,Yn) 为来自总体 N(μ1,σ12) 和 N(μ2,σ22) 的样本,且两样本之间相互独立,记:

S12=1m−1∑i=1m(Xi−X―)2,S22=1n−1∑i=1n(Xi−X―)2

则:

Q: 矩估计法的过程?

矩估计法的理论基础是 Khinchine 大数定律,使用样本的 k 阶矩作为总体的 k 阶矩的估计量。如果需要估计 k 个参数,至少需要研究总体的 1,2,⋯,k 阶矩。

Q: 最大似然估计法的过程?

写出似然函数:

L(θ)=∏i=1nf(ai;θ)

求其对数 ln⁡L(θ).

求解似然方程组:

∂ln⁡L(θ)∂θi=0

得到 θi∗,确定最大似然估计值为 θ^i=θi∗.

当 L(θ) 单调时,如何处理?极大值/极小值在边界取到。

相关结论:

最大似然估计不变性原理 设 θ^ 是未知参数 θ 的最大似然估计,又设 g(θ) 是 θ 的连续函数,则 g^=g(θ^) 是 g=g(θ) 的最大似然估计。

Q: 给出一些常见无偏估计量

Q: 给出估计量有效性的定义

设 θ^1=θ^1(X1,X2,⋯,Xn) 和 θ^2=θ^2(X1,X2,⋯,Xn) 均为 θ 的 无偏估计量(也就是两种不同的估计方法),对于任意 n 有

D(θ^1)<D(θ^2)

则称 θ^1 比 θ^2 有效。

估计量在无偏的情况下,才能评价有效性。

Q: 给出估计量具有一致性的定义和等价条件

一致性的定义 序列 {θ^n} 依概率收敛于 θ,即 ∀ε>0,有:

limn→∞P(|θ^n−θ|<ε)=1

则称 θ^n 为 θ 的一致估计量。

等价条件:limn→∞D(θ^n)=0.

证明,使用 Chebyshev 不等式。

0≤P(|θ^n−E(θ^)|≥ε)=D(θ^n)ε2→0

Info: 指数正态分布

财富的分布并不服从正态分布,而是呈现左偏的一个形状,为什么呢,我们可以猜测影响财富的因素不是相加,而是相乘,比如考入交大可以让你的收入减半,考入浙大可以让你的收入翻倍,如:

X=∏i=1nXi

两边取对数:

log⁡X=∑i=1nlog⁡Xi

此时,我们就可以说 log⁡X∼N(μ,σ2). 如何求 X 的期望和方差,利用随机变量函数的期望,设 Y=log⁡X,则 X=eY,

E(X)=∫−∞+∞12πσe−(y−μ)22σ2⋅eydy=eμ+σ2/2E(X2)=∫−∞+∞12πσe−(y−μ)22σ2⋅e2ydx=e2μ+2σ2D(X)=E(X2)−E(X)2=e2μ+σ2(eσ2−1)

Q: 置信区间的定义?

如果 θ 是待估计参数,(X1,X2,⋯,Xn) 是来自总体 X 的一个样本,如果对于给定的 α(0<α<1),存在 θ―(X1,X2,⋯,Xn) 和 θ―(X1,X2,⋯,Xn),使得:

P(θ―<θ<θ―)=1−α

则称区间 (θ―,θ―) 是 θ 的置信度为 1−α 的置信区间。1−α 称为置信度。

置信区间的取法不唯一,需要保证置信度的前提下,最小化置信区间长度,也就是最小化平均长度 E(|θ―−θ―|).

一般来说,置信度越高,置信区间的长度越长——可靠度和估计的精度是矛盾的,在满足可靠度的前提下,可以增大样本容量,来增加估计的精度。

Q: 给出正态分布总体的区间估计的枢轴量.

对于正态总体 N(μ,σ2).

为了强调枢轴量只含有待估计参数,不含有其它未知参数,将待估计参数标红。

Q: 给出参数假设检验的步骤.

原假设和备选假设如何选取,原假设一般是认为系统工作正常,备择假设一旦成立,可能说明系统产生严重的问题。

pl 老师上课提出的简单记忆方法,拒绝域的符号和备择假设一致。

Q: 检验统计量怎么选取?

和枢轴量类似。

Q: 什么是参数假设检验的两类错误?

 接受 H0接受 H1
H0 为真正确(>1−α)犯第一类错误(≤α)
H0 为假犯第二类错误(β)正确(1−β)

假设检验的原则 控制犯第一类错误的概率不超过 α,再尽可能降低犯第二类错误的概率。