点估计

频率替代法

若从服从 $N(\mu ,2)$$N(\mu,2)$ 的总体中抽样 28 次，有 21 次小于 4：

矩估计法

其理论基础是 Khinchine 大数定律。一般只用到最高 $2$$2$ 阶矩

矩估计法的核心 是使用样本的 $k$$k$ 阶矩作为总体的 $k$$k$ 阶矩的估计量。

设总体 $X$$X$ 的分布函数为 $F(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k),r=1,2,\cdots ,k$$F(x;\theta_1,\theta_2,\cdots,\theta_k),r=1,2,\cdots,k$，其中待估计的参数为 ${\theta }_1,\cdots ,{\theta }_k$$\theta_1,\cdots,\theta_k$，并假设 $k$$k$ 阶原点矩存在，记为：

根据大数定律，写出：

如果方程组有解：

这些方程称为 矩估计量，将 $X_1,\cdots ,X_n$$X_1,\cdots,X_n$ 以具体的样本值代入，称为矩估计值。

例如：

设 ${\displaystyle X\sim f(x)=\frac{1}{2\theta }{e}^{-\frac{|x|}{\theta }}}$$\displaystyle X\sim f(x)=\frac{1}{2\theta} e^{-\frac{|x|}{\theta}}$，给出 $\theta$$\theta$ 的矩估计量。

注意到 $E(X)=\mu =0$$E(X)=\mu=0$，因此不能用一阶矩估计。

使用二阶矩：设 $Y\sim E(1/\theta )$$Y\sim E(1/\theta)$.

因此，$\theta$$\theta$ 的矩估计量为：

设总体 $X$$X$ 服从 $U[{\theta }_1,{\theta }_2]$$U[\theta_1,\theta_2]$，给出 ${\theta }_1,{\theta }_2$$\theta_1,\theta_2$ 的矩估计量。

最大似然估计法

一般地，设 $X$$X$ 为离散型随机变量/连续型随机变量，其分布律/概率密度为：

则 $X_1,X_2\cdots ,X_n$$X_1,X_2\cdots,X_n$ 的概率分布为：

当 $\mathit{x}$$\boldsymbol x$ 确定时，即为 $L(\mathit{\theta })$$L(\boldsymbol \theta)$. 写出方程组：

设总体 $X\sim E(\lambda )$$X\sim E(\lambda)$，$\mathit{x}$$\boldsymbol x$ 是样本值，求 $\lambda$$\lambda$ 的最大似然估计。

因此，结论和矩估计法一样。

设总体 $X\sim N(\mu ,{\sigma }^2)$$X\sim N(\mu,\sigma^2)$，$\mathit{x}$$\boldsymbol x$ 是样本值，求 $\mu ,{\sigma }^2$$\mu,\sigma^2$ 的最大似然估计。

则：

似然函数是严格单调的时候，该怎么处理？极大值/极小值在边界取到。

设 $X\sim U(a,b)$$X\sim U(a,b)$，求最大似然估计值和最大似然估计量。

则需要满足 $x_i$$x_i$ 都在 $(a,b)$$(a,b)$ 的区间内，使得 $b-a$$b-a$ 最小：

综合问题：设总体 $X$$X$ 的概率密度为：

求 $\theta$$\theta$ 的矩估计量和最大似然估计量。

因此 ${\hat{\theta }}_{\text{矩}}=\frac{4}{3}E(X)$$\hat \theta_{矩}=\frac{4}{3} E(X)$.

因此是单调的，需要 $\theta$$\theta$ 尽量小，但是不能小于 $max\{X_i\}$$\max\{X_i\}$，因此

最大似然估计不变性原理 设 $\hat{\theta }$$\hat \theta$ 是未知参数 $\theta$$\theta$ 的最大似然估计，又设 $g(\theta )$$g(\theta)$ 是 $\theta$$\theta$ 的连续函数，则 $\hat{g}=g(\hat{\theta })$$\hat g=g(\hat \theta)$ 是 $g=g(\theta )$$g=g(\theta)$ 的最大似然估计。

如果：

$\sigma =\sqrt{{\sigma }^2}$$\sigma=\sqrt{\sigma^2}$，则可以算出 $\sigma$$\sigma$ 的最大似然估计为：

设 $X\sim N(\mu ,{\sigma }^2)$$X\sim N(\mu,\sigma^2)$，求 $g(\mu ,{\sigma }^2)=P(X>3)$$g(\mu,\sigma^2)=P(X>3)$ 的最大似然估计。

如何理解这件事，就是抽取样本 $(X_1,X_2,\cdots ,X_n)$$(X_1,X_2,\cdots,X_n)$，要你给出 $P(X>3)$$P(X>3)$ 的最大似然估计。

利用：

显然是关于 $\mu ,{\sigma }^2$$\mu,\sigma^2$ 的连续函数，则 $g(\mu ,{\sigma }^2)$$g(\mu,\sigma^2)$ 的最大似然估计为：

估计量的评价指标

Q: 我们使用不同的方法（如矩估计法和最大似然估计法）可能得到不同 $\hat{\theta }$$\hat \theta$，如何确定这些 $\hat{\theta }$$\hat \theta$ 的好坏？

和真实的 $\theta$$\theta$ 尽量接近？

无偏性

定义，若有：

则称 $\hat{\theta }$$\hat \theta$ 是 $\theta$$\theta$ 的 无偏估计量，反之如果 $E(\hat{\theta })\ne \theta$$E(\hat\theta)\not=\theta$，则称 $\epsilon =E(\hat{\theta })-\theta$$\varepsilon=E(\hat \theta)-\theta$ 为估计量 $\theta$$\theta$ 的 偏差。

无偏性是对于一个估计量最基本的要求。

说明 ${\displaystyle M_k=\frac{1}{n}\sum _{i=1}^n{X}_i^k}$$\displaystyle M_k=\frac{1}{n}\sum_{i=1}^n X_i^k$ 是 ${\mu }_k=E(X^k)$$\mu_k=E(X^k)$ 的无偏估计量。

因此，矩估计是无偏的。当 $k=1$$k=1$，我们有：样本均值是总体期望的无偏估计量。当 $k=2$$k=2$，我们有：样本的二阶原点矩是总体二阶原点矩的无偏估计量。

判断无偏性：

• ${\displaystyle \bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i}$$\displaystyle \overline{X}=\frac{1}{n}\sum_{i=1}^n X_i$. 是总体期望的无偏估计量。

• 样本二阶中心距 ${\displaystyle S_n^2=\frac{1}{n}\sum (X_i-\bar{X}{)}^2}$$\displaystyle S_n^2=\frac{1}{n}\sum(X_i-\overline{X})^2$ 不是总体方差的无偏估计量。

• 样本方差 ${\displaystyle S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2}$$\displaystyle S^2 = \frac{1}{n-1} \sum _{i=1}^n (X_i-\overline{X})^2$ 是总体方差的无偏估计量。

  因为：

  $$\begin{array}{rl}E(S^2)& =\frac{1}{n-1}\sum _{i=1}^{n}E(X_i^2)-nE({\bar{X}}^2)\\ & =\frac{1}{n-1}\{\sum _{i=1}^n[D(X_i)+E^2(X_i)]-n(D(\bar{X})+E^2(\bar{X}))\}\\ & =\frac{1}{n-1}(n{\mu }^2+n{\sigma }^2-n\cdot {\sigma }^2/n-n{\mu }^2)={\sigma }^2\end{array}$$

• 当 $\sum {\alpha }_i=1$$\sum \alpha_i=1$，${\displaystyle \hat{\mu }=\sum _{i=1}^n{\alpha }_{i}E(X_i)}$$\displaystyle \hat \mu = \sum_{i=1}^n \alpha_i E(X_i)$ 是总体期望的无偏估计量。

设总体 $X\sim N(\mu ,{\sigma }^2)$$X\sim N(\mu,\sigma^2)$，求常数 $k$$k$，使得 ${\displaystyle k\sum _{i=1}^n|X_i-\bar{X}|}$$\displaystyle k\sum_{i=1}^n |X_i-\overline{X}|$ 为 $\sigma$$\sigma$ 的无偏估计量。

先计算：

• $E(X_i-\bar{X})=0$$E(X_i-\overline{X})=0$.

• ${\displaystyle D(X_i-\bar{X})=\sum _{i\ne j}\frac{1}{n^2}D(X_j)+\frac{(n-1{)}^2}{n^2}D(X_i)=\frac{n-1}{n}{\sigma }^2}$$\displaystyle D(X_i-\overline{X})=\sum_{i\not=j}\frac{1}{n^2} D(X_j)+\frac{(n-1)^2}{n^2} D(X_i)=\frac{n-1}{n}\sigma^2$.

现在知道 $Y=X_i-\bar{X}$$Y=X_i-\overline{X}$，求 $|Y|$$|Y|$ 的数学期望？

因此，

设 $(X_1,X_2\cdots ,X_m)$$(X_1,X_2\cdots,X_m)$ 是总体 $X$$X$ 的样本，$X\sim B(n,p),n>1\text{且}n\text{已}\text{知}$$X\sim B(n,p),n>1 且 n已知$，求 $p^2$$p^2$ 的无偏估计量。

利用 $E(X)=np,D(X)=np(1-p)=np-n{p}^2$$E(X)=np,D(X)=np(1-p)=np-np^2$.

再进行验证：

Q:

$$E((\frac{\bar{X}}{n}{)}^2)=p^2?$$

显然不等，因此 $(\bar{X}/n{)}^2$$(\overline{X}/n)^2$ 不是 $p^2$$p^2$ 的无偏估计量。其原因是期望只具有线性性。

Q: 能不能用 $E(X^2)$$E(X^2)$ 的表达式进行估计？

$$E(X^2)=D(X)+(E(X){)}^2=np(1-p)+(np{)}^2=np+p^2(n^2-n)$$

因此有：

$$p^2=\frac{E(X^2)-E(X)}{n^2-n}\widehat{p^2}=\frac{M_2-\bar{X}}{n^2-n}$$

——用不同的方法，也可以得出不同的估计量，它们都是无偏的。

当 $\hat{\theta }$$\hat \theta$ 是 $\theta$$\theta$ 的无偏估计量，$g(\hat{\theta })$$g(\hat \theta)$ 是否为 $g(\theta )$$g(\theta)$ 的无偏估计量？

有效性

设 ${\hat{\theta }}_1={\hat{\theta }}_1(X_1,X_2,\cdots ,X_n)$$\hat \theta_1=\hat \theta_1(X_1,X_2,\cdots,X_n)$ 和 ${\hat{\theta }}_2={\hat{\theta }}_2(X_1,X_2,\cdots ,X_n)$$\hat \theta_2=\hat \theta_2(X_1,X_2,\cdots,X_n)$ 均为 $\theta$$\theta$ 的 无偏估计量（也就是两种不同的估计方法），对于任意 $n$$n$ 有

则称 ${\hat{\theta }}_1$$\hat\theta_1$ 比 ${\hat{\theta }}_2$$\hat \theta_2$ 有效。

估计量在无偏的情况下，才能评价有效性。

设总体 ${\displaystyle X\sim E\left(\frac{1}{\theta }\right),\theta >0}$$\displaystyle X\sim E\left(\frac{1}{\theta}\right),\theta>0$ 为未知参数，$(X_1,\cdots ,X_n)$$(X_1,\cdots,X_n)$ 是总体 $X$$X$ 的样本。证明 $\bar{X}$$\overline{X}$ 与 $n{X}_{(1)}$$nX_{(1)}$ 都是 $\theta$$\theta$ 的无偏估计量。注意到：

因此都是无偏估计量。

然后比较方差：

因此 $\bar{X}$$\overline{X}$ 更有效。

设总体 $X$$X$ 的概率密度为：

我们已经知道 ${\hat{\theta }}_{\text{矩}}=4/3\bar{X},{\hat{\theta }}_{\mathrm{MLE}}=X_{(n)}$$\hat \theta_{矩}=4/3 \overline{X},\hat{\theta}_{\mathrm{MLE}}=X_{(n)}$. 先求得分布函数：

因此，${\hat{\theta }}_{\mathrm{MLE}}$$\hat \theta_{\mathrm{MLE}}$ 不是无偏估计量，需要乘以 $(3n+1)/3n$$(3n+1)/3n$ 修正。

对于 $X$$X$ 满足 Poisson 分布，判断哪一个最有效：

注意到 ${\hat{\theta }}_3$$\hat \theta_3$ 不是无偏估计量。因此只用比较 ${\hat{\theta }}_1,{\hat{\theta }}_2$$\hat \theta_1,\hat \theta_2$.

因此 $D({\hat{\theta }}_2)<D({\hat{\theta }}_1)$$D(\hat \theta_2)<D(\hat \theta_1)$，${\theta }_2$$\theta_2$ 更有效。注意到

都是无偏估计量，则使得 ${\displaystyle \sum {\alpha }_i^2}$$\displaystyle \sum \alpha_i^2$ 尽量小，则估计量更有效。

• 一方面，当 $n$$n$ 恒定，

  $$D({\hat{\theta }}_i)=\sum {\alpha }_i^{2}D(X_i)={\sigma }^2\left(\sum _{i=1}^n{\alpha }_i^2\right)$$

  根据 Cauchy 不等式，有：

  $$\left(\sum _{i=1}^n{\alpha }_i^2\right)\cdot \left(\sum _{i=1}^{n}1\right)\ge {\left(\sum _{i=1}^n{\alpha }_i\right)}^2=1$$

  因此，

  $$\sum _{i=1}^n{\alpha }_i^2\ge \frac{1}{n}$$

  等号当 $a_i=1/n,i=1,2,\cdots ,n$$a_i=1/n,i=1,2,\cdots,n$ 时，即样本均值时取到。

• 另一方面，如果想要更有效，我们还可以增加 $n$$n$.

这告诉我们样本均值在所有的样本加权和中，是最有效的无偏估计量。

这样产生一个问题，$D(\hat{\theta })$$D(\hat \theta)$ 能不能任意小，是否存在下界？

我们有 Rao-Cramer 不等式来说明这个问题

• 设 $X$$X$ 为离散型随机变量，其分布列为：

其中 $\mathrm{\Theta }$$\Theta$ 是实数轴上开区间。

• 设 $X$$X$ 为连续型随机变量，其密度为：

  $$f(x;\theta ),\theta \in \mathrm{\Theta }$$

并且设 $(X_1,X_2,\cdots ,X_n)$$(X_1,X_2,\cdots,X_n)$ 为来自总体 $X$$X$ 的一个样本，如果：

• $\hat{\theta }$$\hat \theta$ 是 $\theta$$\theta$ 的无偏估计量；

• 集合 $\{x\mid P/f(x;\theta )>0\}$$\{x \mid P/f(x;\theta)>0\}$ 和 $\theta$$\theta$ 无关；

• $$E\left[{\left(\frac{\partial \ln P/f(X;\theta )}{\partial \theta }\right)}^2\right]>0$$

则 $D(\hat{\theta })$$D(\hat \theta)$ 有以下结果：

称 $D_0(\theta )$$D_0(\theta)$ 为方差的下界，如果能够找到一个估计量 ${\hat{\theta }}_0$$\hat \theta_0$，使得 $D({\hat{\theta }}_0)=D_0(\theta )$$D(\hat \theta_0)=D_0(\theta)$，则称 ${\hat{\theta }}_0$$\hat \theta_0$ 是 $\theta$$\theta$ 的有效估计量。

设总体 ${\displaystyle X\sim E\left(\frac{1}{\theta }\right),\theta >0}$$\displaystyle X\sim E\left(\frac{1}{\theta}\right),\theta>0$，判断 $\bar{X}$$\overline{X}$ 是否为 $\theta$$\theta$ 的有效估计量。

我们有：

因此 $D_0(\theta )={\theta }^2/n$$D_0(\theta)=\theta^2/n$，而且 $D(\bar{X})={\theta }^2/n$$D(\overline{X})=\theta^2/n$，因此为有效估计量。

一致性

考虑 $n\to \mathrm{\infty }$$n\to \infin$，${\hat{\theta }}_n$$\hat \theta_n$ 在无穷远处的性态。

一致性的定义 序列 $\{{\hat{\theta }}_n\}$$\{\hat \theta_n\}$ 依概率收敛于 $\theta$$\theta$，即 $\mathrm{\forall }\epsilon >0$$\forall \varepsilon>0$，有：

则称 ${\hat{\theta }}_n$$\hat \theta_n$ 为 $\theta$$\theta$ 的一致估计量。

等价条件：${\displaystyle \underset{n\to \mathrm{\infty }}{lim}D({\hat{\theta }}_n)=0}$$\displaystyle \lim_{n\to \infin} D(\hat \theta_n)=0$.

证明，使用 Chebyshev 不等式。

• 样本 $k$$k$ 阶矩是总体 $k$$k$ 阶矩的一致估计量（因为 Khinchine 大数定律）

• 在 正态总体 下，样本方差是总体方差的一致估计量。

  $$\begin{array}{c}\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)\\ \Rightarrow D(S^2)=({\sigma }^2/(n-1){)}^{2}D({\chi }^2(n-1))=\frac{2{\sigma }^4}{(n-1)}\stackrel{n\to \mathrm{\infty }}{\to }0\\ \text{回}\text{顾}\text{卡}\text{方}\text{分}\text{布}\text{的}\text{性}\text{质}：E({\chi }^2(n))=n,D({\chi }^2(n))=2n\end{array}$$

利用样本 $k$$k$ 阶矩是总体 $k$$k$ 阶矩的一致估计量的性质，可以说明：

• $\bar{X}$$\overline{X}$ 是 $\mu$$\mu$ 的一致估计量；

• $S^2$$S^2$ 是 ${\sigma }^2$$\sigma^2$ 的一致估计量：

  $$S^2=\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2=\frac{1}{n-1}(\sum _{i=1}^n{X}_i^2-\frac{1}{n}{\left(\sum _{i=1}^n{X}_i\right)}^2)$$

  一概率收敛于：

  $$\frac{1}{n-1}({\mu }^2+{\sigma }^2-n())$$

区间估计

能否给出一个参数区间 $[{\theta }_1,{\theta }_2]$$[\theta_1,\theta_2]$，使得有 95% 的概率包含真实的 $\theta$$\theta$?

用正态分布举例：

$$\begin{array}{c}\frac{\bar{X}-\mu }{\sqrt{1/5}}\sim N(0,1)\\ P(-z_{\alpha /2}<\frac{\bar{X}-\mu }{\sqrt{1/5}}<z_{\alpha /2})=1-\alpha \\ P(\bar{X}-z_{0.05/2}\sqrt{1/5}<\mu <\bar{X}+z_{0.05/2}\sqrt{1/5})=0.95\end{array}$$

则称区间 $(\bar{X}-z_{0.05/2}\sqrt{1/5},\bar{X}+z_{0.05/2}\sqrt{1/5})$$(\overline{X}-z_{0.05/2} \sqrt{1/5},\overline{X}+z_{0.05/2} \sqrt{1/5})$ 为参数 $\mu$$\mu$ 的置信度为 $0.95$$0.95$ 的置信区间。

——仅仅和 $\bar{X}$$\overline{X}$ 有关。

双侧置信区间

如果 $\theta$$\theta$ 是待估计参数，$(X_1,X_2,\cdots ,X_n)$$(X_1,X_2,\cdots,X_n)$ 是来自总体 $X$$X$ 的一个样本，如果对于给定的 $\alpha (0<\alpha <1)$$\alpha(0<\alpha<1)$，存在 $\bar{\theta }(X_1,X_2,\cdots ,X_n)$$\overline{\theta}(X_1,X_2,\cdots,X_n)$ 和 $\underset{―}{\theta }(X_1,X_2,\cdots ,X_n)$$\underline{\theta}(X_1,X_2,\cdots,X_n)$，使得：

则称区间 $(\underset{―}{\theta },\bar{\theta })$$(\underline{\theta},\overline{\theta})$ 是 $\theta$$\theta$ 的置信度为 $1-\alpha$$1-\alpha$ 的置信区间。$1-\alpha$$1-\alpha$ 称为置信度。

问题，两端分位数选取 $\pm z_{\alpha /2}$$\pm z_{\alpha/2}$，是否有其它取法？可不可以取 $(-z_{2\alpha /3},z_{\alpha /3})$$(-z_{2\alpha/3},z_{\alpha/3})$？

可以分析，两种取法区间长度分别为：

$$2z_{\alpha /2}\frac{1}{\sqrt{5}}=1.75(z_{2\alpha /3}+z_{\alpha /3})\frac{1}{\sqrt{5}}=1.775$$

不对称的区间长度更长。

置信区间的取法不唯一，需要保证置信度的前提下，最小化置信区间长度，也就是最小化平均长度 $E(|\bar{\theta }-\underset{―}{\theta }|)$$E(|\overline{\theta}-\underline{\theta}|)$.

一般来说，置信度越高，置信区间的长度越长——可靠度和估计的精度是矛盾的，在满足可靠度的前提下，可以增大样本容量，来增加估计的精度。

构造一个样本的函数：

称为枢轴量，含有待估参数，不含有其它未知参数，其分布已知，且分布不依赖待估计参数（我们通常选用标准的三大统计分布，一定不能含有其它未知参数，否则连分位数都不好求……）。

枢轴量一定要会写哦，对于正态总体 $N(\mu ,{\sigma }^2)$$N(\mu,\sigma^2)$.

• 估计 $\mu$$\mu$.

  • 当 ${\sigma }^2$$\sigma^2$ 已知，枢轴量选为 ${\displaystyle U=\frac{\bar{X}-\mu }{\sigma /\sqrt{n}}\sim N(0,1)}$$\displaystyle U=\frac{\overline{X}-\color{red}{\mu}}{\sigma/\sqrt n}\sim N(0,1)$.

  • 当 ${\sigma }^2$$\sigma^2$ 未知，用样本方差替代总体方差，枢轴量选为 ${\displaystyle T=\frac{\bar{X}-\mu }{S/\sqrt{n}}\sim t(n-1)}$$\displaystyle T=\frac{\overline{X}-\color{red}{\mu}}{S/\sqrt{n}} \sim t(n-1)$.

• 估计 ${\sigma }^2$$\sigma^2$.

  • 当 $\mu$$\mu$ 已知，枢轴量选为 ${\displaystyle {\chi }^2=\frac{\sum _{i=1}^n(X_i-\mu {)}^2}{{\sigma }^2}\sim {\chi }^2(n)}$$\displaystyle \chi^2=\frac{\sum_{i=1}^n (X_i-\mu)^2}{{\color{red}\sigma^2}}\sim \chi^2(n)$.

  • 当 $\mu$$\mu$ 未知，用样本均值代替总体均值，枢轴量选为 ${\displaystyle {\chi }^2=\frac{\sum _{i=1}^n(X_i-\bar{X}{)}^2}{{\sigma }^2}=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)}$$\displaystyle \chi^2=\frac{\sum_{i=1}^n (X_i-\overline{X})^2}{{\color{red}\sigma^2}}=\frac{(n-1)S^2}{{\color{red}\sigma^2}}\sim \chi^2(n-1)$.

为了强调枢轴量只含有待估计参数，不含有其它未知参数，将待估计参数标红。

给定置信度 $1-\alpha$$1-\alpha$，确定两个常数 $a,b$$a,b$ 使得：

由 $a<g(X_1,X_2,\cdots ;\theta )<b$$a<g(X_1,X_2,\cdots;\theta)<b$，解出 $\bar{\theta },\underset{―}{\theta }$$\overline{\theta},\underline{\theta}$.

正态总体 $\mathit{N}\mathbf{(}\mathit{\mu }\mathbf{,}{\mathit{\sigma }}^{\mathbf{2}}\mathbf{)}$$\boldsymbol{N(\mu,\sigma^2)}$ 中均值 $\mathit{\mu }$$\boldsymbol \mu$ 的置信区间

如果方差已知，则：

可以得到置信区间为 $(-z_{\alpha /2}\sigma /\sqrt{n},z_{\alpha /2}\sigma /\sqrt{n})$$(-z_{\alpha/2}\sigma/\sqrt{n},z_{\alpha/2}\sigma/\sqrt{n})$；

如果方差 ${\sigma }^2$$\sigma^2$ 未知，可以用样本方差 $S^2$$S^2$ 替代，枢轴量为：

可得置信区间为：

正态总体 $\mathit{N}\mathbf{(}\mathit{\mu }\mathbf{,}{\mathit{\sigma }}^{\mathbf{2}}\mathbf{)}$$\boldsymbol{N(\mu,\sigma^2)}$ 中方差 ${\mathit{\sigma }}^2$$\boldsymbol \sigma^2$ 的置信区间

当 $\mu$$\mu$ 已知，取枢轴量：

则有：

置信区间为：

当 $\mu$$\mu$ 未知，取枢轴量：

得到方差 ${\sigma }^2$$\sigma^2$ 置信度为 $1-\alpha$$1-\alpha$ 的置信区间为：

判断正确置信区间：

• 判断选择了什么枢轴量，枢轴量服从什么分布。

• 满足概率要求，置信度为 $1-\alpha$$1-\alpha$.

单侧置信区间

对于给定的 $\alpha (0<\alpha <1)$$\alpha(0<\alpha<1)$，$\theta$$\theta$ 是待估计参数，$(X_1,X_2,\cdots ,X_n)$$(X_1,X_2,\cdots,X_n)$ 是样本，给出统计量 $\bar{\theta }$$\overline \theta$，满足：

则称区间 $(-\mathrm{\infty },\bar{\theta })$$(-\infin,\overline{\theta})$ 是置信度为 $1-\alpha$$1-\alpha$ 的单侧置信区间，$\bar{\theta }$$\overline{\theta}$ 是单侧置信上界。

给出统计量 $\underset{―}{\theta }$$\underline{\theta}$，满足：

则称区间 $(-\underset{―}{\theta },+\mathrm{\infty })$$(-\underline{\theta},+\infin)$ 是置信度为 $1-\alpha$$1-\alpha$ 的单侧置信区间，$\bar{\theta }$$\overline{\theta}$ 是单侧置信下界。

注意是直接和 $\theta$$\theta$ 进行比较，而不是和枢轴量进行比较。

方差已知，求均值

枢轴量为：

方差未知，求均值

枢轴量为：

则：

单侧置信下界为：

均值未知，求方差

枢轴量为：

要使得：

则有：

单侧置信上界为：

注意还可以使用公式 $S_n^2=M_2-{\bar{X}}^2,(n-1)S^2=n{S}_n^2$$S_n^2=M_2-\overline{X}^2,(n-1)S^2=nS_n^2$.

两个正态分布总体的区间估计

对于两个正态总体 $X\sim N({\mu }_1,{\sigma }^2),Y\sim N({\mu }_2,{\sigma }^2)$$X\sim N(\mu_1,\sigma^2),Y\sim N(\mu_2,\sigma^2)$，估计 ${\mu }_1-{\mu }_2$$\mu_1-\mu_2$ 和 ${\sigma }_1^2/{\sigma }_2^2$$\sigma_1^2/\sigma_2^2$.

假设样本 $(X_1,X_2,\cdots ,X_m)$$(X_1,X_2,\cdots,X_m)$ 和 $(Y_1,Y_2,\cdots ,Y_n)$$(Y_1,Y_2,\cdots,Y_n)$ 分别来自两个正态总体，并且它们相互独立，则：

因此，当 ${\mathit{\sigma }}_{\mathbf{1}}^{\mathbf{2}}\mathbf{,}{\mathit{\sigma }}_{\mathbf{2}}^{\mathbf{2}}$$\boldsymbol {\sigma_1^2,\sigma_2^2}$ 已知，包含 ${\mu }_1-{\mu }_2$$\mu_1-\mu_2$ 的枢轴量可以取：

当 ${\mathit{\sigma }}_{\mathbf{1}}^{\mathbf{2}}\mathbf{,}{\mathit{\sigma }}_{\mathbf{2}}^{\mathbf{2}}$$\boldsymbol {\sigma_1^2,\sigma_2^2}$ 未知，但 ${\mathit{\sigma }}_{\mathbf{1}}^{\mathbf{2}}\mathbf{=}{\mathit{\sigma }}_{\mathbf{2}}^{\mathbf{2}}$$\boldsymbol {\sigma_1^2=\sigma_2^2}$，枢轴量可以取：

其中，$S_w^2$$S_w^2$ 为加权平均，等于 ${\displaystyle \frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2}}$$\displaystyle \frac{(m-1)S_1^2+(n-1)S_2^2}{m+n-2}$.

当 ${\mathit{\sigma }}_{\mathbf{1}}^{\mathbf{2}}\mathbf{,}{\mathit{\sigma }}_{\mathbf{2}}^{\mathbf{2}}$$\boldsymbol{\sigma_1^2,\sigma_2^2}$ 未知，但是 $\mathit{m}\mathbf{=}\mathit{n}$$\boldsymbol {m=n}$，可以进行配对，$Z_i=X_i-Y_i\sim N({\mu }_1-{\mu }_2,{\sigma }_1^2+{\sigma }_2^2)$$Z_i=X_i-Y_i\sim N(\mu_1-\mu_2,\sigma_1^2+\sigma_2^2)$，利用单个正态总体区间估计，有：

其中 $\bar{Z}=\bar{X}-\bar{Y},{\displaystyle S_Z=\frac{1}{n-1}\sum _{i=1}^n[(X_i-Y_i)-(\bar{X}-\bar{Y}){]}^2}$$\overline{Z}=\overline{X}-\overline{Y},\displaystyle S_Z=\frac{1}{n-1} \sum_{i=1}^n [(X_i-Y_i)-(\overline{X}-\overline{Y})]^2$.

当 ${\mathit{\sigma }}_{\mathbf{1}}^{\mathbf{2}}\mathbf{,}{\mathit{\sigma }}_{\mathbf{2}}^{\mathbf{2}}$$\boldsymbol {\sigma_1^2,\sigma_2^2}$ 未知，但是 $\mathit{m}\mathbf{,}\mathit{n}$$\boldsymbol {m,n}$ 很大，可以使用中心极限定理：

在单个正态总体区间估计中，我们用过用样本方差代替总体方差的做法，最后枢轴量服从 t 分布，而 t 分布当 $n$$n$ 很大时又近似为正态分布。因此做一个不怎么严谨的类推，推广到两个正态分布，就可以理解为什么这里近似服从正态分布。

当 ${\mathit{\mu }}_{\mathbf{1}}\mathbf{,}{\mathit{\mu }}_{\mathbf{2}}$$\boldsymbol{\mu_1,\mu_2}$ 未知，求方差比 ${\mathit{\sigma }}_{\mathbf{1}}^{\mathbf{2}}/{\mathit{\sigma }}_{\mathbf{2}}^{\mathbf{2}}$$\boldsymbol{\sigma_1^2/\sigma_2^2}$ 的置信区间 构造枢轴量：