概率统计

本文记载《Introduction to Mathematical Statistics and Its Applications》这本书的各种定义定理

感谢 https://myblackboxrecorder.com/use-math-in-hexo/ 这篇blog解决了数学公式的问题

Ch7 : Inferences based on the normal distribution

Theorem 7.3.1

设 ，其中 是独立的标准正态随机变量。则 服从参数 和 的伽马分布，即：

推导过程如下：

首先，取 。对任意 ，我们计算：

通过计算积分可以得到 的值。然后，对其求导，得到 ：

可以看到，这与伽马分布的形式一致，参数 和 。

通过定理4.6.4，总结 个此类平方的和具有上述伽马分布形式，参数为 和 。

Definition 7.3.1

设 ，其中 是独立的标准正态随机变量，那么 的概率密度函数称为具有 个自由度的卡方分布。

Theorem 7.3.2

设 是从均值为 且方差为 的正态分布中抽取的随机样本。则：

1. 和 是相互独立的。

2. 服从具有 个自由度的卡方分布。

证明在附录

Definition 7.3.2

假设 和 是具有 和 个自由度的独立卡方随机变量。形式为 的随机变量称为具有 和 个自由度的 F 分布。

Theorem 7.3.3

假设 表示具有 和 个自由度的 F 分布随机变量。则 的概率密度函数为：

我们从 的概率密度函数开始推导。根据定理 7.3.1，我们知道：

通过使用定理 3.8.4，我们可以计算 的概率密度函数 ：

将 和 代入上述积分中，得出：

这个积分是伽马分布的积分部分，最终我们得到：

最终，F 分布的概率密度函数 为：

Definition 7.3.3

设 为标准正态随机变量， 为与 独立的卡方随机变量，自由度为 。具有 个自由度的 Student t 比值 记作 ，其定义为：

lemma

的概率密度函数是对称的，即 ，对所有 都成立。

证明：

为方便记号，设 。根据定理 3.8.4 和 的概率密度函数的对称性，有：

因此， 的概率密度函数 是对称的。

Theorem 7.3.4

具有 个自由度的 Student t 随机变量的概率密度函数为：

证明：

首先，注意到 具有 和 个自由度的 F 分布。因此， 可以表示为：

设 。根据 的对称性，我们有：

接着，我们通过对称性展开如下：

再将其写为：

于是可以得到：

对 求导，我们得到：

的表达式进一步展开为：

化简上式：

最后得到 的概率密度函数为：

Theorem 7.3.5

设 是从均值为 且标准差为 的正态分布中抽取的随机样本。那么

服从自由度为 的 Student t 分布。

证明：

我们可以将 写成以下形式：

其中 是标准正态随机变量，且 服从自由度为 的卡方分布。

此外，定理 7.3.2 表明 和 彼此独立。

因此，根据定义 7.3.3， 服从自由度为 的 Student t 分布。

Theorem 7.4.1

设 是来自均值 未知的正态分布的一个样本，样本量为 。则 的一个 的置信区间为以下数值的集合：

其中， 是样本均值， 是样本标准差， 是自由度为 的 Student t 分布的百分位数。

Theorem 7.4.2

设 是来自标准差 未知的正态分布的一个样本，定义 。

1. 若要检验 对比 ，在显著性水平 下，当 时拒绝 。

2. 若要检验 对比 ，在显著性水平 下，当 时拒绝 。

3. 若要检验 对比 ，在显著性水平 下，当 或 时拒绝 。

Theorem 7.5.1

设 表示从均值为 ，方差为 的正态分布中抽取的一个样本的样本方差，则：

1. 的一个 的置信区间为以下数值的集合：

2. 的一个 的置信区间为以下数值的集合：

其中 是自由度为 的卡方分布的临界值。

Theorem 7.5.2

设 表示从均值为 ，方差为 的正态分布中抽取的一个样本的样本方差。定义 ，其中 是假设的方差值。

1. 若要检验 对比 ，在显著性水平 下，当 时拒绝 。

2. 若要检验 对比 ，在显著性水平 下，当 时拒绝 。

3. 若要检验 对比 ，在显著性水平 下，当 或 时拒绝 。

CH8: Types of Data: A brief overview

none

CH9: Two-Sample inferences

Theorem 9.2.1

设 是从均值为 和标准差为 的正态分布中抽取的大小为 的随机样本， 是从均值为 和标准差为 的正态分布中抽取的独立大小为 的随机样本。

设 和 分别是两个样本的样本方差， 是合并后的方差，定义为：

则

服从自由度为 的 Student t 分布。

证明

证明方法与定理 7.3.5 类似。首先，等价形式为：

由于

分子服从标准正态分布 。

在分母中，

分别是自由度为 和 的独立 分布变量，因此，

服从自由度为 的 分布（参见定理 7.3.1 和定理 4.6.4）。根据附录 7.A.2，分子和分母是独立的。

因此，根据定义 7.3.3，有：

服从自由度为 的 Student t 分布。

Theorem 9.2.2

设 和 是从均值分别为 和 ，标准差为 的正态分布中抽取的独立随机样本。定义

其中 是合并样本方差。

• 1. 检验 对应备择假设 时，在显著性水平 下，如果 ，则拒绝 。
• 2. 检验 对应备择假设 时，在显著性水平 下，如果 ，则拒绝 。
• 3. 检验 对应双侧备择假设 时，在显著性水平 下，如果 满足 或 ，则拒绝 。

Theorem 9.2.3

设 和 是来自正态分布的两个独立随机样本，均值分别为 和 ，标准差分别为 和 。

定义统计量 为：

其中， 和 分别是两个样本的均值， 和 分别是样本方差， 和 分别是两个样本的大小。

使用方差比 ，计算自由度 ：

将 取整后， 近似服从自由度为 的学生 t 分布。

Theorem 9.3.1

设 和 是从正态分布中抽取的独立随机样本，其均值分别为 和 ，标准差分别为 和 。为了检验方差的假设，定义以下检验步骤：

• 1. 检验 对应备择假设 ，在显著性水平 下，如果 ，则拒绝 。
• 2. 检验 对应备择假设 ，在显著性水平 下，如果 ，则拒绝 。
• 3. 检验 对应双侧备择假设 ，在显著性水平 下，如果 满足 或 ，则拒绝 。

Theorem 9.4.1

设 和 分别表示两个独立伯努利试验中成功的次数，试验次数分别为 和 ，其中 和 分别是对应的成功概率。定义合并成功概率 如下：

并定义检验统计量 为：

检验步骤如下：

• 1. 检验 对应备择假设 ，在显著性水平 下，如果 ，则拒绝 。
• 2. 检验 对应备择假设 ，在显著性水平 下，如果 ，则拒绝 。
• 3. 检验 对应双侧备择假设 ，在显著性水平 下，如果 或 ，则拒绝 。

Theorem 9.5.1

设 和 为从均值分别为 和 ，标准差为 的正态分布中抽取的独立随机样本。设 为数据的合并标准差。

对于 ，置信水平为 的置信区间为：

证明部分依赖于定理 9.2.1 中的结论，即

具有 自由度的 Student t 分布。

因此，我们可以从不等式

中通过代数运算得到定理中的置信区间。

Theorem 9.5.2

设 和 分别是均值为 和 ，标准差为 和 的正态分布中抽取的独立随机样本。

方差比 的 置信区间为：

证明部分从 服从 分布（自由度为 和 ）开始，通过类似定理 9.5.1 的策略，将 放在不等式的中心，从而得到置信区间。

Theorem 9.5.3

设 和 分别表示在两组 和 次伯努利试验中观察到的成功次数， 和 分别表示两组试验的真实成功概率。

的近似 的置信区间为：

CH10: Goodness-of-fit tests

Theorem 10.2.1

设表示在一系列次独立试验中，结果出现的次数，，其中。那么向量服从多项分布，并且其概率分布函数为

其中

证明：

任意特定序列的, , …, 和的概率为。此外，生成值的结果序列的总数是排列个对象的方式，是第一个类型的，是第二个类型的，…，是第t个类型的。根据定理2.6.2，该数为。因此定理得证。

Theorem 10.2.2

假设向量是具有参数的多项随机变量。那么，（）的边缘分布是参数为和的二项分布。

证明：

为了推导出的概率密度函数，我们只需将每次试验的可能结果简化为“”和“非”两类。于是，实际上成为了次独立伯努利试验中的“成功”次数，其中每次试验成功的概率为。根据定理3.2.1，得出是参数为和的二项随机变量。

Theorem 10.3.1

设为与次独立试验相关的可能结果（或结果范围），其中，。设为出现的次数，。那么：

1. 随机变量

近似服从自由度为的卡方分布。为了使这一近似合理，个类别应被定义为使得对于所有，。

2. 设为的观察频率，为在原假设下的期望频率。在显著性水平下，当下述条件成立时，原假设（如 或 ）被拒绝：

其中对于所有，。

证明：

a部分的正式证明超出了本书的范围，但可以通过的简单情况来说明其思路。在这种情况下：

通过代数化简，最后可以写为：

根据定理4.3.1，是渐近标准正态变量的平方，因此该部分陈述成立。

Theorem 10.4.1

假设从 [或]中抽取了一个包含个观测值的随机样本，该概率密度函数（pdf）具有个未知参数。设为与每一个观测值互斥的范围（或结果）。令为结果的估计概率，（是从 [或]中通过最大似然估计替换了未知参数后的结果）。设表示结果出现的次数，。那么：

1. 随机变量

近似服从自由度为的卡方分布。为了使该近似完全合理，应定义，使得对于所有，。

2. 要检验 [或]在显著性水平下时，计算

其中为结果的观察频率，为基于原假设下的相应估计频率。如果

那么拒绝原假设。（同样，应被定义为使得对于所有，。）

Theorem 10.5.1

假设从样本空间中取出个观测值，并根据事件以及事件对样本空间进行了划分。令，，，其中，。设表示属于交集的观测次数。那么：

1. 随机变量

近似服从自由度为的卡方分布（条件是对于所有和，）。

2. 要检验与是独立的，计算检验统计量

其中表示样本中属于的观测数，，，和是事件和的最大似然估计。若在显著性水平下

则拒绝原假设。

（类似于拟合优度检验中规定的条件，假设对于所有和，）。

CH11: Regression

Theorem 11.2.1

给定个点，使得直线最小化

的斜率为

截距为

证明：

通过对分别对和求偏导，并将得到的表达式设为0来完成证明。第一步，我们有

以及

将这两个偏导数设为0并简化，得到两个方程：

以及

应用克拉默法则，解得，并且的表达式也立即得出。

Definition 11.3.1

设表示给定值时随机变量的概率密度函数（pdf），并且设表示与相关的期望值。函数

称为对的回归曲线。

Theorem 11.3.1

设是一组满足简单线性模型的数据点，。, 和的最大似然估计为：

以及

其中，。

证明：

由于每个被假设为正态分布，且其均值为，方差为，样本的似然函数为：

通过对求偏导并设为0，分别对, 和求解，得到定理中的结果。

Theorem 11.3.2

设是一组满足简单线性模型的数据点，。, 和是对, 和的最大似然估计，则：

1. 和都是正态分布的。

2. 和都是无偏估计：，。

3. 的方差为：

4. 的方差为：

Theorem 11.3.3

设满足简单线性模型的假设，则：

1. , 和是相互独立的。

2. 服从自由度为的卡方分布。

推论

设为简单线性模型中的最大似然估计，则是的无偏估计。

证明：回忆卡方分布的期望值为（参见定理4.6.3和7.3.1）。因此，

推论

随机变量和是相互独立的。

Theorem 11.3.4

设是一组满足简单线性模型假设的数据点，令

则

服从自由度为的Student t分布。

Theorem 11.3.5

设是一组满足简单线性模型假设的数据点。定义

1. 要检验，对比假设，在显著性水平下，当时拒绝。

2. 要检验，对比假设，在显著性水平下，当时拒绝。

3. 要检验，对比假设，在显著性水平下，当或时拒绝。

Theorem 11.3.6

设是一组满足简单线性模型假设的数据点，并令

那么

是的100置信区间。

证明：

设表示一个具有自由度的Student t随机变量，此时

代入定理11.3.4中给出的表达式，并将孤立于不等式的中心，得到的区间端点即为定理中的表达式。

Theorem 11.3.7

设是一组满足简单线性模型假设的数据点。的100置信区间为，其中

且。

Theorem 11.3.8

设是一组满足简单线性模型假设的数据点。在给定值下，的100预测区间为，其中

且。

Theorem 11.3.9

设和是两组独立的数据点，它们都满足简单线性模型的假设，即且。那么：

1. 定义

其中

则服从自由度为的Student t分布。

2. 要检验，对比假设，在显著性水平下，当或时，拒绝。

其中

（单侧检验与通常的方式相同，通过将替换为或。）

Theorem 11.4.1

对于任意两个随机变量和：

1. 。

2. 当且仅当，其中和是某些常数（可能除了概率为零的集合外）。

证明：

按照定义11.4.1的符号，设和表示和的标准化变换。则

由于，可以推出，从而证明了部分a。

接下来，假设。此时，；然而，一个方差为零的随机变量是常数，可能除了一个概率为零的集合外。因此，与一致恒定，说明是的线性函数。对于的情况，证明过程类似。

Theorem 11.5.1

假设和是具有定义11.5.1中给出的双变量正态分布的随机变量，那么：

1. 是均值为、方差为的正态概率密度函数；是均值为、方差为的正态概率密度函数。

2. 是和之间的相关系数。

3. 。

4. 。

证明：

我们已经确立了(a)和(b)。将(c)和(d)特例化为且的情况进行检验。对于任意和的扩展是直接的。

首先，注意到

我们发现，式(11.5.4)是均值为、方差为的正态随机变量的概率密度函数。因此，，。

将替换为并将替换为即可得到所需结果。

Theorem 11.5.2

已知是一个双变量正态概率密度函数，对于, , , 和的最大似然估计量（假设这五个参数都是未知的）分别是, ,

分别为它们的最大似然估计量。

Theorem 11.5.3

设是从双变量正态分布中抽取的大小为的随机样本，并且设为样本相关系数。在原假设下，统计量

服从自由度为的Student t分布。

CH12: The analysis of variance

Theorem 12.2.1

设SSTR为针对大小为的个独立随机样本定义的处理平方和（Treatment Sum of Squares）。那么，

证明：

从等式12.2.1开始，

由于是的均值，因此

此外，由定理3.6.1我们有

但根据定理3.6.2，我们知道

所以，

将这些等式代入的表达式中，得到

或

Theorem 12.2.2

当原假设为真时，服从自由度为的卡方分布。

证明：

该定理可以通过应用费舍尔引理（Fisher's Lemma）直接证明，类似于附录7.A.2和11.A.2中的方法。为了避免重复这些论证，我们将在附录12.A.2中通过矩生成函数（moment-generating function）的推导来给出证明。

Theorem 12.2.3

无论原假设 是否成立：

1. 服从自由度为 的卡方分布。
2. SSE 和 SSTR 相互独立。

证明：

根据定理 7.3.2， 服从自由度为 的卡方分布。因此，根据卡方分布的加法性质，

是一个具有自由度 的卡方随机变量。

每个 与 相互独立（当 时），因为其对应的样本是独立的。同样，根据定理 7.3.2，每个 也与 独立。因此，SSE 和 SSTR 是独立的。

Theorem 12.2.4

如果将 个观测值分为大小为 的 个样本，则

Theorem 12.2.5

假设 个独立随机样本中的每个观测值均从具有相同方差 的正态分布中抽取。令 为样本的真实均值，则：

1. 如果原假设 成立，那么统计量

服从自由度为 和 的 F 分布。

2. 在显著性水平 下，若 ，则拒绝原假设 。

证明：

根据定理 12.2.3，SSTR 和 SSE 是相互独立的。我们还知道 和 都是卡方随机变量。因此，部分 (a) 可以通过 F 分布的定义得出。

为了证明部分 (b) 中临界区域的位置，我们需要检查当对立假设 成立时检验统计量的行为。根据定理 12.2.1，我们知道 的分子期望值为：

此外，根据定理 12.2.3，统计量的分母期望值 始终为 ，无论哪一个假设成立。

当原假设 成立时，分子和分母的期望值均为 ，因此 的比值接近 1；但当 成立时，分子期望值将大于 ，从而导致观察到的 F 比值大于 1。因此，拒绝域应位于 F 分布的右侧尾部。

Theorem 12.3.1

设 为完全随机单因子设计中 个样本均值，设 为公共样本大小，且 为真实均值，。那么：

在显著性水平 下， 个均值差 将同时满足以下不等式的概率为 ：

其中 。如果对于给定的 和 ，零不包含在上述不等式中，则可以在显著性水平 下拒绝 ，以支持 。

证明：

设 ，则 为均值为零、方差为 的正态分布。令 和 分别表示 的最大值和最小值，。

取 为 的估计量。根据标准化 的定义，得到

具有 分布，这意味着

即

因此，对于所有 和 ，我们有

从而得到定理中的不等式。

Definition 12.4.1

设 为 个因子水平的真实均值。如果 的线性组合 的系数之和为 0，则称 为一个对比（contrast）。即，如果

且满足

则称 为一个对比。

Definition 12.4.2

设 为任意对比。与 相关的平方和（Sum of Squares）定义为：

其中

Theorem 12.4.1

设

为 个互相正交的对比，设

为它们的估计量。则

Theorem 12.4.2

设 为一个对比，其系数与以下假设相同：

其中 。设 为总样本大小，则

1. 服从自由度为 1 和 的 F 分布。

2. 在显著性水平 下，当 时，拒绝原假设 。

CH13: Randomized block designs

Theorem 13.2.1

假设 个处理水平在 个区组上进行测量。则：
a. 。
b. 、 和 是独立的随机变量。

Theorem 13.2.2

假设 个处理水平，均值为 ，在 个区组上进行测量，区组效应为 。则：
a. 当 成立时， 服从 个自由度的卡方分布。
b. 当 成立时， 服从 个自由度的卡方分布。
c. 无论 和 是否相等， 服从 个自由度的卡方分布。

Theorem 13.2.3

假设 个处理水平，均值为 ，在 个区组上进行测量。则：
a. 如果 成立，

服从自由度为 和 的 F 分布。
b. 在显著性水平 下，当 时，拒绝原假设 。

Theorem 13.2.4

假设 个处理水平在 个区组上进行测量，区组效应为 。则：
a. 如果 成立，

服从自由度为 和 的 F 分布。
b. 在显著性水平 下，当 时，拒绝原假设 。

Theorem 13.2.5

设 ， 是一个 随机区块设计中的样本均值。设 是 水平的真实处理均值，。以 的概率，所有 个成对的子假设 将同时满足以下不等式：

其中 。如果对于给定的 和 ，0 不包含在上述不等式中，则可以在显著性水平 下拒绝 ，支持假设 。

Theorem 13.3.1

设 是一组从正态分布中抽取的随机样本，差值的均值为 。设 和 分别表示这些 的样本均值和样本标准差，并定义统计量 。

1. 若要检验 对应的假设 ，在显著性水平 下，若 ，则拒绝 。

2. 若要检验 对应的假设 ，在显著性水平 下，若 ，则拒绝 。

3. 若要检验 对应的假设 ，在显著性水平 下，若 满足 或 ，则拒绝 。

CH14: Nonparametric statistics

Theorem 14.2.1

设 是来自任意连续分布的随机样本，该分布的中位数为 ，且 。设 表示大于 的 值的个数，设 ，则：

• 1. 若检验 对比 ，在显著性水平 ，当 时拒绝 。
• 2. 若检验 对比 ，在显著性水平 ，当 时拒绝 。
• 3. 若检验 对比 ，在显著性水平 ，当 或 时拒绝 。

Theorem 14.2.1

设 是从连续且对称（但不一定相同）的概率密度函数 中独立抽取的观察值。如果 成立，则数据的符号秩统计量 的概率密度函数为：

其中， 是在下列展开式中 的系数：

Theorem 14.3.2

当 成立时，威尔科克森符号秩统计量 的均值和方差分别为：

对于 ， 的分布可以用标准正态分布来近似：

Theorem 14.3.3

设 是基于独立抽样的符号秩统计量，且每个样本来自连续且对称的概率密度函数。如果 ，则：

• 1. 若检验 对比 ，在显著性水平 ，当 时拒绝 。
• 2. 若检验 对比 ，在显著性水平 ，当 时拒绝 。
• 3. 若检验 对比 ，在显著性水平 ，当 或 时拒绝 。

Theorem 14.3.4

设 和 是来自 和 的两个独立样本，假设这两个样本的概率密度函数相同，只是位置参数不同。定义 为联合样本中的秩，则符号秩统计量为：

其中，若第 个观测值来自 ，则 ，否则 。则：

Theorem 14.4.1

假设从 分布中分别抽取 个独立观测值，这些分布均为连续且具有相同形状的分布。令 为每个 的均值 ， 为每个样本的秩和。如果 : 为真，计算统计量：

则该统计量 近似服从 分布。如果 ，则在显著性水平 下拒绝 。

Theorem 14.5.1

假设 个处理在 个区组内独立排序。令 为第 个处理的秩和。原假设 个处理的总体中位数均相等，在显著性水平 下（近似）被拒绝，如果：

Theorem 14.6.1

设 表示在 个观测值序列中上升和下降的次数，其中 。如果序列是随机的，则有：

3. 当 时，，其中 是标准正态分布。

END