“在终极的分析中，一切知识都是历史；
在抽象的意义下，一切科学都是数学；
在理性的世界里，所有的判断都是统计学。”
——《统计与真理》C.R.Rao
瑞典统计学家Cramer和印度统计学家Rao分别在1945年和1946年对单参数正则分布族证明了一个重要不等式，后人称之为Cramer-Rao不等式，即著名的C-R不等式。它给出了可估参数的无偏估计的方差下界。
本文对C-R不等式的相关内容进行介绍。

1. 什么是C-R不等式？

令是来自密度函数为的iid样本，是参数的可微函数，是的任一无偏估计，且假定关于可微并对于和满足
则得到C-R不等式:
上式的右侧即为著名的C-R下界。

2. C-R不等式说明了什么？

C-R不等式说明：
  1. 对于无偏估计，其方差并不会无限的小。也就表明任意无偏估计量都存在一定程度的波动性；
  2. 无偏估计的方差依赖于样本量，所服从的分布特征，以及待估参数的形式；
  3. 对于无偏估计而言，如果存在一个估计量达到了C-R下界，那么这个估计量就是最优无偏估计量。

3. 使用C-R不等式时需要注意什么？

上述C-R不等式是一个非常漂亮的理论结果，但在应用时需要注意：
  1. 上述结果限制在无偏估计类里。如果不加这一限制，则可能没有这样的理论结果。比如对于任意待估参数，给出估计量，则此估计量在时期望也是1且方差为0.
  2. C-R不等式假定积分和求导可交换顺序。若这一条件不成立，则C-R不等式也可能不成立。反例见统计推断George Casella例7.3.13.

4. 怎么证明？

简要证明：C-R不等式是Cauchy-Schwarz不等式，即或的巧妙使用。
实际上有以下两个事实成立：
取，根据假定条件，可知
所以第一个结果成立。下证第二个结果。取，根据假定条件，可知

5. 如何达到C-R下界？

从上述证明可知，要达到C-R下界，需要和成线性关系。即对某一函数，有下式成立:
这个推论表明C-R下界有时可能是达不到的。也就是说对某些问题，所有无偏估计量的最小方差仍然可能大于C-R下界。对此一种有效的途径是寻找适用范围更广，产生更大的下界的方法。

6. 例：方差的估计问题

设。考虑对方差进行估计。通过计算可求得：
而我们知道
那么存在比样本方差更优的无偏估计吗？还是C-R下界无法达到？容易求得：
故若取，的最优无偏估计量为。但其仅在已知时才可计算。若未知，则下界无法达到。
继续阅读
阅读原文