CRLB

MSE:概念 为均方误差准则 \text{mse}\big(\hat{\theta}\big)=E\left\{\big(\hat{\theta}-\theta\big)^2\right\} = \text{var}\left(\hat{\theta}\right)+b^2\left(\theta\right) 与真值有关，一般不可实现

MVU:最小方差无偏估计 要求 \min\left\{\text{var}\left(\hat{\theta}\right)\right\} \quad s.t.E\left(\hat{\theta}\right)=\theta。先无偏，再方差最小。

MVU 要求无论待估计参数是多少，其方差都是最小的，因此要求一致最小方差无偏估计。注意：不一定存在无偏估计。只是在所有无偏估计中方差最小，在所有（含偏）估计量当中不一定方差最小。CRLB 为 MVU 的性能界。MVU 不一定会达到这个界，这个值只是 MVU 方差上界的参考。

CRLB：条件满足正则条件：E[\cfrac{\partial\ln p\left(\boldsymbol{x};\boldsymbol{\theta}\right)}{\partial\boldsymbol{\theta}}]=\boldsymbol{0}那么一定有：\textbf{C}_{\hat{\theta}}-\textbf{I}^{-1}\big(\theta\big)\geq\textbf{0} \qquad \text{var}\left(\hat{\theta}_i\right)=\left[\mathbf{C}_{\hat{\theta}}\right]_{ii}\geq\left[\mathbf{I}^{-1}(\theta)\right]_{ii} 其中：\left[\textbf{I}(\theta)\right]_{ij}=-E\bigg[\cfrac{\partial^2\ln p(\textbf{x};\boldsymbol{\theta})}{\partial\theta_i\partial\theta_j}\bigg]即，当且仅当 \cfrac{\partial\text{ln}p(\boldsymbol{x};\boldsymbol{\theta})}{\partial\boldsymbol{\theta}} \textbf{=}\boldsymbol I(\boldsymbol {\theta})(\boldsymbol{g}(\boldsymbol{x})-\boldsymbol{\theta})方可取 Cramer-Rao 下限。\hat{\theta}=\textbf{g}(x)。

参数变换下 CRLB：线性变换可保持估计量有效性，非线性变换不能保持估计量有效性。非线性变换虽不能保持估计量有效性，却是渐近有效的。CRLB 参数变换公式：\text{var}(\hat{\alpha})\geq\frac{\left(\cfrac{\partial g(\theta)}{\partial\theta}\right)^2}{E\left[\left(\cfrac{\partial\ln p(\mathbf{x},\theta)}{\partial\theta}\right)^2\right]}

利用 CRLB 求 MVU 条件：1.满足正则条件，2.必须可以达到 CRLB,3.容易求解\textbf{g}(x)。4.必须要求似然函数（必须知道(PDF)

充分统计量

充分统计量定义：包含原始数据有关待估计参数所有信息的统计量。若p\big(\textbf{x}\big|T(\textbf{x});\theta\big)=p\big(\textbf{x}\big|T(\textbf{x})\big)

表示T(\textbf{x})包含了观测数据有关待估计参数\theta有关的所有信息，此时T(\textbf{x})称之为充分统计量。

一旦充分统计量确定，似然函数就与待估计参数无关。充分统计量依赖于待估计参数。待估计参数变化，其相应的充分统计量一般也会变化。充分统计量并不唯一。原始观测量总是充分统计量，但通常不是最小集。

求充分统计量的方式:若p(\textbf{x};\theta)可以分解为：p\big(\textbf{x};\theta\big)=g\big(T\big(\textbf{x}\big),\theta\big)h\big(\textbf{x}\big)​

1.T(\textbf{x})是\theta的充分统计量 2.若T(\textbf{x})是\theta的充分统计量，因子分解定理成立

Rao-Black-Lehmann-Scheffe 定理

若\breve{\theta}是\theta的无偏估计，T(\mathbf{x})是\theta的充分统计量，那么\hat{\theta}=E\big(\breve{\theta}\big|T(\textbf{x})\big) 是\theta的一个适用的估计量（与\theta无关），无偏估计量、方差小于\breve{\theta}的方差，若T(\mathbf{x})是完备的那么\hat{\theta}是 MVU 估计量。

\int_{-\infty}^{+\infty}v\bigl(T\bigr)p\bigl(T;\theta\bigr)dT=0只对零函数v\left(T\right)=0成立，则称充分统计量是完备的。

注意：充分统计量总是存在的，只有充分统计量完备才可以求得 MVU 估计量。但充分统计量不一定完备，所以通过此方法不一定求得 MVU。只是提供了一种可能的路径。求 MVU 的使用条件：1.充分统计量完备；2.Neyman-Fisher 因子分解一定要好分解；3.需要似然函数（PDF)

线性模型与最佳线性无偏估计(BLUE)

线性模型：\mathbf{x}=\mathbf{H}\boldsymbol{\theta}+\mathbf{s}+\mathbf{w}其中,\mathbf{x}是N \times 1维的观测数据，\mathbf{H}是 N \times p (N>p) 维、秩为p的观测矩阵，\boldsymbol{\theta}是p \times 1维的带估计参数矢量，\mathbf{s}是N \times 1维的已知信号矢量，\mathbf{w}是N \times 1维的噪声矢量且服从N\textbf{(0,C)}。

我们可以得到：p\big(\mathbf{x},\theta\big)=\cfrac{1}{\left(2\pi\right)^{N/2}\left(\text{det}\left(\mathbf{C}\right)\right)^{1/2}}\text{exp}\left\{-\frac{1}{2}\left(\mathbf{x}-\mathbf{s}-\mathbf{H}\theta\right)^{T}\mathbf{C}^{-1}\left(\mathbf{x}-\mathbf{x}-\mathbf{H}\theta\right)\right\}和\ln p\big(\mathbf{x};\theta\big)=-\ln\left\{\left(2\pi\right)^{N/2}\left(\det\left(\mathbf{C}\right)\right)^{1/2}\right\}-\frac{1}{2}\left(\mathbf{x}-\mathbf{s}-\mathbf{H}\theta\right)^T\mathbf{C}^{-1}\left(\mathbf{x}-\mathbf{s}-\mathbf{H}\theta\right)

利用\cfrac{\partial\ln p(\textbf{x};\theta)}{\partial\theta}=\textbf{I}(\theta)\big(\textbf{g}(\textbf{x})-\theta\big) 我们得到\hat{\theta}=\left(\textbf{H}^T\textbf{C}^{-1}\textbf{H}\right)^{-1}\textbf{H}^T\textbf{C}^{-1}\left(\mathbf{x}-\mathbf{s}\right) \qquad \textbf{C}_{\hat{\theta}}=\left(\textbf{H}^T\textbf{C}^{-1}\textbf{H}\right)^{-1} \text{容易得到} \quad\hat{\boldsymbol{\theta}}\sim N\Big(\theta,\big(\text{H}^T\text{C}^{-1}\text{H}\big)^{-1}\Big)

**BLUE：**限定了估计量与观测数据之间呈线性关系：\begin{aligned}\hat{\theta}=\sum_{}^{N-1}a_n x[n]&=\boldsymbol{a}^T\boldsymbol{x}\end{aligned}, \quad \text{其中} \quad\boldsymbol{a}=\begin{bmatrix}a_0,a_1,...,a_{N-1}\end{bmatrix}^T由E\big(\theta\big)=\sum\limits_{n=0}^{N-1}a_n E\big(x[n]\big)=\theta得到E\big(x[n]\big)=s[n]\theta然后有E(\textbf{x})=\textbf{s}\theta我们得到\boldsymbol{a}^T s=1

**BLUE：**由\text{var}\left(\hat{\theta}\right) = \boldsymbol{a}^T\boldsymbol{C}\boldsymbol{a}我们得到 BULUE 数学描述 \min\left\{\boldsymbol{a}^T\textbf{C}\boldsymbol{a}\right\} \qquad \textit{s.}t.\quad\boldsymbol{a}^T\boldsymbol{s}=1 在线性情况下方差最小。得到\hat{\theta}=\boldsymbol{a}_{opt}^T\textbf{x}=\cfrac{\boldsymbol{s}^T\boldsymbol{C}^{-1}\boldsymbol{x}}{\boldsymbol{s}^T\boldsymbol{C}^{-1}\boldsymbol{s}}。方差为\text{var}\left(\hat{\theta}\right)=\boldsymbol{a}_{opt}^T\boldsymbol{C}\boldsymbol{a}_{opt}=\cfrac{1}{\boldsymbol{s}^T\boldsymbol{C}^{-1}\boldsymbol{s}}

一般求解形式：与线性模型相同\hat{\theta}=\left(\textbf{H}^T\textbf{C}^{-1}\textbf{H}\right)^{-1}\textbf{H}^T\textbf{C}^{-1}\left(\mathbf{x}-\mathbf{s}\right) \qquad \textbf{C}_{\hat{\theta}}=\left(\textbf{H}^T\textbf{C}^{-1}\textbf{H}\right)^{-1} 但是不需要知道信号的 PDF 只需要知道协方差矩阵\textbf{C}。若为高斯噪声，则 BLUE 为 MVU，且为有效估计量。若数据高斯的，则 BLUE 等效于 MVU，是有效的（高斯-马尔可夫定理）。

最大似然估计 MLE（数值解法）

当有效估计量存在时，使用最大似然估计方法就可以求得。更一般的：如果数据\mathbf{x}的 PDFp\big(\mathbf{x};\theta\big)满足“正则”条件，那么对于足够多的数据记录，未知参数\theta的 MLE 渐近服从\hat{\theta}\sim N\bigl(\theta,I^{-1}\bigl(\theta\bigr)\bigr)其中I\left(\theta\right)是在未知参数真值处计算的 Fisher 信息。

特点：MLE 是渐近无偏的，MLE 渐近达到 CRLB，MLE 是渐近有效的，MLE 是渐近最佳的。MLE 的方差可大于、等于、小于 CRLB。但数据量足够多时，将与 CRLB 接近。因此， 可利用 CRLB 评估 MLE 的性能。注意:若存在有效估计量，那么 MLE 可以求得。

MLE 的不变性：若\alpha=g(\theta)参数，则\alpha的 MLE 由下式给出\hat{\alpha}=g\left(\hat{\theta}\right)。其中\hat{\theta}是\theta的 MLE。原因：\hat{\alpha}=\arg\max\limits_{\alpha}p_{_T}\big(\boldsymbol{x};\alpha\big) \qquad p_T\big(\boldsymbol{x};\alpha\big)=\max\limits_{\left\{\theta,\alpha=g(\theta)\right\}}p\big(\boldsymbol{x};\theta\big)

**数值解法：**1.网格搜索法；特点运算时间长。2.Newton-Raphson 迭代法；\theta_{k+1}=\theta_k-\frac{\cfrac{\partial\ln p\big(\textbf{x};\theta\big)}{\partial\theta}\biggr|_{\theta=\theta_k}}{\left[\cfrac{\partial^2\ln p\big(\textbf{x};\theta\big)}{\partial\theta^2}\right]^{-1}}特点迭代有可能不收敛。当对数似然函数二阶导数较小时尤为明显。每次迭代间修正项起伏可能较大，即使收敛，求得的可能不是全局最大值而是局部最大值、甚至是局部最小值。使用时，建议多采用几个起始点。3.得分法\theta_{_{k+1}}=\theta_{_k}+I^{-1}\big(\theta\big)\cfrac{\partial\ln p\big(\boldsymbol{x};\theta\big)}{\partial\theta}\bigg|_{_{\theta=\theta_k}} 利用它的期望值代替其二阶导数，大概率会增加迭代的稳定性。

最小二乘估计（LSE）（序贯）

定义：已知信号模型s[n;\theta],观测数据为x[n]=s[n;\theta]+w[n]，\theta的最小二乘估计为\hat{\theta}=\arg\min\limits_{\theta}\left\{\sum\limits_{n=0}^{N-1}\left(x[n]-s[n;\theta]\right)^2\right\}其中J(\theta)=\sum\limits_{n=0}^{N-1}\left(x[n]-s[n;\theta]\right)^2称为最小二乘误差。

若信号s=\left[s[0],s[1],s[2],...,s[N-1]\right]^T与未知参数\boldsymbol{\theta}=\bigg[\theta_1,\theta_2,\theta_3,...,\theta_p\bigg]^T呈线性关系\mathbf{s}=\mathbf{H}\boldsymbol{\theta},观测数据模型为\mathbf{x}=\mathbf{H}\boldsymbol{\theta} + \mathbf{w}得到\hat{\boldsymbol{\theta}}=\left(\mathbf{H}^T\mathbf{H}\right)^{-1}\mathbf{H}^T\mathbf{x}得到最小 LS 误差为J_\text{min}=\boldsymbol{x}^T\left(\boldsymbol{x}-\textbf{H}\hat{\boldsymbol{\theta}}\right)

正交原理：表示误差矢量与信号矢量是正交的。\boldsymbol{\varepsilon}=\mathbf{x}-\mathbf{H}\hat{\theta} 为误差矢量。正交原理公式表达 \boldsymbol{\varepsilon}^T\textbf{H}=\textbf{0}^T。

加权最小二乘J\big(\theta\big)=\big(\mathbf{x}-\mathbf{H}\boldsymbol{\theta}\big)^T\mathbf{W}\big(\mathbf{x}-\mathbf{H}\boldsymbol{\theta}\big) 一般 \textbf{W}=\textbf{C}^{-1} 得到\hat{\theta}=\left(\textbf{H}^T\textbf{C}^{-1}\textbf{H}\right)^{-1}\textbf{H}^T\textbf{C}^{-1}\mathbf{x}

序贯举例说明:不相关噪声中电平估计问题：x[n]=A+w[n],n=0,1,...,N-1待估计参数为A，w[n]为不相关噪声且\text{var}\big(w[n]\big)=\sigma_n^2。

加权 LSE:J(A)=\sum\limits_{n=0}^{N-1}\cfrac{1}{\sigma_n^2}\big(x[n]-A\big)^2 可以得到 \hat{A}=\sum\limits_{n=0}^{N-1}\cfrac{1}{\sigma_n^{2}}x[n]/\left(\sum\limits_{n=0}^{N-1}\cfrac{1}{\sigma_n^{2}}\right) 若令\hat{A}\big[N-1\big]=\sum\limits_{n=0}^{N-1}\cfrac{1}{\sigma_n^2}x[n]/\biggl(\sum\limits_{n=0}^{N-1}\cfrac{1}{\sigma_n^2}\biggr)则容易得到估计量更新公式\hat{A}\big[N\big]=\hat{A}\big[N-1\big]+K\big[N\big]\big(x[N\big]-\hat{A}\big[N-1\big]\big)其中 K[N]为增益因子：K\left[N\right]=\cfrac{ \cfrac{1}{\sigma_N^2}}{\sum_{n=0}^N\cfrac{1}{\sigma_n^2}}=\cfrac{\frac{1}{\sigma_N^2}}{\sum_{n=0}^{N-1}\frac{1}{\sigma_n^2}+\cfrac{1}{\sigma_N^2}}=\cfrac{\frac{1}{\sigma_N^2}}{\cfrac{1}{\text{var}\left(\hat{A}[N-1]\right)}+\cfrac{1}{\sigma_N^2}}。LSE 方差更新公式\text{var}\big(\hat{A}[N]\big)=\big(1-K[N]\big)\text{var}\big(\hat{A}[N-1]\big)。最小 LS 误差更新公式：J_{\min}[N]=J_{\min}[N-1]+\left(1-K\left[N\right]\right)\cfrac{\left(x[N]-\hat{A}[N-1]\right)^2}{\sigma_N^2}。

约束最小二乘估计：s.t. \mathbf{A}\boldsymbol{\theta}=\mathbf{b} 得到 \hat{\theta}_c=\hat{\boldsymbol{\theta}}-\left(\textbf{H}^T\textbf{H}\right)^{-1}\textbf{A}^T\left[\textbf{A}\left(\textbf{H}^T\textbf{H}\right)^{-1}\textbf{A}^T\right]^{-1}\left(\textbf{A}\hat{\boldsymbol{\theta}}-\boldsymbol{b}\right)在无约束 LSE 的基础上加一“修正项”。

非线性最小二乘估计：1.网格搜索法；2.参数变换法，核心思想：将非线性参数转换为线性参数来求解；3.参数分离法：核心思想：将非线性参数尽量转换为线性参数，以减小复杂度；4.Gauss-Newton 迭代法：核心思想：非线性问题线性化后迭代求解；5.循环最小化方法：将待估计参数分为两部分：\theta=\begin{bmatrix}\xi&\sigma\end{bmatrix}^T固定一个变一个求最小直到收敛。

一般贝叶斯估计（MMSE)

贝叶斯均方误差：\int\int \left( \theta - \hat{\theta} \right)^2 p(\mathbf{x},\theta)dxd \theta=\text{Bmse}\left(\hat{\theta}\right)=E\left(\left(\theta-\hat{\theta}\right)^2\right) 贝叶斯 MSE 将待估计参数作为随机变量，引入了待估计参数分布情况。加入了先验信息。

一般贝叶斯估计为:\min\left\{\text{Bmse}\Big(\hat{\theta}\Big)\right\}等价于\min\left\{\int\left(\theta-\hat{\theta}\right)^2p(\theta|\mathbf{x})d\theta\right\}对此求导容易得到\hat{\theta}=E\big(\theta|\textbf{x}\big)其中p(\theta|\mathbf{x})=\cfrac{p(\mathbf{x}|\theta)p(\theta)}{\int p(\mathbf{x}|\theta)p(\theta)d\theta}。使贝叶斯 MSE 最小的估计
量是后验概率均值相应的估计量称为最小均方误差估计量。

主要例题：白噪声中电平估计问题x[n]=A+w[n],n=0,1,...,N-1 其中 w[n]\sim N\left(0,\sigma^2\right) \qquad A\sim N\left(\mu_A,\sigma_A^2\right)求A的 MMSE。p\big(A\big)=\cfrac{1}{\sqrt{2\pi\sigma_A^2}}\exp\bigg\{-\frac{1}{2\sigma_A^2}\big(A-\mu_A\big)^2\bigg\} \qquad p\big(\mathbf{x}\mid A\big)=\cfrac{1}{\left(2\pi\sigma^2\right)^{N/2}}\exp\left\{-\cfrac{1}{2\sigma^2}\sum\limits_{n=0}^{N-1}\big(x\big[n\big]-A\big)^2\right\} \qquad p\bigl(A|\textbf{x}\bigr)=\cfrac{p\bigl(\textbf{x}|A\bigr)p\bigl(A\bigr)}{\int p\bigl(\textbf{x}|A\bigr)p\bigl(A\bigr)dA}=\cfrac{\exp\left\{-\cfrac{1}{2\sigma^2}\sum\limits_{n=0}^{N-1}\left(x\left[n\right]-A\right)^2-\cfrac{1}{2\sigma_A^2}\left(A-\mu_A\right)^2\right\}}{\int_{-\infty}^{\infty}\exp\left\{-\cfrac{1}{2\sigma^2}\sum\limits_{n=0}^{N-1}\left(x[n]-A\right)^2-\cfrac{1}{2\sigma_A^2}\left(A-\mu_A\right)^2\right\}dA}=\cfrac{1}{\sqrt{2\pi\sigma_{A|x}^2}}\exp\left\{-\cfrac{1}{2\sigma_{A|x}^2}\left(A-\mu_{A|x}\right)^2\right\}

其中：\mu_{A|x}=\bigg(\cfrac{N}{\sigma^2}\overline{x}+\cfrac{\mu_A}{\sigma_A^2}\bigg)\sigma_{A|x}^2,\sigma_{A|x}^2 = \cfrac{1}{\cfrac{N}{\sigma^2} + \cfrac{1}{\sigma^2_A}} 可以求得\hat{A}=E\big(A|\textbf{x}\big)=\mu_{A|x} 我们可以计算 \text{Bmse}\big(\hat{A}\big)=\int \text{var}(A|\mathbf{x})p(\mathbf{x})d\mathbf{x}= \cfrac{1}{\cfrac{N}{\sigma^2} + \cfrac{1}{\sigma^2_A}} < \cfrac{\sigma^2}{N} 好的先验知识改进了估计性能。

贝叶斯一般线性模型​\mathbf{x}=\mathbf{H}\boldsymbol{\theta} + \mathbf{w},其中\boldsymbol{\theta} \sim N(\boldsymbol{\mu}_\theta,\textbf{C}_\theta) \quad \mathbf{w} \sim N(\textbf{0},\textbf{C}_w) 那么有 \hat{\theta}=\boldsymbol{\mu}_\theta+\mathbf{C}_\theta\mathbf{H}^T\left(\mathbf{HC}_\theta\mathbf{H}^T+\mathbf{C}_w\right)^{-1}\left(\mathbf{x}-\mathbf{H}\boldsymbol{\mu}_\theta\right) \qquad \textbf{C}_{\theta|x}=\textbf{C}_{\theta}-\textbf{C}_{\theta}\textbf{H}^T\left(\textbf{HC}_{\theta}\textbf{H}^T+\textbf{C}_{w}\right)^{-1}\textbf{HC}_{\theta} =\left(\textbf{C}_\theta^{-1}+\textbf{H}^T\textbf{C}_w^{-1}\textbf{H}\right)^{-1}

MMSE 性质：线性变换不变性若\boldsymbol{a}=\textbf{A}\boldsymbol{\theta}+\textbf{b}，\boldsymbol{\theta}的 MMSE 估计量为 \boldsymbol{\hat{\theta}},则\boldsymbol{a}的 MMSE 为\boldsymbol{\hat{a}}=\textbf{A}\boldsymbol{\hat{\theta}}+\textbf{b}。注意：MMSE 估计量的误差是零均值的。误差\varepsilon=\theta-\hat{\theta}=\theta-E\big(\theta|\textbf{x}\big)误差服从\boldsymbol{\varepsilon}\sim N\Big(\textbf{0},\Big(\textbf{C}_\theta^{-1}+\textbf{H}^T\textbf{C}_w^{-1}\textbf{H}\Big)^{-1}\Big)

**贝叶斯风险：**​\mathfrak{R}=\iint C\big(\varepsilon\big)p\big(\mathbf{x},\theta\big)d\mathbf{x}d\theta若C(\varepsilon)=\big|\theta-\hat{\theta}\big|求得\hat{\theta}是后验 PDF 的中值；若C\big(\varepsilon\big)=\left\{ \begin{array}{rcl}0,|\theta-\hat{\theta}|<\delta\\ 1,|\theta-\hat{\theta}|\geq\delta\end{array}\right.求得\hat{\theta}是后验 PDF 的最大值（众数）​

MAP 最大后验概率估计:\hat{\theta}=\arg\max\limits_{\theta}p\big(\theta|\textbf{x}\big)=\argmax\limits_\theta \{\ln p(\mathbf{x}|\theta)+\ln p(\theta)\}MAP 不具有变换不变性。当观测数据足够多时，MAP 估计变成贝叶斯 MLE

线性贝叶斯估计(LMMSE)

公式定义\text{min}\left\{E\left[\left(\theta-\hat{\theta}\right)^2\right]\right\} \qquad \text{s.t.}\hat{\theta} =\sum_{n=0}^{N-1}a_n x[n]+a_N 可以得到 \hat{\theta}=E\big(\theta\big)+\textbf{C}_{\theta x}\textbf{C}_{xx}^{-1}\big(\textbf{x}-E\big(\textbf{x}\big)\big) \qquad \text{Bmse}\Big(\hat{\theta}\Big)=\mathbf{C}_{\theta\theta}-\mathbf{C}_{\theta x}\mathbf{C}_{xx}^{-1}\mathbf{C}_{x\theta} 对于贝叶斯一般线性模型，LMMSE 与 MMSE 具有相同形式。即 LMMSE 估计量的误差是零均值的。若为高斯分布，则 LMMSE 为 MMSE \mathbf{C}_{x\theta}=E(\theta \mathbf{x}) \qquad \mathbf{C}_{xx}=E(\mathbf{x}^T\mathbf{x})

信号检测

**右尾概率：**​Q\big(x\big)=\int\limits_{x}^{\infty}\cfrac{1}{\sqrt{2\pi}}\exp\biggl\{-\cfrac{1}{2}t^2\biggr\}dt 性质 $1-Q(x)=Q(-x) \qquad Q^{-1}(x)=-Q^{-1}(1-x) 若 x_i\sim N(0,1) 则 x=\sum\limits^\nu_{i=1} x_i^2服从中心\chi_\nu^2 若x_i \sim N (\mu_i,1),则x=\sum\limits^\nu_{i=1} x_i^2 服从非中心\chi_\nu^2(\lambda) \qquad \lambda=\sum\limits^\nu_{i=1} \mu_i^2$

**NP 原则：**在虚警概率一定的情况下使得检测概率最大。判决为L\big(x\big)=\cfrac{p\big(\mathbf{x};H_1\big)}{p\big(\mathbf{x};H_0\big)}\gt\gamma WGN 情况下检验统计量 T(x)=\cfrac{1}{N}\sum_{n=0}^{N-1}x[n] \qquad P_{_{FA}}=Pr\big(T\big(\textbf{x}\big)>\gamma;H_0\big) \qquad \gamma^\prime = \sqrt{\cfrac{\sigma^2}{N}} Q^{-1}(P_{FA}) \qquad P_D=Q\bigg(Q^{-1}\big(P_{FA}\big)-\sqrt{\frac{NA^2}{\sigma^2}}\bigg)

**最小错误原则：**​P_e=P\big(H_0,H_1\big)+P\big(H_1,H_0\big) 使得错误概率最小 判决准则 \cfrac{p\big(\textbf{x}|H_1\big)}{p\big(\textbf{x}|H_0\big)}\text{>}\cfrac{P\big(H_0\big)}{P\big(H_1\big)} 判别为H_1，同样也是最大后验概率检测器(MAP)。若先验概率相同，则为最大似然检测器p\big(\textbf{x}|H_1\big)>p\big(\textbf{x}|H_0\big)。

**贝叶斯风险准则：**​R=C_{00}P\big(H_0\big)P\big(H_0|H_0\big)+C_{10}P\big(H_0\big)P\big(H_1|H_0\big)+C_{01}P\big(H_1\big)P\big(H_0|H_1\big)+C_{11}P\big(H_1\big)P\big(H_1|H_1\big) 判决规则\cfrac{p\big(\mathbf{x}|H_1\big)}{p\big(\mathbf{x}|H_0\big)}>\cfrac{\big(C_{10}-C_{00}\big)P\big(H_0\big)}{\big(C_{01}-C_{11}\big)P\big(H_1\big)} 判别为H_1。特例，若风险一致回到最小错误概率准则。

注意：最小贝叶斯风险准则 风险一致时 回到 最小错误概率准则/最大后验概率判决准则 若先验概率相同 回到最大似然判决准则

确定信号的检测

**匹配滤波器：**是最佳滤波的一种，当输入信号具有某一特殊波形时，其输出信噪比达到最大。假设H_0:x[n]=w[n]\qquad H_1:x[n]=s[n]+w[n] 其中s[n]已知，WGN 假设下。采用 NP 容易得到检测统计量T(\mathbf{x})=\sum\limits^{N-1}_{n=0} x[n]s[n] 可以看作匹配滤波器。y[n]=\sum\limits^n_{k=0}x[k]h[n-k]输出信噪比：\eta=\cfrac{E^2\left(y\left[N-1\right];H_1\right)}{\text{var}\left(y\left[N-1\right];H_0\right)}\leq \cfrac{\textbf{s}^T\textbf{s}}{\sigma^2}。信号功率\sum\limits_{n=0}^{N-1}s^2\left[n\right]=\varepsilon容易得到检验统计量在两种假设下服从N\Big(0,\sigma^2\varepsilon\Big),H_0 \qquad N\big(\varepsilon,\sigma^2\varepsilon\big),H_1检测性能P_D=Q\bigg(Q^{-1}\big(P_{FA}\big)-\sqrt{\cfrac{\mathcal{E}}{\sigma^2}}\bigg)

**广义匹配滤波器：**若\textbf{w}\sim N\big(0,\textbf{C}\big)得到T(\boldsymbol{x})=\boldsymbol{x}^T\boldsymbol{C}^{-1}\boldsymbol{s} T\big(\boldsymbol{x}\big)\mathop{\sim}\left\{ \begin{array}{lcr} N\big(0,\mathbf{s}^T\mathbf{C}^{-1}\mathbf{s}\big),&H_0\\ N\big(\mathbf{s}^T\mathbf{C}^{-1}\mathbf{s},\mathbf{s}^T\mathbf{C}^{-1}\mathbf{s}\big),&H_1\end{array}\right. P_{FA}=\Pr\left(T\big(\mathbf{x}\big)>\gamma^\prime ;H_0\right)=Q\left(\cfrac{\gamma^\prime}{\sqrt{\mathbf{s}^T\mathbf{C}^{-1}\mathbf{s}}}\right) P_D=Q\Big(Q^{-1}\big(P_{fa}\big)-\sqrt{\textbf{s}^T\textbf{C}^{-1}\textbf{s}}\Big)

**一般线性模型下信号检测：**​H_1:\mathbf{x}=\textbf{H}\boldsymbol{\theta}_1+\mathbf{w} \boldsymbol{\theta}_1未知，可以先估计再检测 \hat{\theta}_1=\left(\textbf{H}^T\textbf{C}^{-1}\textbf{H}\right)^{-1}\textbf{H}^T\textbf{C}^{-1}\mathbf{x}

**二元通信：**​H_0:x[n]=s_0\begin{bmatrix}n\end{bmatrix}+w\begin{bmatrix}n\end{bmatrix},n=0,1,...,N-1 \qquad H_1:x[n]=s_1\begin{bmatrix}n\end{bmatrix}+w\begin{bmatrix}n\end{bmatrix},n=0,1,...,N-1 我们容易得到 p\left(\textbf{x}|H_i\right)=\cfrac{1}{\left(2\pi\sigma^2\right)^{N/2}}\exp\left\{-\cfrac{1}{2\sigma^2}\sum\limits_{n=0}^{N-1}\left(x\left[n\right]-s_i\left[n\right]\right)^2\right\} 我们判别D_i^2=\sum_{n=0}^{N-1}\big(x\big[n\big]-s_i\big[n\big]\big)^2=\big\|\textbf{x}-\textbf{s}_i\big\|^2最小的H_i成立。得到T_i(\mathbf{x})=\sum^{N-1}_{n=o}x[n]s_i[n] - \frac{1}{2}\varepsilon_i T\big(\mathbf{x}\big)\sim \begin{cases}N\Bigl(-\frac{1}{2}\left\|\mathbf{s}_1-\mathbf{s}_0\right\|^2,\sigma^2\left\|\mathbf{s}_1-\mathbf{s}_0\right\|^2\Bigr),&H_0\\ N\Bigl(\frac{1}{2}\left\|\mathbf{s}_1-\mathbf{s}_o\right\|^2,\sigma^2\left\|\mathbf{s}_1-\mathbf{s}_o\right\|^2\Bigr),&H_1\end{cases} 我们可以得到P_e=Q\left(\sqrt{\cfrac{\overline{\mathbb{\varepsilon}}\left(1-\rho_s\right)}{2\sigma^2}}\right)\quad,\rho_s=\cfrac{\mathbf{s}_1^T\mathbf{s}_0}{\left(\mathbf{s}_1^T\mathbf{s}_1+\mathbf{s}_0^T\mathbf{s}_0\right)/2},\qquad\overline{\varepsilon}=\Big(\textbf{s}_1^T\textbf{s}_1+\textbf{s}_0^T\textbf{s}_0\Big)/2在信号功率一定情况下，为P_e使最小，应尽量减小相关系数。相移键控(PSK)P_e=Q\left(\sqrt{\cfrac{\overline{\mathcal{E}}}{\sigma^2}}\right)频移键控(FSK)P_\varepsilon=Q\left(\sqrt{\cfrac{\overline{\mathcal{E}}}{2\sigma^2}}\right)。

**多元通信:**错误概率，随信噪比\cfrac{\varepsilon}{\sigma^2}增加而减小,，随“元”M 增加而增大——因需区分更多信号。无误码数据传输的极限C=\lim\limits_{B\to\infty}B\log_2\left(1+\cfrac{P}{N_0B}\right)=\cfrac{P}{N_0\ln2}(香农定理）

随机信号的检测

估计器—相关器：\begin{aligned}&H_0:\mathbf{x}=\mathbf{w} \\&H_1:\mathbf{x}=\mathbf{s}+\mathbf{w}\end{aligned}并且 \begin{aligned}&\mathbf{s} \sim N(\textbf{0},\textbf{C}_s)\\&\textbf{w} \sim N\left(\textbf{0},\sigma^2\textbf{I}\right) \end{aligned}可以得到T\big(\mathbf{x}\big)=\mathbf{x}^T\mathbf{C}_s\left(\mathbf{C}_s+\sigma^2\mathbf{I}\right)^{-1}\mathbf{x}=\boldsymbol{x}^T\hat{\boldsymbol{s}}。其中\hat{s}=\textbf{C}_s\left(\textbf{C}_s+\sigma^2\textbf{I}\right)^{-1}\textbf{x} 此方法也叫维纳滤波

**线性模型：**​\begin{aligned}&H_0:\mathbf{x}=\mathbf{w} \\&H_1:\mathbf{x}=\mathbf{H}\boldsymbol{\theta}+\mathbf{w}\end{aligned}同样\begin{aligned}&\mathbf{s} \sim N(\textbf{0},\textbf{C}_s)\\&\textbf{w} \sim N\left(\textbf{0},\sigma^2\textbf{I}\right) \end{aligned}现有一般线性贝叶斯模型得到\hat{\boldsymbol{\theta}}=\mathbf{C}_\theta\mathbf{H}^T\left(\mathbf{HC}_\theta\mathbf{H}^T+\sigma^2\mathbf{I}\right)^{-1}\mathbf{x} 然后T(\mathbf{x})=\mathbf{x}^T\textbf{H}\hat{\boldsymbol{\theta}}=\boldsymbol{\mathbf{x}}^T\boldsymbol{\hat{s}}​

**一般高斯信号检测：**​\begin{aligned}&\mathbf{s} \sim N(\boldsymbol{\mu}_s,\textbf{C}_s)\\&\textbf{w} \sim N(\mathbf{0},\mathbf{C}_w) \end{aligned}检测统计量T^{\prime}\left(\mathbf{x}\right)=\mathbf{x}^T\left(\mathbf{C}_s+\mathbf{C}_w\right)^{-1}\boldsymbol{\mu}_s+\frac{1}{2}\mathbf{x}^T\mathbf{C}_w^{-1}\mathbf{C}_s\left(\mathbf{C}_s+\mathbf{C}_w\right)^{-1}\mathbf{x}其中\textbf{C}_s=E\Big(\textbf{ss}^T\Big)=E\Big(\textbf{H}\boldsymbol{\theta}\boldsymbol{\theta}^T\textbf{H}^T\Big)=\textbf{HC}_\theta\textbf{H}^T

复合假设检验

**UMP 一致最大势检验：**定义检测统计量与未知参数无关，未知参数可以影响检测性能但是不影响最佳检测器。单边检验可能存在 UMP，双边检验不可能存在 UMP。

**贝叶斯方法：**考虑未知参数的概率分布情况，在平均意义上求最佳\begin{gathered}p\big(\textbf{x};H_0\big)=\int p\big(\textbf{x}|\boldsymbol{\theta}_0;H_0\big)p\big(\boldsymbol{\theta}_0\big)d\boldsymbol{\theta}_0 \\p\big(\textbf{x};H_1\big)=\int p\big(\textbf{x}|\boldsymbol{\theta}_1;H_1\big)p(\boldsymbol{\theta}_1)d\boldsymbol{\theta}_1 \end{gathered},采用 NP 原则L(\textbf{x})=\cfrac{p(\textbf{x};H_1)}{p(\textbf{x};H_0)}>\gamma。采用贝叶斯方法后未知参数可以不再影响判决。

在未知参数未知的时候我们可以将未知参数假设一个范围比如A>0，得到检测器的性能。此性能是未知参数时候的上界。

广义似然比检验：L_G\left(\textbf{x}\right)=\cfrac{\max\limits_{\theta_1}p\left(\textbf{x};\boldsymbol{\theta}_1,H_1\right)}{\max\limits_{\theta_0}p\left(\boldsymbol{x};\boldsymbol{\theta}_0,H_0\right)}\gt\gamma,此方法需要先求参数的 MLE 估计。然后带入 NP 规则。相比于贝叶斯检验无需先验知识并且运算简单。

**Wald 检验：**​T_W\big(\mathbf{x}\big)=\big(\hat{\boldsymbol{\theta}}_1-\boldsymbol{\theta}_0\big)^T\textbf{I}\big(\hat{\boldsymbol{\theta}}_1\big)\big(\hat{\boldsymbol{\theta}}_1-\boldsymbol{\theta}_0\big)>\gamma 判别为 H_1 使用条件：双边检测，弱信号，大数据量，相同 PDF。无需比较 PDF,但仍需求 MLE。

Rao 检验：\left.T_R\left(\textbf{x}\right)=\left(\cfrac{\partial\ln p\left(\textbf{x};\boldsymbol{\theta}\right)}{\partial\boldsymbol{\theta}}\right|_{\boldsymbol{\theta}=\boldsymbol{\theta}_0}\right)^T\textbf{I}^{-1}(\boldsymbol{\theta}_0)\cfrac{\partial\ln p(\textbf{x};\boldsymbol{\theta})}{\partial\boldsymbol{\theta}}\bigg|_{\boldsymbol{\theta}=\boldsymbol{\theta}_0} 使用条件：双边检测，弱信号，大数据量，相同 PDF。无需比较 PDF,无需求 MLE。注意:对线性模型，GLRT、Wald、Rao 的检验统计量是相同的。

LMP 局部最大势检验：T_{L\text{MP}}\left(\boldsymbol{x}\right)=\cfrac{\cfrac{\partial \ln p\left(\boldsymbol{x};\boldsymbol{\theta}\right)}{\partial\theta}\bigg|_{\theta=\theta_0}}{\sqrt{I\left(\theta_0\right)}}>\cfrac{\ln\gamma}{\sqrt{I\left(\theta_0\right)}\left(\theta-\theta_0\right)}=\gamma^\prime大数据量时 LMP 的性能T(x) \sim \left\{\begin{array}{lcl}N\big(0,1\big),&H_0\\ N\big(\sqrt{I\big(\theta_0\big)}(\theta_1-\theta_0),1\big),&H_1 \end{array}\right.

最小错误概率检测——广义 ML 准则:最小错误概率准则 当先验相同时 等价于最大后验概率准。则\max\limits_i\bigg\{\ln p\big(\mathbf{x};\hat{\boldsymbol{\theta}}_i|H_i\big)-\frac{1}{2}\ln\Big(\det\big(\mathbf{I}\big(\hat{\boldsymbol{\theta}}_i\big)\big)\Big)\bigg\}

‍