CRLB

MSE:概念 为均方误差准则 $\text{mse}\left(\hat{\theta }\right)=E\left\{(\hat{\theta }-\theta {)}^2\right\}=\text{var}\left(\hat{\theta }\right)+b^2\left(\theta \right)$ 与真值有关，一般不可实现

MVU:最小方差无偏估计 要求 $\min \left\{\text{var}\left(\hat{\theta }\right)\right\}s.t.E\left(\hat{\theta }\right)=\theta$。先无偏，再方差最小。

MVU 要求无论待估计参数是多少，其方差都是最小的，因此要求一致最小方差无偏估计。注意：不一定存在无偏估计。只是在所有无偏估计中方差最小，在所有（含偏）估计量当中不一定方差最小。CRLB 为 MVU 的性能界。MVU 不一定会达到这个界，这个值只是 MVU 方差上界的参考。

CRLB：条件满足正则条件：$E[\frac{\partial \ln p\left(\mathbf{x};\mathbf{\theta }\right)}{\partial \mathbf{\theta }}]=0$那么一定有：${\text{C}}_{\hat{\theta }}-{\text{I}}^{-1}\left(\theta \right)\ge \text{0}\text{var}\left({\hat{\theta }}_i\right)={\left[{\mathbf{C}}_{\hat{\theta }}\right]}_{ii}\ge {\left[{\mathbf{I}}^{-1}(\theta )\right]}_{ii}$ 其中：${\left[\text{I}(\theta )\right]}_{ij}=-E\left[\frac{{\partial }^2\ln p(\text{x};\mathbf{\theta })}{\partial {\theta }_i\partial {\theta }_j}\right]$即，当且仅当 $\frac{\partial \text{ln}p(\mathbf{x};\mathbf{\theta })}{\partial \mathbf{\theta }}\text{=}\mathbf{I}(\mathbf{\theta })(\mathbf{g}(\mathbf{x})-\mathbf{\theta })$方可取 Cramer-Rao 下限。$\hat{\theta }=\text{g}(x)$。

参数变换下 CRLB：线性变换可保持估计量有效性，非线性变换不能保持估计量有效性。非线性变换虽不能保持估计量有效性，却是渐近有效的。CRLB 参数变换公式：$\text{var}(\hat{\alpha })\ge \frac{{\left(\frac{\partial g(\theta )}{\partial \theta }\right)}^2}{E\left[{\left(\frac{\partial \ln p(\mathbf{x},\theta )}{\partial \theta }\right)}^2\right]}$

利用 CRLB 求 MVU 条件：1.满足正则条件，2.必须可以达到 CRLB,3.容易求解$\text{g}(x)$。4.必须要求似然函数（必须知道(PDF)

充分统计量

充分统计量定义：包含原始数据有关待估计参数所有信息的统计量。若$p\left(\text{x}\right|T(\text{x});\theta )=p(\text{x}|T(\text{x}))$

表示$T(\text{x})$包含了观测数据有关待估计参数$\theta$有关的所有信息，此时$T(\text{x})$称之为充分统计量。

一旦充分统计量确定，似然函数就与待估计参数无关。充分统计量依赖于待估计参数。待估计参数变化，其相应的充分统计量一般也会变化。充分统计量并不唯一。原始观测量总是充分统计量，但通常不是最小集。

求充分统计量的方式:若$p(\text{x};\theta )$可以分解为：$p(\text{x};\theta )=g\left(T\right(\text{x}),\theta )h\left(\text{x}\right)$​

1.$T(\text{x})$是$\theta$的充分统计量 2.若$T(\text{x})$是$\theta$的充分统计量，因子分解定理成立

Rao-Black-Lehmann-Scheffe 定理

若$\breve{\theta }$是$\theta$的无偏估计，$T(\mathbf{x})$是$\theta$的充分统计量，那么$\hat{\theta }=E\left(\breve{\theta }\right|T(\text{x}))$ 是$\theta$的一个适用的估计量（与$\theta$无关），无偏估计量、方差小于$\breve{\theta }$的方差，若$T(\mathbf{x})$是完备的那么$\hat{\theta }$是 MVU 估计量。

${\int }_{-\infty }^{+\infty }v\left(T\right)p(T;\theta )dT=0$只对零函数$v\left(T\right)=0$成立，则称充分统计量是完备的。

注意：充分统计量总是存在的，只有充分统计量完备才可以求得 MVU 估计量。但充分统计量不一定完备，所以通过此方法不一定求得 MVU。只是提供了一种可能的路径。求 MVU 的使用条件：1.充分统计量完备；2.Neyman-Fisher 因子分解一定要好分解；3.需要似然函数（PDF)

线性模型与最佳线性无偏估计(BLUE)

线性模型：$\mathbf{x}=\mathbf{H}\mathbf{\theta }+\mathbf{s}+\mathbf{w}$其中,$\mathbf{x}$是$N\times 1$维的观测数据，$\mathbf{H}$是 $N\times p(N>p)$ 维、秩为$p$的观测矩阵，$\mathbf{\theta }$是$p\times 1$维的带估计参数矢量，$\mathbf{s}$是$N\times 1$维的已知信号矢量，$\mathbf{w}$是$N\times 1$维的噪声矢量且服从$N\text{(0,C)}$。

我们可以得到：$p(\mathbf{x},\theta )=\frac{1}{{\left(2\pi \right)}^{N/2}{\left(\text{det}\left(\mathbf{C}\right)\right)}^{1/2}}\text{exp}\left\{-\frac{1}{2}{\left(\mathbf{x}-\mathbf{s}-\mathbf{H}\theta \right)}^T{\mathbf{C}}^{-1}\left(\mathbf{x}-\mathbf{x}-\mathbf{H}\theta \right)\right\}$和$\ln p(\mathbf{x};\theta )=-\ln \left\{{\left(2\pi \right)}^{N/2}{\left(\det \left(\mathbf{C}\right)\right)}^{1/2}\right\}-\frac{1}{2}{\left(\mathbf{x}-\mathbf{s}-\mathbf{H}\theta \right)}^T{\mathbf{C}}^{-1}\left(\mathbf{x}-\mathbf{s}-\mathbf{H}\theta \right)$

利用$\frac{\partial \ln p(\text{x};\theta )}{\partial \theta }=\text{I}(\theta )(\text{g}(\text{x})-\theta )$ 我们得到$\hat{\theta }={\left({\text{H}}^T{\text{C}}^{-1}\text{H}\right)}^{-1}{\text{H}}^T{\text{C}}^{-1}\left(\mathbf{x}-\mathbf{s}\right){\text{C}}_{\hat{\theta }}={\left({\text{H}}^T{\text{C}}^{-1}\text{H}\right)}^{-1}\text{容易得到}\hat{\mathbf{\theta }}\sim N(\theta ,({\text{H}}^T{\text{C}}^{-1}\text{H}{)}^{-1})$

**BLUE：**限定了估计量与观测数据之间呈线性关系：$\begin{array}{rl}\hat{\theta }=\sum ^{N-1}{a}_{n}x[n]& ={\mathbf{a}}^T\mathbf{x}\end{array},\text{其中}\mathbf{a}={\left[\begin{array}{c}{a}_0,a_1,...,a_{N-1}\end{array}\right]}^T$由$E\left(\theta \right)=\sum _{n=0}^{N-1}{a}_{n}E(x[n])=\theta$得到$E(x[n])=s[n]\theta$然后有$E(\text{x})=\text{s}\theta$我们得到${\mathbf{a}}^{T}s=1$

**BLUE：**由$\text{var}\left(\hat{\theta }\right)={\mathbf{a}}^T\mathbf{C}\mathbf{a}$我们得到 BULUE 数学描述 $\min \left\{{\mathbf{a}}^T\text{C}\mathbf{a}\right\}\text{s.}t.{\mathbf{a}}^T\mathbf{s}=1$ 在线性情况下方差最小。得到$\hat{\theta }={\mathbf{a}}_{opt}^T\text{x}=\frac{{\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{x}}{{\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{s}}$。方差为$\text{var}\left(\hat{\theta }\right)={\mathbf{a}}_{opt}^T\mathbf{C}{\mathbf{a}}_{opt}=\frac{1}{{\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{s}}$

一般求解形式：与线性模型相同$\hat{\theta }={\left({\text{H}}^T{\text{C}}^{-1}\text{H}\right)}^{-1}{\text{H}}^T{\text{C}}^{-1}\left(\mathbf{x}-\mathbf{s}\right){\text{C}}_{\hat{\theta }}={\left({\text{H}}^T{\text{C}}^{-1}\text{H}\right)}^{-1}$ 但是不需要知道信号的 PDF 只需要知道协方差矩阵$\text{C}$。若为高斯噪声，则 BLUE 为 MVU，且为有效估计量。若数据高斯的，则 BLUE 等效于 MVU，是有效的（高斯-马尔可夫定理）。

最大似然估计 MLE（数值解法）

当有效估计量存在时，使用最大似然估计方法就可以求得。更一般的：如果数据$\mathbf{x}$的 PDF$p(\mathbf{x};\theta )$满足“正则”条件，那么对于足够多的数据记录，未知参数$\theta$的 MLE 渐近服从$\hat{\theta }\sim N(\theta ,I^{-1}(\theta \left)\right)$其中$I\left(\theta \right)$是在未知参数真值处计算的 Fisher 信息。

特点：MLE 是渐近无偏的，MLE 渐近达到 CRLB，MLE 是渐近有效的，MLE 是渐近最佳的。MLE 的方差可大于、等于、小于 CRLB。但数据量足够多时，将与 CRLB 接近。因此， 可利用 CRLB 评估 MLE 的性能。注意:若存在有效估计量，那么 MLE 可以求得。

MLE 的不变性：若$\alpha =g(\theta )$参数，则$\alpha$的 MLE 由下式给出$\hat{\alpha }=g\left(\hat{\theta }\right)$。其中$\hat{\theta }$是$\theta$的 MLE。原因：$\hat{\alpha }=\arg \underset{\alpha }{\max }{p}_{{}_T}(\mathbf{x};\alpha )p_T(\mathbf{x};\alpha )=\underset{\left\{\theta ,\alpha =g(\theta )\right\}}{\max }p(\mathbf{x};\theta )$

**数值解法：**1.网格搜索法；特点运算时间长。2.Newton-Raphson 迭代法；${\theta }_{k+1}={\theta }_k-\frac{\frac{\partial \ln p(\text{x};\theta )}{\partial \theta }{|}_{\theta ={\theta }_k}}{{\left[\frac{{\partial }^2\ln p(\text{x};\theta )}{\partial {\theta }^2}\right]}^{-1}}$特点迭代有可能不收敛。当对数似然函数二阶导数较小时尤为明显。每次迭代间修正项起伏可能较大，即使收敛，求得的可能不是全局最大值而是局部最大值、甚至是局部最小值。使用时，建议多采用几个起始点。3.得分法${\theta }_{{}_{k+1}}={\theta }_{{}_k}+I^{-1}\left(\theta \right)\frac{\partial \ln p(\mathbf{x};\theta )}{\partial \theta }{|}_{{}_{\theta ={\theta }_k}}$ 利用它的期望值代替其二阶导数，大概率会增加迭代的稳定性。

最小二乘估计（LSE）（序贯）

定义：已知信号模型$s[n;\theta ]$,观测数据为$x[n]=s[n;\theta ]+w[n]$，$\theta$的最小二乘估计为$\hat{\theta }=\arg \underset{\theta }{\min }\left\{\sum _{n=0}^{N-1}{\left(x[n]-s[n;\theta ]\right)}^2\right\}$其中$J(\theta )=\sum _{n=0}^{N-1}{\left(x[n]-s[n;\theta ]\right)}^2$称为最小二乘误差。

若信号$s={\left[s[0],s[1],s[2],...,s[N-1]\right]}^T$与未知参数$\mathbf{\theta }=[{\theta }_1,{\theta }_2,{\theta }_3,...,{\theta }_p{]}^T$呈线性关系$\mathbf{s}=\mathbf{H}\mathbf{\theta }$,观测数据模型为$\mathbf{x}=\mathbf{H}\mathbf{\theta }+\mathbf{w}$得到$\hat{\mathbf{\theta }}={\left({\mathbf{H}}^T\mathbf{H}\right)}^{-1}{\mathbf{H}}^T\mathbf{x}$得到最小 LS 误差为$J_{\text{min}}={\mathbf{x}}^T\left(\mathbf{x}-\text{H}\hat{\mathbf{\theta }}\right)$

正交原理：表示误差矢量与信号矢量是正交的。$\mathbf{\epsilon }=\mathbf{x}-\mathbf{H}\hat{\theta }$ 为误差矢量。正交原理公式表达 ${\mathbf{\epsilon }}^T\text{H}={\text{0}}^T$。

加权最小二乘$J\left(\theta \right)=(\mathbf{x}-\mathbf{H}\mathbf{\theta }{)}^T\mathbf{W}(\mathbf{x}-\mathbf{H}\mathbf{\theta })$ 一般 $\text{W}={\text{C}}^{-1}$ 得到$\hat{\theta }={\left({\text{H}}^T{\text{C}}^{-1}\text{H}\right)}^{-1}{\text{H}}^T{\text{C}}^{-1}\mathbf{x}$

序贯举例说明:不相关噪声中电平估计问题：$x[n]=A+w[n],n=0,1,...,N-1$待估计参数为$A$，$w[n]$为不相关噪声且$\text{var}(w[n])={\sigma }_n^2$。

加权 LSE:$J(A)=\sum _{n=0}^{N-1}\frac{1}{{\sigma }_n^2}(x[n]-A{)}^2$ 可以得到 $\hat{A}=\sum _{n=0}^{N-1}\frac{1}{{\sigma }_n^2}x[n]/\left(\sum _{n=0}^{N-1}\frac{1}{{\sigma }_n^2}\right)$ 若令$\hat{A}[N-1]=\sum _{n=0}^{N-1}\frac{1}{{\sigma }_n^2}x[n]/\left(\sum _{n=0}^{N-1}\frac{1}{{\sigma }_n^2}\right)$则容易得到估计量更新公式$\hat{A}\left[N\right]=\hat{A}[N-1]+K\left[N\right](x[N]-\hat{A}[N-1\left]\right)$其中 $K[N]$为增益因子：$K\left[N\right]=\frac{\frac{1}{{\sigma }_N^2}}{{\sum }_{n=0}^N\frac{1}{{\sigma }_n^2}}=\frac{\frac{1}{{\sigma }_N^2}}{{\sum }_{n=0}^{N-1}\frac{1}{{\sigma }_n^2}+\frac{1}{{\sigma }_N^2}}=\frac{\frac{1}{{\sigma }_N^2}}{\frac{1}{\text{var}\left(\hat{A}[N-1]\right)}+\frac{1}{{\sigma }_N^2}}$。LSE 方差更新公式$\text{var}(\hat{A}[N])=(1-K[N])\text{var}(\hat{A}[N-1])$。最小 LS 误差更新公式：$J_{\min }[N]=J_{\min }[N-1]+\left(1-K\left[N\right]\right)\frac{{\left(x[N]-\hat{A}[N-1]\right)}^2}{{\sigma }_N^2}$。

约束最小二乘估计：$s.t.\mathbf{A}\mathbf{\theta }=\mathbf{b}$ 得到 ${\hat{\theta }}_c=\hat{\mathbf{\theta }}-{\left({\text{H}}^T\text{H}\right)}^{-1}{\text{A}}^T{\left[\text{A}{\left({\text{H}}^T\text{H}\right)}^{-1}{\text{A}}^T\right]}^{-1}\left(\text{A}\hat{\mathbf{\theta }}-\mathbf{b}\right)$在无约束 LSE 的基础上加一“修正项”。

非线性最小二乘估计：1.网格搜索法；2.参数变换法，核心思想：将非线性参数转换为线性参数来求解；3.参数分离法：核心思想：将非线性参数尽量转换为线性参数，以减小复杂度；4.Gauss-Newton 迭代法：核心思想：非线性问题线性化后迭代求解；5.循环最小化方法：将待估计参数分为两部分：$\theta ={\left[\begin{array}{cc}\xi & \sigma \end{array}\right]}^T$固定一个变一个求最小直到收敛。

一般贝叶斯估计（MMSE)

贝叶斯均方误差：$\int \int {\left(\theta -\hat{\theta }\right)}^{2}p(\mathbf{x},\theta )dxd\theta =\text{Bmse}\left(\hat{\theta }\right)=E\left({\left(\theta -\hat{\theta }\right)}^2\right)$ 贝叶斯 MSE 将待估计参数作为随机变量，引入了待估计参数分布情况。加入了先验信息。

一般贝叶斯估计为:$\min \left\{\text{Bmse}\left(\hat{\theta }\right)\right\}$等价于$\min \left\{\int {\left(\theta -\hat{\theta }\right)}^{2}p(\theta |\mathbf{x})d\theta \right\}$对此求导容易得到$\hat{\theta }=E(\theta |\text{x})$其中$p(\theta |\mathbf{x})=\frac{p(\mathbf{x}|\theta )p(\theta )}{\int p(\mathbf{x}|\theta )p(\theta )d\theta }$。使贝叶斯 MSE 最小的估计
量是后验概率均值相应的估计量称为最小均方误差估计量。

主要例题：白噪声中电平估计问题$x[n]=A+w[n],n=0,1,...,N-1$ 其中 $w[n]\sim N\left(0,{\sigma }^2\right)A\sim N\left({\mu }_A,{\sigma }_A^2\right)$求$A$的 MMSE。$p\left(A\right)=\frac{1}{\sqrt{2\pi {\sigma }_A^2}}\exp \{-\frac{1}{2{\sigma }_A^2}(A-{\mu }_A{)}^2\left\}p\right(\mathbf{x}\mid A)=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{N/2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}\left(x\right[n]-A{)}^2\right\}p(A|\text{x})=\frac{p(\text{x}|A\left)p\right(A)}{\int p(\text{x}|A\left)p\right(A)dA}=\frac{\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}{\left(x\left[n\right]-A\right)}^2-\frac{1}{2{\sigma }_A^2}{\left(A-{\mu }_A\right)}^2\right\}}{{\int }_{-\infty }^{\infty }\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}{\left(x[n]-A\right)}^2-\frac{1}{2{\sigma }_A^2}{\left(A-{\mu }_A\right)}^2\right\}dA}=\frac{1}{\sqrt{2\pi {\sigma }_{A|x}^2}}\exp \left\{-\frac{1}{2{\sigma }_{A|x}^2}{\left(A-{\mu }_{A|x}\right)}^2\right\}$

其中：${\mu }_{A|x}=(\frac{N}{{\sigma }^2}\overline{x}+\frac{{\mu }_A}{{\sigma }_A^2}){\sigma }_{A|x}^2,{\sigma }_{A|x}^2=\frac{1}{\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_A^2}}$ 可以求得$\hat{A}=E(A|\text{x})={\mu }_{A|x}$ 我们可以计算 $\text{Bmse}\left(\hat{A}\right)=\int \text{var}(A|\mathbf{x})p(\mathbf{x})d\mathbf{x}=\frac{1}{\frac{N}{{\sigma }^2}+\frac{1}{{\sigma }_A^2}}<\frac{{\sigma }^2}{N}$ 好的先验知识改进了估计性能。

贝叶斯一般线性模型​$\mathbf{x}=\mathbf{H}\mathbf{\theta }+\mathbf{w}$,其中$\mathbf{\theta }\sim N({\mathbf{\mu }}_{\theta },{\text{C}}_{\theta })\mathbf{w}\sim N(\text{0},{\text{C}}_w)$ 那么有 $\hat{\theta }={\mathbf{\mu }}_{\theta }+{\mathbf{C}}_{\theta }{\mathbf{H}}^T{\left({\mathbf{HC}}_{\theta }{\mathbf{H}}^T+{\mathbf{C}}_w\right)}^{-1}\left(\mathbf{x}-\mathbf{H}{\mathbf{\mu }}_{\theta }\right){\text{C}}_{\theta |x}={\text{C}}_{\theta }-{\text{C}}_{\theta }{\text{H}}^T{\left({\text{HC}}_{\theta }{\text{H}}^T+{\text{C}}_w\right)}^{-1}{\text{HC}}_{\theta }={\left({\text{C}}_{\theta }^{-1}+{\text{H}}^T{\text{C}}_w^{-1}\text{H}\right)}^{-1}$

MMSE 性质：线性变换不变性若$\mathbf{a}=\text{A}\mathbf{\theta }+\text{b}$，$\mathbf{\theta }$的 MMSE 估计量为 $\hat{\mathbf{\theta }}$,则$\mathbf{a}$的 MMSE 为$\hat{\mathbf{a}}=\text{A}\hat{\mathbf{\theta }}+\text{b}$。注意：MMSE 估计量的误差是零均值的。误差$\epsilon =\theta -\hat{\theta }=\theta -E(\theta |\text{x})$误差服从$\mathbf{\epsilon }\sim N(\text{0},({\text{C}}_{\theta }^{-1}+{\text{H}}^T{\text{C}}_w^{-1}\text{H}{)}^{-1})$

**贝叶斯风险：**​$\mathfrak{R}=\iint C\left(\epsilon \right)p(\mathbf{x},\theta )d\mathbf{x}d\theta$若$C(\epsilon )=|\theta -\hat{\theta }|$求得$\hat{\theta }$是后验 PDF 的中值；若$C\left(\epsilon \right)=\{\begin{array}{r}0,|\theta -\hat{\theta }|<\delta \\ 1,|\theta -\hat{\theta }|\ge \delta \end{array}$求得$\hat{\theta }$是后验 PDF 的最大值（众数）​

MAP 最大后验概率估计:$\hat{\theta }=\arg \underset{\theta }{\max }p(\theta |\text{x})=\underset{\theta }{\mathrm{argmax}}\{\ln p(\mathbf{x}|\theta )+\ln p(\theta )\}$MAP 不具有变换不变性。当观测数据足够多时，MAP 估计变成贝叶斯 MLE

线性贝叶斯估计(LMMSE)

公式定义$\text{min}\left\{E\left[{\left(\theta -\hat{\theta }\right)}^2\right]\right\}\text{s.t.}\hat{\theta }={\sum }_{n=0}^{N-1}{a}_{n}x[n]+a_N$ 可以得到 $\hat{\theta }=E\left(\theta \right)+{\text{C}}_{\theta x}{\text{C}}_{xx}^{-1}(\text{x}-E(\text{x}\left)\right)\text{Bmse}\left(\hat{\theta }\right)={\mathbf{C}}_{\theta \theta }-{\mathbf{C}}_{\theta x}{\mathbf{C}}_{xx}^{-1}{\mathbf{C}}_{x\theta }$ 对于贝叶斯一般线性模型，LMMSE 与 MMSE 具有相同形式。即 LMMSE 估计量的误差是零均值的。若为高斯分布，则 LMMSE 为 MMSE ${\mathbf{C}}_{x\theta }=E(\theta \mathbf{x}){\mathbf{C}}_{xx}=E({\mathbf{x}}^T\mathbf{x})$

信号检测

**右尾概率：**​$Q\left(x\right)=\underset{x}{\overset{\infty }{\int }}\frac{1}{\sqrt{2\pi }}\exp \{-\frac{1}{2}{t}^2\}dt$ 性质 $1-Q(x)=Q(-x) \qquad Q^{-1}(x)=-Q^{-1}(1-x)$若$x_i\sim N(0,1)$则$x=\sum\limits^\nu_{i=1} x_i^2$服从中心$\chi_\nu^2$若$x_i \sim N (\mu_i,1)$,则$x=\sum\limits^\nu_{i=1} x_i^2$服从非中心$\chi_\nu^2(\lambda) \qquad \lambda=\sum\limits^\nu_{i=1} \mu_i^2$

**NP 原则：**在虚警概率一定的情况下使得检测概率最大。判决为$L\left(x\right)=\frac{p(\mathbf{x};H_1)}{p(\mathbf{x};H_0)}>\gamma$ WGN 情况下检验统计量 $T(x)=\frac{1}{N}{\sum }_{n=0}^{N-1}x[n]P_{{}_{FA}}=Pr\left(T\right(\text{x})>\gamma ;H_0){\gamma }^{\prime }=\sqrt{\frac{{\sigma }^2}{N}}{Q}^{-1}(P_{FA})P_D=Q\left(Q^{-1}\right(P_{FA})-\sqrt{\frac{N{A}^2}{{\sigma }^2}})$

**最小错误原则：**​$P_e=P(H_0,H_1)+P(H_1,H_0)$ 使得错误概率最小 判决准则 $\frac{p(\text{x}|H_1)}{p(\text{x}|H_0)}\text{>}\frac{P\left(H_0\right)}{P\left(H_1\right)}$ 判别为$H_1$，同样也是最大后验概率检测器(MAP)。若先验概率相同，则为最大似然检测器$p(\text{x}|H_1)>p(\text{x}|H_0)$。

**贝叶斯风险准则：**​$R=C_{00}P\left(H_0\right)P(H_0|H_0)+C_{10}P(H_0\left)P\right(H_1|H_0)+C_{01}P\left(H_1\right)P(H_0|H_1)+C_{11}P(H_1\left)P\right(H_1|H_1)$ 判决规则$\frac{p(\mathbf{x}|H_1)}{p(\mathbf{x}|H_0)}>\frac{(C_{10}-C_{00})P\left(H_0\right)}{(C_{01}-C_{11})P\left(H_1\right)}$ 判别为$H_1$。特例，若风险一致回到最小错误概率准则。

注意：最小贝叶斯风险准则 风险一致时 回到 最小错误概率准则/最大后验概率判决准则 若先验概率相同 回到最大似然判决准则

确定信号的检测

**匹配滤波器：**是最佳滤波的一种，当输入信号具有某一特殊波形时，其输出信噪比达到最大。假设$H_0:x[n]=w[n]H_1:x[n]=s[n]+w[n]$ 其中$s[n]$已知，WGN 假设下。采用 NP 容易得到检测统计量$T(\mathbf{x})=\sum _{n=0}^{N-1}x[n]s[n]$ 可以看作匹配滤波器。$y[n]=\sum _{k=0}^{n}x[k]h[n-k]$输出信噪比：$\eta =\frac{E^2\left(y\left[N-1\right];H_1\right)}{\text{var}\left(y\left[N-1\right];H_0\right)}\le \frac{{\text{s}}^T\text{s}}{{\sigma }^2}$。信号功率$\sum _{n=0}^{N-1}{s}^2\left[n\right]=\epsilon$容易得到检验统计量在两种假设下服从$N(0,{\sigma }^2\epsilon ),H_{0}N(\epsilon ,{\sigma }^2\epsilon ),H_1$检测性能$P_D=Q\left(Q^{-1}\right(P_{FA})-\sqrt{\frac{\mathcal{E}}{{\sigma }^2}})$

**广义匹配滤波器：**若$\text{w}\sim N(0,\text{C})$得到$T(\mathbf{x})={\mathbf{x}}^T{\mathbf{C}}^{-1}\mathbf{s}$ $T\left(\mathbf{x}\right)\sim \{\begin{array}{lc}N(0,{\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{s}),& H_0\\ N({\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{s},{\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{s}),& H_1\end{array}$ $P_{FA}=\mathrm{Pr}\left(T\left(\mathbf{x}\right)>{\gamma }^{\prime };H_0\right)=Q\left(\frac{{\gamma }^{\prime }}{\sqrt{{\mathbf{s}}^T{\mathbf{C}}^{-1}\mathbf{s}}}\right)$ $P_D=Q\left(Q^{-1}\right(P_{fa})-\sqrt{{\text{s}}^T{\text{C}}^{-1}\text{s}})$

**一般线性模型下信号检测：**​$H_1:\mathbf{x}=\text{H}{\mathbf{\theta }}_1+\mathbf{w}$ ${\mathbf{\theta }}_1$未知，可以先估计再检测 ${\hat{\theta }}_1={\left({\text{H}}^T{\text{C}}^{-1}\text{H}\right)}^{-1}{\text{H}}^T{\text{C}}^{-1}\mathbf{x}$

**二元通信：**​$H_0:x[n]=s_0\left[\begin{array}{c}n\end{array}\right]+w\left[\begin{array}{c}n\end{array}\right],n=0,1,...,N-1H_1:x[n]=s_1\left[\begin{array}{c}n\end{array}\right]+w\left[\begin{array}{c}n\end{array}\right],n=0,1,...,N-1$ 我们容易得到 $p\left(\text{x}|H_i\right)=\frac{1}{{\left(2\pi {\sigma }^2\right)}^{N/2}}\exp \left\{-\frac{1}{2{\sigma }^2}\sum _{n=0}^{N-1}{\left(x\left[n\right]-s_i\left[n\right]\right)}^2\right\}$ 我们判别$D_i^2={\sum }_{n=0}^{N-1}\left(x\right[n]-s_i[n]{)}^2=\Vert \text{x}-{\text{s}}_i{\Vert }^2$最小的$H_i$成立。得到$T_i(\mathbf{x})={\sum }_{n=o}^{N-1}x[n]s_i[n]-\frac{1}{2}{\epsilon }_i$ $T\left(\mathbf{x}\right)\sim \{\begin{array}{ll}N(-\frac{1}{2}{\Vert {\mathbf{s}}_1-{\mathbf{s}}_0\Vert }^2,{\sigma }^2{\Vert {\mathbf{s}}_1-{\mathbf{s}}_0\Vert }^2),& H_0\\ N(\frac{1}{2}{\Vert {\mathbf{s}}_1-{\mathbf{s}}_o\Vert }^2,{\sigma }^2{\Vert {\mathbf{s}}_1-{\mathbf{s}}_o\Vert }^2),& H_1\end{array}$ 我们可以得到$P_e=Q\left(\sqrt{\frac{\overline{\epsilon }\left(1-{\rho }_s\right)}{2{\sigma }^2}}\right),{\rho }_s=\frac{{\mathbf{s}}_1^T{\mathbf{s}}_0}{\left({\mathbf{s}}_1^T{\mathbf{s}}_1+{\mathbf{s}}_0^T{\mathbf{s}}_0\right)/2},\overline{\epsilon }=({\text{s}}_1^T{\text{s}}_1+{\text{s}}_0^T{\text{s}}_0)/2$在信号功率一定情况下，为$P_e$使最小，应尽量减小相关系数。相移键控(PSK)$P_e=Q\left(\sqrt{\frac{\overline{\mathcal{E}}}{{\sigma }^2}}\right)$频移键控(FSK)$P_{\epsilon }=Q\left(\sqrt{\frac{\overline{\mathcal{E}}}{2{\sigma }^2}}\right)$。

**多元通信:**错误概率，随信噪比$\frac{\epsilon }{{\sigma }^2}$增加而减小,，随“元”$M$ 增加而增大——因需区分更多信号。无误码数据传输的极限$C=\underset{B\to \infty }{\lim }B{\log }_2\left(1+\frac{P}{N_{0}B}\right)=\frac{P}{N_0\ln 2}$(香农定理）

随机信号的检测

估计器—相关器：$\begin{array}{rl}& H_0:\mathbf{x}=\mathbf{w}\\ & H_1:\mathbf{x}=\mathbf{s}+\mathbf{w}\end{array}$并且 $\begin{array}{rl}& \mathbf{s}\sim N(\text{0},{\text{C}}_s)\\ & \text{w}\sim N\left(\text{0},{\sigma }^2\text{I}\right)\end{array}$可以得到$T\left(\mathbf{x}\right)={\mathbf{x}}^T{\mathbf{C}}_s{\left({\mathbf{C}}_s+{\sigma }^2\mathbf{I}\right)}^{-1}\mathbf{x}={\mathbf{x}}^T\hat{\mathbf{s}}$。其中$\hat{s}={\text{C}}_s{\left({\text{C}}_s+{\sigma }^2\text{I}\right)}^{-1}\text{x}$ 此方法也叫维纳滤波

**线性模型：**​$\begin{array}{rl}& H_0:\mathbf{x}=\mathbf{w}\\ & H_1:\mathbf{x}=\mathbf{H}\mathbf{\theta }+\mathbf{w}\end{array}$同样$\begin{array}{rl}& \mathbf{s}\sim N(\text{0},{\text{C}}_s)\\ & \text{w}\sim N\left(\text{0},{\sigma }^2\text{I}\right)\end{array}$现有一般线性贝叶斯模型得到$\hat{\mathbf{\theta }}={\mathbf{C}}_{\theta }{\mathbf{H}}^T{\left({\mathbf{HC}}_{\theta }{\mathbf{H}}^T+{\sigma }^2\mathbf{I}\right)}^{-1}\mathbf{x}$ 然后$T(\mathbf{x})={\mathbf{x}}^T\text{H}\hat{\mathbf{\theta }}={\mathbf{x}}^T\hat{\mathbf{s}}$​

**一般高斯信号检测：**​$\begin{array}{rl}& \mathbf{s}\sim N({\mathbf{\mu }}_s,{\text{C}}_s)\\ & \text{w}\sim N(0,{\mathbf{C}}_w)\end{array}$检测统计量$T^{\prime }\left(\mathbf{x}\right)={\mathbf{x}}^T{\left({\mathbf{C}}_s+{\mathbf{C}}_w\right)}^{-1}{\mathbf{\mu }}_s+\frac{1}{2}{\mathbf{x}}^T{\mathbf{C}}_w^{-1}{\mathbf{C}}_s{\left({\mathbf{C}}_s+{\mathbf{C}}_w\right)}^{-1}\mathbf{x}$其中${\text{C}}_s=E\left({\text{ss}}^T\right)=E\left(\text{H}\mathbf{\theta }{\mathbf{\theta }}^T{\text{H}}^T\right)={\text{HC}}_{\theta }{\text{H}}^T$

复合假设检验

**UMP 一致最大势检验：**定义检测统计量与未知参数无关，未知参数可以影响检测性能但是不影响最佳检测器。单边检验可能存在 UMP，双边检验不可能存在 UMP。

**贝叶斯方法：**考虑未知参数的概率分布情况，在平均意义上求最佳$\begin{array}{c}p(\text{x};H_0)=\int p(\text{x}|{\mathbf{\theta }}_0;H_0\left)p\right({\mathbf{\theta }}_0)d{\mathbf{\theta }}_0\\ p(\text{x};H_1)=\int p(\text{x}|{\mathbf{\theta }}_1;H_1)p({\mathbf{\theta }}_1)d{\mathbf{\theta }}_1\end{array}$,采用 NP 原则$L(\text{x})=\frac{p(\text{x};H_1)}{p(\text{x};H_0)}>\gamma$。采用贝叶斯方法后未知参数可以不再影响判决。

在未知参数未知的时候我们可以将未知参数假设一个范围比如$A>0$，得到检测器的性能。此性能是未知参数时候的上界。

广义似然比检验：$L_G\left(\text{x}\right)=\frac{\underset{{\theta }_1}{\max }p\left(\text{x};{\mathbf{\theta }}_1,H_1\right)}{\underset{{\theta }_0}{\max }p\left(\mathbf{x};{\mathbf{\theta }}_0,H_0\right)}>\gamma$,此方法需要先求参数的 MLE 估计。然后带入 NP 规则。相比于贝叶斯检验无需先验知识并且运算简单。

**Wald 检验：**​$T_W\left(\mathbf{x}\right)=({\hat{\mathbf{\theta }}}_1-{\mathbf{\theta }}_0{)}^T\text{I}({\hat{\mathbf{\theta }}}_1\left)\right({\hat{\mathbf{\theta }}}_1-{\mathbf{\theta }}_0)>\gamma$ 判别为 $H_1$ 使用条件：双边检测，弱信号，大数据量，相同 PDF。无需比较 PDF,但仍需求 MLE。

Rao 检验：${T_R\left(\text{x}\right)={\left(\frac{\partial \ln p\left(\text{x};\mathbf{\theta }\right)}{\partial \mathbf{\theta }}\right|}_{\mathbf{\theta }={\mathbf{\theta }}_0})}^T{\text{I}}^{-1}({\mathbf{\theta }}_0)\frac{\partial \ln p(\text{x};\mathbf{\theta })}{\partial \mathbf{\theta }}{|}_{\mathbf{\theta }={\mathbf{\theta }}_0}$ 使用条件：双边检测，弱信号，大数据量，相同 PDF。无需比较 PDF,无需求 MLE。注意:对线性模型，GLRT、Wald、Rao 的检验统计量是相同的。

LMP 局部最大势检验：$T_{L\text{MP}}\left(\mathbf{x}\right)=\frac{\frac{\partial \ln p\left(\mathbf{x};\mathbf{\theta }\right)}{\partial \theta }{|}_{\theta ={\theta }_0}}{\sqrt{I\left({\theta }_0\right)}}>\frac{\ln \gamma }{\sqrt{I\left({\theta }_0\right)}\left(\theta -{\theta }_0\right)}={\gamma }^{\prime }$大数据量时 LMP 的性能$T(x)\sim \{\begin{array}{lc}N(0,1),& H_0\\ N(\sqrt{I\left({\theta }_0\right)}({\theta }_1-{\theta }_0),1),& H_1\end{array}$

最小错误概率检测——广义 ML 准则:最小错误概率准则 当先验相同时 等价于最大后验概率准。则$\underset{i}{\max }\left\{\ln p\right(\mathbf{x};{\hat{\mathbf{\theta }}}_i|H_i)-\frac{1}{2}\ln \left(\det \right(\mathbf{I}\left({\hat{\mathbf{\theta }}}_i\right)\left)\right)\}$

‍