公式颜色与对齐冲突问题

\begin{align*}
二次项&：-\frac{1}{2\sigma^2}w^TX^TXw-\frac{1}{2}w^T\Sigma_P^{-1}w \\
&=-\frac{1}{2}(w^T(\sigma^{-2}X^TX+\Sigma_p^{-1})) \\
&{\color{green}\sigma^{-2}X^TX+\Sigma_p^{-1}=\Sigma_w^{-1}=A} \\
一次项&：-\frac{1}{2\sigma^2}\cdot (-2)Y^TXw \\
&=\sigma^{-2}Y^TXw \\
&{\color{green}\sigma^{-2}Y^TX=\mu_w^TA=\mu_w^T\Sigma_w^{-1}}\\
&{\color{green}A\mu_w=\sigma^{-2}X^TY}\\
&{\color{green}\mu_w=\sigma^{-2}A^{-1}X^TY}
\end{align*}

在这张图片中，我用\color{green}来修改公式颜色，但在这种情况下（通过\begin{aligned*}的&对齐），我想要绿色公式的等号对齐，并与上方黑色公式对齐时，发生冲突