Quadrados mínimos e sistemas sobredeterminados

Vimos, em um exemplo e no caso geral, que a resolução do problema de ajuste de curva recai em buscar o vetor de coeficientes $c^*$ para o qual a combinação linear de funções escolhidas, $\phi_1,\phi_2, \ldots,\phi_n,$ resulta na menor norma possível para o vetor diferença $(\phi - y).$

Como o vetor $\phi = (\phi(x_1),\phi(x_2),\ldots,\phi(x_m))^T$ pode ser escrito como $\phi = \mathsf{\Phi}c,$ temos que o vetor $c^*,$ solução de quadrados mínimos, também tem a propriedade de que $$\|\mathsf{\Phi}c^* -y\|_2^2 = \min_{c}\|\mathsf{\Phi}c-y\|_2^2,$$ ou seja, $c^*$ é o vetor o qual o resíduo do sistema linear sobredeterminado $\mathsf{\Phi}c=y$ é o menor possível. Dizemos que esse vetor é a solução, no sentido de quadrados mínimos, para o sistema linear $\mathsf{\Phi}c=y.$

Esquecendo a motivação inicial (o ajuste de curvas), podemos considerar um sistema linear sobredeterminado $Ax=b,$ onde $A$ é uma matriz $m\times n,$ com $m>n.$ Sistemas como este, em geral, não têm solução. Entretanto, como fizemos acima, podemos procurar o vetor que melhor desempenharia o papel de vetor solução, no sentido de quadrados mínimos. Esse vetor, $x^*,$ é definido como aquele que minimiza o resíduo na norma euclidiana. Ou seja, $x^*$ é tal que $$\|Ax^* -b\|_2^2 = \min_{x}\|Ax-b\|_2^2.$$ Para computar $x^*$ basta construir o sistema normal, $A^TAx=A^Tb,$ e resolvê-lo.

No vídeo, vimos também que o Octave tem um operador muito conveniente para resolver sistemas lineares. Para um sistema linear $Ax=b,$ o operador \ (barra invertida), usado como A\b, fornece a solução do sistema linear, caso este tenha solução, ou a solução de quadrados mínimos quando o sistema não tiver solução. A vantagem em usar o operador \ é não precisar montar o sistema normal. Internamente, o Octave analisará o sistema linear e decidirá qual método é mais adequado para proceder, do ponto de vista numérico. Por conta desta facilidade, certo cuidado deve ser tomado ao usar esse operador. Não necessariamente o vetor computado por A\b é solução do sistema linear, no sentido clássico.

Considere os sistemas lineares a seguir. Para cada um deles, construa o sistema normal, encontre a solução de quadrados mínimos e compute o resíduo, isto é, $\|Ax-b\|_2.$

1. $\displaystyle{\begin{pmatrix}1&2\\ 2&1\\ 1&1\end{pmatrix} \begin{pmatrix}x_1\\x_2\end{pmatrix} = \begin{pmatrix}3 \\ 3\\ 1\end{pmatrix}}$
2. $\displaystyle{\left(\begin{array}{rr}1&3\\ -2&1\\ 1&1\end{array}\right) \begin{pmatrix}x_1\\x_2\end{pmatrix} = \left(\begin{array}{r}1 \\ 5\\ -1\end{array}\right)}$
3. $\displaystyle{\begin{pmatrix}1\\ 2\\ 3\end{pmatrix} x = \begin{pmatrix}1 \\ 1\\ 1\end{pmatrix}}$
4. $\displaystyle{\begin{pmatrix}1\\ 1\end{pmatrix} x = \begin{pmatrix}1 \\ 2\end{pmatrix}}$