Lineaire Algebra – Orthogonaliteit en kleinste kwadraten – Toepassingen

De kleinste-kwadratenoplossing wordt gebruikt om bijvoorbeeld een grafiek (zoals een rechte lijn) te vinden die zo goed mogelijk ’door’ een ’puntenwolk’ loopt.

Voorbeeld: Beschouw de ’puntenwolk’: \((−3, −2)\), \((−2, 0)\), \((1, 3)\) en \((2, 3)\). We zoeken nu een rechte lijn \(y=ax+b\) die het best bij deze puntenwolk past. Door invullen van de verschillende waarden voor \(x\) en \(y\) zien we dat \(a\) en \(b\) zouden moeten voldoen aan:

\[\left\{\begin{array}{rcr}-3a+b&=&-2\\-2a+b&=&0\\a+b&=&3\\2a+b&=&3\end{array}\right.\quad\Longrightarrow\quad A\mathbf{x}=\mathbf{b} \quad\text{met}\quad A=\begin{pmatrix}-3&1\\-2&1\\1&1\\2&1\end{pmatrix}\quad\text{en}\quad\mathbf{b}=\begin{pmatrix}-2\\0\\3\\3\end{pmatrix}.\]

Al snel wordt duidelijk dat \(A\mathbf{x}=\mathbf{b}\) niet oplosbaar is. De vier punten liggen blijkbaar niet netjes op een rechte lijn. We bepalen nu een kleinste-kwadratenoplossing van \(A\mathbf{x}=\mathbf{b}\):

\[A^TA=\begin{pmatrix}-3&-2&1&2\\1&1&1&1\end{pmatrix}\begin{pmatrix}-3&1\\-2&1\\1&1\\2&1\end{pmatrix}=\begin{pmatrix}18&-2\\-2&4\end{pmatrix} \quad\text{en}\quad A^T\mathbf{b}=\begin{pmatrix}-3&-2&1&2\\1&1&1&1\end{pmatrix}\begin{pmatrix}-2\\0\\3\\3\end{pmatrix}=\begin{pmatrix}15\\4\end{pmatrix}.\]

Dus:

\[A^TA\hat{\mathbf{x}}=A^T\mathbf{b}:\quad\left(\left.\begin{matrix}18&-2\\-2&4\end{matrix}\,\right|\,\begin{matrix}15\\4\end{matrix}\right) \sim\left(\left.\begin{matrix}17&0\\-1&2\end{matrix}\,\right|\,\begin{matrix}17\\2\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0\\0&2\end{matrix}\,\right|\,\begin{matrix}1\\3\end{matrix}\right)\quad\Longrightarrow\quad \hat{\mathbf{x}}=\frac{1}{2}\begin{pmatrix}2\\3\end{pmatrix}.\]

Kiezen we nu \(a=1\) en \(b=\dfrac{3}{2}\), dan vinden we de zogenaamde kleinste-kwadratenlijn \(y=x+\dfrac{3}{2}\).

Op deze manier kunnen ook andere kleinste-kwadratenkrommen door een puntenwolk worden gevonden. Het invullen van de verschillende waarden voor \(x\) en \(y\) levert een stelsel vergelijkingen op met de coëfficiënten als onbekenden. Hiervoor kiezen we dan de coördinaten van de kleinste-kwadratenoplossing.

Voorbeelden:

1) Beschouw de 'puntenwolk': \((-3,8)\), \((-2,3)\), \((0,2)\), \((1,4)\) en \((2,8)\). We zoeken nu een kromme van de vorm \(y=a+bx^2\) die het best bij deze puntenwolk past. Door invullen van de verschillende waarden voor \(x\) en \(y\) zien we dat \(a\) en \(b\) zouden moeten voldoen aan:

\[\left\{\begin{array}{rrcr}a&+9b&=&8\\a&+4b&=&3\\a&&=&2\\a&+b&=&4\\a&+4b&=&8\end{array}\right.\quad\Longrightarrow\quad A\mathbf{x}=\mathbf{b}\quad\text{met}\quad A=\begin{pmatrix}1&9\\1&4\\1&0\\1&1\\1&4\end{pmatrix}\quad\text{en}\quad \mathbf{b}=\begin{pmatrix}8\\3\\2\\4\\8\end{pmatrix}.\]

Ook dit stelsel \(A\mathbf{x}=\mathbf{b}\) is niet oplosbaar. We bepalen dus een kleinste-kwadratenoplossing van \(A\mathbf{x}=\mathbf{b}\):

\[A^TA=\begin{pmatrix}1&1&1&1&1\\9&4&0&1&4\end{pmatrix}\begin{pmatrix}1&9\\1&4\\1&0\\1&1\\1&4\end{pmatrix}=\begin{pmatrix}5&18\\18&114\end{pmatrix} \quad\text{en}\quad A^T\mathbf{b}=\begin{pmatrix}1&1&1&1&1\\9&4&0&1&4\end{pmatrix}\begin{pmatrix}8\\3\\2\\4\\8\end{pmatrix}=\begin{pmatrix}24\\111\end{pmatrix}.\]

Dus:

\[A^TA\hat{\mathbf{x}}=A^T\mathbf{b}:\quad\left(\left.\begin{matrix}5&18\\18&114\end{matrix}\,\right|\,\begin{matrix}24\\111\end{matrix}\right) \sim\left(\left.\begin{matrix}5&18\\-2&42\end{matrix}\,\right|\,\begin{matrix}24\\15\end{matrix}\right) \sim\left(\left.\begin{matrix}1&102\\-2&42\end{matrix}\,\right|\,\begin{matrix}54\\15\end{matrix}\right) \sim\left(\left.\begin{matrix}1&102\\0&246\end{matrix}\,\right|\,\begin{matrix}54\\123\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0\\0&2\end{matrix}\,\right|\,\begin{matrix}3\\1\end{matrix}\right)\quad\Longrightarrow\quad \hat{\mathbf{x}}=\frac{1}{2}\begin{pmatrix}6\\1\end{pmatrix}.\]

Kiezen we nu \(a=3\) en \(b=\dfrac{1}{2}\), dan vinden we de zogenaamde kleinste-kwadratenkromme \(y=3+\dfrac{1}{2}x^2\).

2) Beschouw de 'puntenwolk': \((-2,5)\), \((-1,6)\), \((0,5)\), \((1,2)\) en \((2,-3)\). We zoeken een parabool van de vorm \(y=a+bx+cx^2\) die het best bij deze puntenwolk past. Door invullen van de verschillende waarden voor \(x\) en \(y\) zien we dat \(a\), \(b\) en \(c\) zouden moeten voldoen aan:

\[\left\{\begin{array}{rrrcr}a&-2b&+4c&=&5\\a&-b&+c&=&6\\a&&&=&5\\a&+b&+c&=&2\\a&+2b&+4c&=&-3\end{array}\right.\quad\Longrightarrow\quad A\mathbf{x}=\mathbf{b}\quad\text{met}\quad A=\begin{pmatrix}1&-2&4\\1&-1&1\\1&0&0\\1&1&1\\1&2&4\end{pmatrix}\quad\text{en}\quad \mathbf{b}=\begin{pmatrix}5\\6\\5\\2\\-3\end{pmatrix}.\]

Ook dit stelsel \(A\mathbf{x}=\mathbf{b}\) is niet oplosbaar. We bepalen dus een kleinste-kwadratenoplossing van \(A\mathbf{x}=\mathbf{b}\):

\[A^TA=\begin{pmatrix}1&1&1&1&1\\-2&-1&0&1&2\\4&1&0&1&4\end{pmatrix}\begin{pmatrix}1&-2&4\\1&-1&1\\1&0&0\\1&1&1\\1&2&4\end{pmatrix} =\begin{pmatrix}5&0&10\\0&10&0\\10&0&34\end{pmatrix}\quad\text{en}\quad A^T\mathbf{b}=\begin{pmatrix}1&1&1&1&1\\-2&-1&0&1&2\\4&1&0&1&4\end{pmatrix} \begin{pmatrix}5\\6\\5\\2\\-3\end{pmatrix}=\begin{pmatrix}15\\-20\\16\end{pmatrix}.\]

Dus:

\[A^TA\hat{\mathbf{x}}=A^T\mathbf{b}:\quad\left(\left.\begin{matrix}5&0&10\\0&10&0\\10&0&34\end{matrix}\,\right|\,\begin{matrix}15\\-20\\16\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0&2\\0&1&0\\5&0&17\end{matrix}\,\right|\,\begin{matrix}3\\-2\\8\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0&2\\0&1&0\\0&0&7\end{matrix}\,\right|\,\begin{matrix}3\\-2\\-7\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0&0\\0&1&0\\0&0&1\end{matrix}\,\right|\,\begin{matrix}5\\-2\\-1\end{matrix}\right) \quad\Longrightarrow\quad\hat{\mathbf{x}}=\begin{pmatrix}5\\-2\\-1\end{pmatrix}.\]

Kiezen we nu \(a=5\), \(b=-2\) en \(c=-1\), dan vinden we de kleinste-kwadratenkromme \(y=5-2x-x^2\).

3) Beschouw de 'puntenwolk': \((0,5)\), \((\frac{1}{2}\pi,-3)\), \((\pi,-2)\), \((\frac{3}{2}\pi,5)\) en \((2\pi,3)\). We zoeken een kromme van de vorm \(y=a\cos(x)+b\sin(x)+c\) die het best bij deze puntenwolk past. Door invullen van de verschillende waarden voor \(x\) en \(y\) zien we dat \(a\), \(b\) en \(c\) zouden moeten voldoen aan:

\[\left\{\begin{array}{rrcr}a&&+c&=&5\\&b&+c&=&-3\\-a&&+c&=&-2\\&-b&+c&=&5\\a&&+c&=&3\end{array}\right.\quad\Longrightarrow\quad A\mathbf{x}=\mathbf{b} \quad\text{met}\quad A=\begin{pmatrix}1&0&1\\0&1&1\\-1&0&1\\0&-1&1\\1&0&1\end{pmatrix}\quad\text{en}\quad\mathbf{b}=\begin{pmatrix}5\\-3\\-2\\5\\3\end{pmatrix}.\]

Het is duidelijk dat dit stelsel niet oplosbaar is, maar we zoeken een kleinste-kwadratenoplossing:

\[A^TA=\begin{pmatrix}1&0&-1&0&1\\0&1&0&-1&0\\1&1&1&1&1\end{pmatrix}\begin{pmatrix}1&0&1\\0&1&1\\-1&0&1\\0&-1&1\\1&0&1\end{pmatrix} =\begin{pmatrix}3&0&1\\0&2&0\\1&0&5\end{pmatrix}\quad\text{en}\quad A^T\mathbf{b}=\begin{pmatrix}1&0&-1&0&1\\0&1&0&-1&0\\1&1&1&1&1\end{pmatrix} \begin{pmatrix}5\\-3\\-2\\5\\3\end{pmatrix}=\begin{pmatrix}10\\-8\\8\end{pmatrix}.\]

Dus:

\[A^TA\hat{\mathbf{x}}=A^T\mathbf{b}:\quad\left(\left.\begin{matrix}3&0&1\\0&2&0\\1&0&5\end{matrix}\,\right|\,\begin{matrix}10\\-8\\8\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0&5\\0&1&0\\3&0&1\end{matrix}\,\right|\,\begin{matrix}8\\-4\\10\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0&5\\0&1&0\\0&0&-14\end{matrix}\,\right|\,\begin{matrix}8\\-4\\-14\end{matrix}\right) \sim\left(\left.\begin{matrix}1&0&0\\0&1&0\\0&0&1\end{matrix}\,\right|\,\begin{matrix}3\\-4\\1\end{matrix}\right) \quad\Longrightarrow\quad\hat{\mathbf{x}}=\begin{pmatrix}3\\-4\\1\end{pmatrix}.\]

Kiezen we nu \(a=3\), \(b=-4\) en \(c=1\), dan vinden we de kleinste-kwadratenkromme \(y=3\cos(x)-4\sin(x)+1\).

---

Laatst gewijzigd op 2 mei 2021