OnderwijsLineaire Algebra – Orthogonaliteit en kleinste kwadraten – Orthogonale projecties
Stelling: Als \(W\) een deelruimte van \(\mathbb{R}^n\) is, dan geldt: iedere vector \(\mathbf{y}\in\mathbb{R}^n\) kan op precies één manier worden geschreven in de vorm \(\mathbf{y}=\hat{\mathbf{y}}+\mathbf{z}\), waarbij \(\hat{\mathbf{y}}\in W\) en \(\mathbf{z}\in W^{\perp}\). Als \(\{\mathbf{v}_1,\ldots,\mathbf{v}_p\}\) een orthogonale basis van \(W\) is, dan geldt:
\[\hat{\mathbf{y}}=\text{proj}_{W}\mathbf{y}=\left(\frac{\mathbf{y}\cdot\mathbf{v}_1}{\mathbf{v}_1\cdot\mathbf{v}_1}\right)\mathbf{v}_1+\cdots +\left(\frac{\mathbf{y}\cdot\mathbf{v}_p}{\mathbf{v}_p\cdot\mathbf{v}_p}\right)\mathbf{v}_p.\]Dit is de (orthogonale) projectie van \(\mathbf{y}\) op \(W\).
Bewijs: Stel dat \(\{\mathbf{v}_1,\ldots,\mathbf{v}_p\}\) een willekeurige orthogonale basis van \(W\) is en dat \(\hat{\mathbf{y}}\) gedefinieerd is als in de stelling, dan geldt: \(\hat{\mathbf{y}}\in W\). Stel nu dat \(\mathbf{z}=\mathbf{y}-\hat{\mathbf{y}}\), dan geldt:
\[\mathbf{z}\cdot\mathbf{v}_i=\left(\mathbf{y}-\hat{\mathbf{y}}\right)\cdot\mathbf{v}_i=\mathbf{y}\cdot\mathbf{v}_i -\left(\frac{\mathbf{y}\cdot\mathbf{v}_i}{\mathbf{v}_i\cdot\mathbf{v}_i}\right)\mathbf{v}_i\cdot\mathbf{v}_i =\mathbf{y}\cdot\mathbf{v}_i-\mathbf{y}\cdot\mathbf{v}_i=0,\quad i=1,2,\ldots,p.\]Hieruit volgt dat \(\mathbf{z}\perp\mathbf{v}_i\) voor alle \(i=1,2,\ldots,p\) en dus: \(\mathbf{z}\in W^{\perp}\).
Om aan te tonen dat de decompositie uniek is, stel dat ook \(\mathbf{y}=\tilde{\mathbf{y}}+\mathbf{w}\) met \(\tilde{\mathbf{y}}\in W\) en \(\mathbf{w}\in W^{\perp}\). Dan geldt: \(\hat{\mathbf{y}}+\mathbf{z}=\tilde{\mathbf{y}}+\mathbf{w}\) en dus \(\hat{\mathbf{y}}-\tilde{\mathbf{y}}=\mathbf{w}-\mathbf{z}\). Het linkerlid is overduidelijk een vector in \(W\), terwijl het rechterlid een vector in \(W^{\perp}\) is. Aangezien de nulvector \(\mathbf{0}\) de enige vector is die zowel in \(W\) als in \(W^{\perp}\) ligt, volgt hieruit dat \(\hat{\mathbf{y}}-\tilde{\mathbf{y}}=\mathbf{0}\) en \(\mathbf{w}-\mathbf{z}=\mathbf{0}\). Dus: \(\hat{\mathbf{y}}=\tilde{\mathbf{y}}\) en \(\mathbf{w}=\mathbf{z}\).
Stelling: Laat \(W\) een deelruimte van \(\mathbb{R}^n\) zijn en \(\mathbf{y}\) een vector in \(\mathbb{R}^n\). Stel dat \(\hat{\mathbf{y}}\) de orthogonale projectie van \(\mathbf{y}\) op \(W\) is. Dan geldt: \(\hat{\mathbf{y}}\) is de vector in \(W\) die het dichtst bij \(\mathbf{y}\) ligt, dat wil zeggen dat \(||\mathbf{y}-\hat{\mathbf{y}}|| < ||\mathbf{y}-\mathbf{w}||\) voor alle \(\mathbf{w}\in W\) ongelijk aan \(\hat{\mathbf{y}}\).
De vector \(\hat{\mathbf{y}}\) heet de beste benadering van \(\mathbf{y}\) door elementen van \(W\).
Bewijs: Laat \(\mathbf{w}\) een vector in \(W\) zijn ongelijk aan \(\hat{\mathbf{y}}\). Dan geldt: \(\hat{\mathbf{y}}-\mathbf{w}\in W\). Merk op dat \(\mathbf{y}-\hat{\mathbf{y}}\in W^{\perp}\) en dus ook: \(\mathbf{y}-\hat{\mathbf{y}}\perp\hat{\mathbf{y}}-\mathbf{w}\). Nu geldt: \(\mathbf{y}-\mathbf{w}=(\mathbf{y}-\hat{\mathbf{y}})+(\hat{\mathbf{y}}-\mathbf{w})\). Maar dan volgt uit de stelling van Pythagoras dat \(||\mathbf{y}-\mathbf{w}||^2=||\mathbf{y}-\hat{\mathbf{y}}||^2+||\hat{\mathbf{y}}-\mathbf{w}||^2\). Omdat \(\mathbf{w}\) niet gelijk aan \(\hat{\mathbf{y}}\) is, volgt hieruit dat \(||\mathbf{y}-\hat{\mathbf{y}}|| < ||\mathbf{y}-\mathbf{w}||\).
Hiermee kunnen we de afstand van een punt tot een lijn of een vlak in \(\mathbb{R}^3\) bepalen door eerst de (orthogonale) projectie te berekenen en vervolgens de afstand tot die (orthogonale) projectie.
Voorbeelden:
1) Beschouw het punt \(P=(1,-2,1)\) en het vlak \(V\) gegeven door de vergelijking \(x_1+3x_2-2x_3=0\) in \(\mathbb{R}^3\). Merk op dat \(V^{\perp}\) de lijn is opgespannen door de vector \(\mathbf{v}=\begin{pmatrix}1\\3\\-2\end{pmatrix}\). De (orthogonale) projectie van \(\mathbf{y}=\begin{pmatrix}1\\-2\\1\end{pmatrix}\) op \(V^{\perp}\) is:
\[\text{proj}_{V^{\perp}}\mathbf{y}=\left(\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\right)\mathbf{v} =\frac{1-6-2}{1+9+4}\mathbf{v}=-\frac{7}{14}\begin{pmatrix}1\\3\\-2\end{pmatrix}=-\frac{1}{2}\begin{pmatrix}1\\3\\-2\end{pmatrix}.\]De afstand van \(P\) tot het vlak \(V\) is dus \(\frac{1}{2}||\begin{pmatrix}1\\3\\-2\end{pmatrix}||=\frac{1}{2}\sqrt{1+9+4}=\frac{1}{2}\sqrt{14}\).
2) Beschouw het punt \(P=(1,-2,1)\) en de lijn \(\ell\) opgespannen door de vector \(\mathbf{v}=\begin{pmatrix}1\\3\\-2\end{pmatrix}\). De (orthogonale) projectie van \(\mathbf{y}=\begin{pmatrix}1\\-2\\1\end{pmatrix}\) op de lijn \(\ell\) is dan \(\hat{\mathbf{y}}=-\frac{1}{2}\begin{pmatrix}1\\3\\-2\end{pmatrix}\). Dan volgt: \(\mathbf{y}-\hat{\mathbf{y}}=\frac{1}{2}\begin{pmatrix}3\\-1\\0\end{pmatrix}\). De afstand van \(P\) tot de lijn \(\ell\) is dan \(||\mathbf{y}-\hat{\mathbf{y}}||=\frac{1}{2}||\begin{pmatrix}3\\-1\\0\end{pmatrix}||=\frac{1}{2}\sqrt{9+1+0}=\frac{1}{2}\sqrt{10}\).
Stelling: Als \(\{\mathbf{u}_1,\ldots,\mathbf{u}_p\}\) een orthonormale basis van een deelruimte \(W\) van \(\mathbb{R}^n\) is en \(\mathbf{y}\) is een vector in \(\mathbb{R}^n\), dan geldt:
\[\text{proj}_W\mathbf{y}=(\mathbf{y}\cdot\mathbf{u}_1)\mathbf{u}_1+\cdots+(\mathbf{y}\cdot\mathbf{u}_p)\mathbf{u}_p.\]Als \(U=\Bigg(\mathbf{u}_1\;\ldots\;\mathbf{u}_p\Bigg)\), dan geldt:
\[\text{proj}_W\mathbf{y}=UU^T\mathbf{y}\quad\text{voor alle}\quad\mathbf{y}\in\mathbb{R}^n.\]Bewijs: Het eerste deel volgt onmiddellijk uit de eerste stelling omdat \(\mathbf{u}_i\cdot\mathbf{u}_i=1\) voor \(i=1,2,\ldots,p\). Voor het tweede deel geldt:
\[\text{proj}_W\mathbf{y}=(\mathbf{y}\cdot\mathbf{u}_1)\mathbf{u}_1+\cdots+(\mathbf{y}\cdot\mathbf{u}_p)\mathbf{u}_p =(\mathbf{u}_1\cdot\mathbf{y})\mathbf{u}_1+\cdots+(\mathbf{u}_p\cdot\mathbf{y})\mathbf{u}_p =(\mathbf{u}_1^T\mathbf{y})\mathbf{u}_1+\cdots+(\mathbf{u}_p^T\mathbf{y})\mathbf{u}_p.\]Dit is een lineaire combinatie van de kolommen van \(U\) en de gewichten zijn de elementen van de vector \(U^T\mathbf{y}\).
De matrix \(UU^T\) heet een projectiematrix. Deze is symmetrisch, want: \((UU^T)^T=(U^T)^TU^T=UU^T\). Verder geldt dat \(U^TU=I\).
Voorbeeld: Beschouw de projectie op het vlak \(V\) gegeven door de vergelijking \(x_1+x_2+x_3=0\). Het orthogonale complement van \(V\) is de lijn opgespannen door de vector \(\mathbf{v}=\begin{pmatrix}1\\1\\1\end{pmatrix}\). De (orthogonale) projectie van een vector \(\mathbf{y}=\begin{pmatrix}y_1\\y_2\\y_3\end{pmatrix}\) op die lijn is dan
\[\left(\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\right)\mathbf{v}=\frac{y_1+y_2+y_3}{3}\begin{pmatrix}1\\1\\1\end{pmatrix}.\]Hieruit volgt dat de (orthogonale) projectie van \(\mathbf{y}\) op het vlak \(V\) gelijk is aan
\[\text{proj}_V\mathbf{y}=\mathbf{y}-\left(\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\right)\mathbf{v} =\begin{pmatrix}y_1\\y_2\\y_3\end{pmatrix}-\frac{y_1+y_2+y_3}{3}\begin{pmatrix}1\\1\\1\end{pmatrix} =\frac{1}{3}\begin{pmatrix}2y_1-y_2-y_3\\-y_1+2y_2-y_3\\-y_1-y_2+2y_3\end{pmatrix} =\frac{1}{3}\begin{pmatrix}2&-1&-1\\-1&2&-1\\-1&-1&2\end{pmatrix}\mathbf{y}.\]Merk op dat \(\{\mathbf{u}_1,\mathbf{u}_2\}\) met \(\mathbf{u}_1=\dfrac{1}{\sqrt{2}}\begin{pmatrix}1\\0\\-1\end{pmatrix}\) en \(\dfrac{1}{\sqrt{6}}\begin{pmatrix}1\\-2\\1\end{pmatrix}\) een orthonormale basis van \(V\) is. Stel nu \(U=\Bigg(\mathbf{u}_1\;\mathbf{u}_2\Bigg)\), dan volgt:
\[U=\frac{1}{\sqrt{6}}\begin{pmatrix}\sqrt{3}&1\\0&-2\\-\sqrt{3}&1\end{pmatrix}\quad\Longrightarrow\quad UU^T=\frac{1}{6}\begin{pmatrix}\sqrt{3}&1\\0&-2\\-\sqrt{3}&1\end{pmatrix}\begin{pmatrix}\sqrt{3}&0&-\sqrt{3}\\1&-2&1\end{pmatrix} =\frac{1}{6}\begin{pmatrix}$&-2&-2\\-2&4&-2\\-2&-2&4\end{pmatrix}=\frac{1}{3}\begin{pmatrix}2&-1&-1\\-1&2&-1\\-1&-1&2\end{pmatrix}.\]Maar \(\{\mathbf{u}_1,\mathbf{u}_2\}\) met \(\mathbf{u}_1=\dfrac{1}{\sqrt{2}}\begin{pmatrix}0\\-1\\1\end{pmatrix}\) en \(\mathbf{u}_2=\dfrac{1}{\sqrt{6}}\begin{pmatrix}-2\\1\\1\end{pmatrix}\) is ook een orthonormale basis van \(V\). Stel nu \(U=\Bigg(\mathbf{u}_1\;\mathbf{u}_2\Bigg)\), dan volgt:
\[U=\frac{1}{\sqrt{6}}\begin{pmatrix}0&-2\\-\sqrt{3}&1\\\sqrt{3}&1\end{pmatrix}\quad\Longrightarrow\quad UU^T=\frac{1}{6}\begin{pmatrix}0&-2\\-\sqrt{3}&1\\\sqrt{3}&1\end{pmatrix}\begin{pmatrix}0&-\sqrt{3}&\sqrt{3}\\-2&1&1\end{pmatrix} =\frac{1}{6}\begin{pmatrix}4&-2&-2\\-2&4&-2\\-2&-2&4\end{pmatrix}=\frac{1}{3}\begin{pmatrix}2&-1&-1\\-1&2&-1\\-1&-1&2\end{pmatrix}.\]Laatst gewijzigd op 2 mei 2021
