Lineaire Algebra – Orthogonaliteit en kleinste kwadraten – Orthogonale verzamelingen

Definitie: Als \(W\) een deelruimte is van \(\mathbb{R}^n\), dan geldt: \(\mathbf{v}\perp W\;\;\Longleftrightarrow\;\;\mathbf{v}\perp\mathbf{w}\) voor elke \(\mathbf{w}\in W\) en \(W^{\perp}=\{\mathbf{v}\in\mathbb{R}^n\,|\,\mathbf{v}\perp W\}\) heet het orthogonale complement van de deelruimte \(W\).

Het is eenvoudig in te zien dat \(W^{\perp}\) ook een deelruimte van \(\mathbb{R}^n\) is.

Stelling: Als \(A\) een \(m\times n\) matrix is, dan geldt: \((\text{Row}(A))^{\perp}=\text{Nul}(A)\) en \((\text{Col}(A))^{\perp}=\text{Nul}(A^T)\).

Hierbij is \(\text{Row}(A)\) de rijruimte van de matrix \(A\). Dit is het opspansel van de rijen van \(A\), waarbij die rijen worden opgevat als vectoren in \(\mathbb{R}^n\) (want de matrix \(A\) heeft \(n\) kolommen). Het bewijs van de stelling is dan eenvoudig:

Bewijs: \(\text{Nul}(A)\) is de verzameling van alle vectoren \(\mathbf{x}\in\mathbb{R}^n\) zodat \(A\mathbf{x}=\mathbf{0}\). Dit betekent dat het inwendig product van \(\mathbf{x}\) met elke rij van \(A\) gelijk is aan nul. Dus: \(\mathbf{x}\perp\text{Row}(A)\). Dit geldt voor iedere vector \(\mathbf{x}\in\text{Nul}(A)\), dus: \((\text{Row}(A))^{\perp}=\text{Nul}(A)\).

De andere bewering volgt dan door de matrix \(A\) te vervangen door \(A^T\) en op te merken dat \(\text{Row}(A^T)=\text{Col}(A)\).

Definitie: Een verzameling vectoren \(\{\mathbf{v}_1,\mathbf{v}_2,\ldots,\mathbf{v}_p\}\) in \(\mathbb{R}^n\) heet een orthogonale verzameling als \(\mathbf{v}_i\perp\mathbf{v}_j\) voor alle \(i\neq j\) oftewel \(\mathbf{v}_i\cdot\mathbf{v}_j=0\) voor alle \(i\neq j\).

Voorbeeld: De verzameling \(\{\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3\}\) in \(\mathbb{R}^4\) met \(\mathbf{v}_1=\begin{pmatrix}1\\0\\-1\\2\end{pmatrix}\), \(\mathbf{v}_2=\begin{pmatrix}0\\1\\2\\1\end{pmatrix}\) en \(\mathbf{v}_3=\begin{pmatrix}2\\1\\0\\-1\end{pmatrix}\) is een orthogonale verzameling, want:

\[\mathbf{v}_1\cdot\mathbf{v}_2=0+0-2+2=0,\quad\mathbf{v}_1\cdot\mathbf{v}_3=2+0-0-2=0\quad\text{en}\quad\mathbf{v}_2\cdot\mathbf{v}_3=0+1+0-1=0.\]

Stelling: Een orthogonale verzameling \(\{\mathbf{v}_1,\mathbf{v}_2,\ldots,\mathbf{v}_p\}\) in \(\mathbb{R}^n\) zonder de nulvector is lineair onafhankelijk.

Bewijs: Stel dat \(c_1\mathbf{v}_1+c_2\mathbf{v}_2+\cdots+c_p\mathbf{v}_p=\mathbf{0}\), dan volgt:

\[0=\mathbf{0}\cdot\mathbf{v}_i=\left(c_1\mathbf{v}_1+c_2\mathbf{v}_2+\cdots+c_p\mathbf{v}_p\right)\cdot\mathbf{v}_i =c_1\left(\mathbf{v}_1\cdot\mathbf{v}_i\right)+c_2\left(\mathbf{v}_2\cdot\mathbf{v}_i\right)+c_p\left(\mathbf{v}_p\cdot\mathbf{v}_i\right) =c_i(\mathbf{v}_i\cdot\mathbf{v}_i),\quad i=1,2,\ldots,p,\]

want \(\mathbf{v}_i\cdot\mathbf{v}_j=0\) voor alle \(i\neq j\). Omdat de verzameling de nulvector niet bevat, geldt dat \(\mathbf{v}_i\cdot\mathbf{v}_i\neq 0\) voor alle \(i=1,2,\ldots,p\). Dus: \(c_i=0\) voor alle \(i=1,2,\ldots,p\). Hieruit volgt dat de verzameling \(\{\mathbf{v}_1,\mathbf{v}_2,\ldots,\mathbf{v}_p\}\) lineair onafhankelijk is.

Definitie: Een basis van een deelruimte \(W\) van \(\mathbb{R}^n\) die tevens een orthogonale verzameling is, heet een orthogonale basis van de deelruimte \(W\).

Stelling: Als \(\{\mathbf{v}_1,\ldots,\mathbf{v}_p\}\) een orthogonale basis van een deelruimte \(W\) van \(\mathbb{R}^n\) is, dan geldt voor iedere vector \(\mathbf{y}\in W\):

\[\mathbf{y}=c_1\mathbf{v}_1+\cdots+c_p\mathbf{v}_p\quad\text{met}\quad c_i=\frac{\mathbf{y}\cdot\mathbf{v}_i}{\mathbf{v}_i\cdot\mathbf{v}_i},\quad i=1,2,\ldots,p.\]

Bewijs: Er geldt dat \(\mathbf{y}\in W=\text{Span}\{\mathbf{v}_1,\ldots,\mathbf{v}_p\}\), dus: \(\mathbf{y}=c_1\mathbf{v}_1+\cdots+c_p\mathbf{v}_p\). Omdat \(\{\mathbf{v}_1,\ldots,\mathbf{v}_p\}\) een orthogonale verzameling is, volgt nu:

\[\mathbf{y}\cdot\mathbf{v}_i=\left(c_1\mathbf{v}_1+\cdots+c_p\mathbf{v}_p\right)\cdot\mathbf{v}_i =c_1(\mathbf{v}_1\cdot\mathbf{v}_i)+\cdots+c_p(\mathbf{v}_p\cdot\mathbf{v}_i)=c_i(\mathbf{v}_i\cdot\mathbf{v}_i),\quad i=1,2,\ldots,p.\]

Omdat \(\{\mathbf{v}_1,\ldots,\mathbf{v}_p\}\) de nulvector niet bevat (het is immers een basis en dus lineair onafhankelijk) volgt hieruit dat \(c_i=\displaystyle\frac{\mathbf{y}\cdot\mathbf{v}_i}{\mathbf{v}_i\cdot\mathbf{v}_i}\) voor \(i=1,2,\ldots,p\).

Voorbeeld: Als \(\mathbf{y}=\begin{pmatrix}1\\2\\3\end{pmatrix}\), \(\mathbf{v}_1=\begin{pmatrix}2\\-1\\2\end{pmatrix}\), \(\mathbf{v}_2=\begin{pmatrix}2\\2\\-1\end{pmatrix}\) en \(\mathbf{v}_3=\begin{pmatrix}-1\\2\\2\end{pmatrix}\), dan is \(\{\mathbf{v}_1,\mathbf{v}_2,\mathbf{v}_3\}\) een othogonale basis van \(\mathbb{R}^3\), want:

\[\mathbf{v}_1\cdot\mathbf{v}_2=4-2-2=0,\quad\mathbf{v}_1\cdot\mathbf{v}_3=-2-2+4=0\quad\text{en}\quad \mathbf{v}_2\cdot\mathbf{v}_3=-2+4-2=0.\]

Verder geldt: \(\mathbf{v}_1\cdot\mathbf{v}_1=\mathbf{v}_2\cdot\mathbf{v}_2=\mathbf{v}_3\cdot\mathbf{v}_3=1+4+4=9\) en

\[\mathbf{y}\cdot\mathbf{v}_1=2-2+6=6,\quad\mathbf{y}\cdot\mathbf{v}_2=2+4-3=3\quad\text{en}\quad\mathbf{y}\cdot\mathbf{v}_3=-1+4+6=9.\]

Dus: \(\mathbf{y}=\displaystyle\frac{\mathbf{y}\cdot\mathbf{v}_1}{\mathbf{v}_1\cdot\mathbf{v}_1}\mathbf{v}_1 +\frac{\mathbf{y}\cdot\mathbf{v}_2}{\mathbf{v}_2\cdot\mathbf{v}_2}\mathbf{v}_2 +\frac{\mathbf{y}\cdot\mathbf{v}_3}{\mathbf{v}_3\cdot\mathbf{v}_3}\mathbf{v}_3=\frac{6}{9}\mathbf{v}_1+\frac{3}{9}\mathbf{v}_2+\frac{9}{9}\mathbf{v}_3 =\frac{2}{3}\mathbf{v}_1+\frac{1}{3}\mathbf{v}_2+\mathbf{v}_3\).

Definitie: Als \(\mathbf{y}\) en \(\mathbf{v}\) twee vectoren in \(\mathbb{R}^n\) zijn zodat \(\{\mathbf{y},\mathbf{v}\}\) lineair onafhankelijk is, dan heet de vector \(\displaystyle\left(\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\right)\mathbf{v}\) de (orthogonale) projectie van de vector \(\mathbf{y}\) op of langs de vector \(\mathbf{v}\).

Als \(\alpha\mathbf{v}\) de (orthogonale) projectie is van \(\mathbf{y}\) langs \(\mathbf{v}\), dan geldt dat \(\mathbf{y}-\alpha\mathbf{v}\perp\mathbf{v}\) oftewel \((\mathbf{y}-\alpha\mathbf{v})\cdot\mathbf{v}=0\). Hieruit volgt dat \(\mathbf{y}\cdot\mathbf{v}-\alpha(\mathbf{v}\cdot\mathbf{v})=0\). Aangezien \(\mathbf{v}\neq\mathbf{0}\), volgt hieruit dat \(\alpha=\displaystyle\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\).

De vector \(\mathbf{y}-\displaystyle\left(\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\right)\mathbf{v}\) heet de component van \(\mathbf{y}\) loodrecht op \(\mathbf{v}\).

Voorbeeld: De (orthogonale) projectie van \(\mathbf{y}=\begin{pmatrix}5\\-4\\7\end{pmatrix}\) langs \(\mathbf{v}=\begin{pmatrix}1\\3\\2\end{pmatrix}\) is: \(\displaystyle\left(\frac{\mathbf{y}\cdot\mathbf{v}}{\mathbf{v}\cdot\mathbf{v}}\right)\mathbf{v}=\frac{5-12+14}{1+9+4}\mathbf{v} =\frac{7}{14}\begin{pmatrix}1\\3\\2\end{pmatrix}=\frac{1}{2}\begin{pmatrix}1\\3\\2\end{pmatrix}\).

Definitie: Een orthogonale verzameling \(\{\mathbf{u}_1,\ldots,\mathbf{u}_p\}\) in \(\mathbb{R}^n\) bestaande uit eenheidsvectoren (dus: \(||\mathbf{u}_i||=1\) voor alle \(i=1,2,\ldots,p\)) heet een orthonormale verzameling.

Opmerking: in een orthonormale verzameling staan alle vectoren loodrecht op elkaar (orthogonaal) en hebben alle vectoren lengte \(1\) (genormeerd).

Stelling: Een \(m\times n\) matrix \(U\) heeft orthonormale kolommen dan en slechts dan als \(U^TU=I\).

Bewijs: Stel dat \(U=\Bigg(\mathbf{u}_1,\;\ldots,\;\mathbf{u}_n\Bigg)\) met \(\mathbf{u}_i\cdot\mathbf{u}_j=0\) als \(i\neq j\) en \(\mathbf{u}_i\cdot\mathbf{u}_i=1\) voor alle \(i=1,2,\ldots,n\). Dit betekent dat

\[U^TU=\Bigg(\quad\begin{matrix}\mathbf{u}_1^T\\\vdots\\\mathbf{u}_n^T\end{matrix}\quad\Bigg) \Bigg(\mathbf{u}_1,\;\ldots,\;\mathbf{u}_n\Bigg)=\begin{pmatrix}1&0&\ldots&0&0\\0&1&&0&0\\\vdots&&\ddots&&\vdots\\ 0&0&&1&0\\0&0&\ldots&0&1\end{pmatrix}=I.\]

Stelling: Als \(U\) een \(m\times n\) matrix is met orthonormale kolommen (dus: \(U^TU=I\)), dan geldt:

1. \(||U\mathbf{x}||=||\mathbf{x}||\) voor alle \(\mathbf{x}\in\mathbb{R}^n\),


2. \((U\mathbf{x})\cdot(U\mathbf{y})=\mathbf{x}\cdot\mathbf{y}\) voor alle \(\mathbf{x},\mathbf{y}\in\mathbb{R}^n\),


3. \(U\mathbf{x}\perp U\mathbf{y}=\mathbf{x}\perp\mathbf{y}\) voor alle \(\mathbf{x},\mathbf{y}\in\mathbb{R}^n\).

Bewijs: Er geldt: \((U\mathbf{x})\cdot(U\mathbf{y})=(U\mathbf{x})^T(U\mathbf{y})=\mathbf{x}^TU^TU\mathbf{y} =\mathbf{x}^TI\mathbf{y}=\mathbf{x}^T\mathbf{y}=\mathbf{x}\cdot\mathbf{y}\). De andere twee eigenschappen volgen hieruit.

Definitie: Een orthogonale matrix is een vierkante matrix met orthonormale kolommen.

Gevolg: Voor een orthogonale matrix geldt dus: \(U^{-1}=U^T\). De inverse is dus gelijk aan de getransponeerde van de matrix. Verder geldt:

\[1=\det(I)=\det(U^TU)=\det(U^T)\det(U)=\left(\det(U)\right)^2\quad\Longrightarrow\quad\det(U)=\pm1.\]

---

Laatst gewijzigd op 2 mei 2021