Ortogonální průmět do podprostoru, metoda nejmenších čtverců přes normální rovnice a ortogonální doplněk.
Zdroj: Přednáška 10–11
14.1Proč se vůbec používá ortogonální projekce
Máš vektor v, který neleží v daném podprostoru U (například bod mimo přímku). Potřebuješ najít ten vektor v0∈U, který je k vnejblíže.
Tím nejlepším přiblížením je ortogonální průmětv0: rozdíl v−v0 je kolmý na celý podprostor.
v0∈U,(v−v0)⊥U.
Intuice: z bodu nad přímkou spustíš kolmici na přímku. Pata kolmice je nejbližší bod.
14.2Projekce na přímku generovanou jedním vektorem
Je-li U=span(u), kde u=0, pak
projU(v)=(u,u)(v,u)u.
Postup:
Spočti skalární součin (v,u).
Spočti (u,u) — druhou mocninu délky u.
Poděl a výsledek vynásob celým vektorem u.
Ověř (v−v0,u)=0.
Příklad
Příklad krok za krokem
Nechť v=(2,0) a přímka U je generovaná u=(1,1).
(v,u)=2⋅1+0⋅1=2.
(u,u)=12+12=2.
v0=22(1,1)=(1,1).
Rozdíl v−v0=(1,−1); kontrola (1,−1)⋅(1,1)=0.
Navíc délka chyby ∥v−v0∥=2 je menší než vzdálenost od v k libovolnému jinému bodu na této přímce.
14.3Projekce do podprostoru s ortogonální bází
Pokud U má ortogonální bázi (u1,…,uk), můžeme projekce jednoduše sečíst:
v0=i=1∑k(ui,ui)(v,ui)ui.
Je-li báze dokonce ortonormální, jmenovatele jsou 1:
v0=i=1∑k(v,ei)ei.
Proč: při kolmých bázových vektorech se jednotlivé směry navzájem neovlivňují. V obecné neortogonální bázi se ovlivňují — musíš řešit soustavu.
14.4Projekce při obecné bázi: Gramova matice
Měj bázi U=(u1,…,uk), vektory nemusí být kolmé. Hledáme
v0=λ1u1+⋯+λkuk.
Kolmost rozdílu na každý generátor vyjadřuje
(v−v0,uj)=0pro j=1,…,k.
Po dosazení:
i=1∑kλi(ui,uj)=(v,uj).
Vznikne soustava
Gλ=c,
kde
G=((ui,uj))i,j=1kje Gramova matice,
c=((v,u1),…,(v,uk))T.
Gramova matice je symetrická; pro lineárně nezávislé ui je regulární a kladně definitní. To znamená, že soustava má právě jedno řešení.
14.5Celý příklad obecné projekce
Chceme promítnout v=(1,0,0) na podprostor
U=span(u1,u2),u1=(1,0,1),u2=(0,1,1).
Krok 1: Gramova matice.
(u1,u1)=12+02+12=2,
(u1,u2)=1⋅0+0⋅1+1⋅1=1,
(u2,u2)=02+12+12=2.
G=(2112).
Krok 2: pravá strana.
(v,u1)=1,(v,u2)=0.
c=(10).
Krok 3: řeš Gλ=c.
{2λ1+λ2=1,λ1+2λ2=0.
Z druhé λ1=−2λ2. Dosadíme do první: −4λ2+λ2=1, tedy λ2=−1/3 a λ1=2/3.
Krok 4: sestav projekci.
v0=32(1,0,1)−31(0,1,1)=(2/3,−1/3,1/3).
Krok 5: kontrola kolmosti.
v−v0=(1/3,1/3,−1/3).
(v−v0,u1)=1/3−1/3=0,
(v−v0,u2)=1/3−1/3=0.
Obě podmínky platí. Toto je nejbližší vektor z U k původnímu v.
14.6Proč průmět minimalizuje vzdálenost
Každý jiný vektor w∈U lze porovnat s projekcí v0:
v−w=(v−v0)+(v0−w).
První člen je kolmý na U, druhý v U leží, tedy jsou kolmé. Pythagorova věta:
∥v−w∥2=∥v−v0∥2+∥v0−w∥2≥∥v−v0∥2.
Rovnost nastává jen když w=v0. Proto je projekce nejlepší a jednoznačná.
14.7Metoda nejmenších čtverců (MNČ)
Soustava Ax=b může být neslučitelná: neexistuje x přesně splňující všechny rovnice. Například chceš proložit přímku několika experimentálními body, které neleží dokonale na přímce.
Namísto přesného řešení hledáme x0, který minimalizuje
∥Ax−b∥2.
To znamená součet druhých mocnin chyb — odtud název nejmenší čtverce.
14.8Normální rovnice
Vektor Ax0 je ortogonální projekce b do sloupcového prostoru A. Proto chyba r=b−Ax0 musí být kolmá na každý sloupec A:
AT(b−Ax0)=0.
Upravíme:
ATb−ATAx0=0.
ATAx0=ATb.
Tomu se říká normální rovnice.
Pozor: i když původní Ax=b nemá řešení, normální rovnice řešení mají. Pokud jsou sloupce A lineárně nezávislé, je matice ATA regulární a řešení x0 je jediné:
x0=(ATA)−1ATb.
Pokud jsou sloupce závislé, normální rovnice mohou mít více řešení; všechna dávají stejné nejlepší přiblížení Ax0. V numerické praxi bývá vhodnější QR rozklad než přímé počítání (ATA)−1, ale ve výuce je vzorec názorný.
14.9Velký příklad: proložení přímky třemi body
Chceme model y≈a+bx pro body
(xi,yi)=(0,1),(1,2),(2,2).
Žádná přímka těmito třemi body neprochází přesně, proto hledáme nejlepší.
Krok 1: matice modelu. Každá rovnice a+bxi≈yi dává řádek (1,xi):
A=111012,x=(ab),y=122.
Krok 2: spočítej ATA.
ATA=(101112)111012=(3335).
Krok 3: spočítej ATy.
ATy=(101112)122=(56).
Krok 4: řeš normální rovnice.
{3a+3b=5,3a+5b=6.
Odečtením: 2b=1, tedy b=1/2. Z první: 3a+3/2=5 → 3a=7/2 → a=7/6.
y≈67+21x.
Krok 5: vyhodnoť chyby. Předpovědi jsou 7/6,5/3,13/6. Odchylky od pozorování jsou −1/6,1/3,−1/6. Součet jejich čtverců:
361+91+361=61.
Kontrola normality chyby: součet odchylek −1/6+1/3−1/6=0; součet odchylek násobených hodnotami xi: 0+1/3−2/6=0. To jsou přesně rovnice ATr=0.
14.10Ortogonální doplněk
Pro podprostor U euklidovského prostoru V definujeme
U⊥={v∈V:(v,u)=0 pro kazˇdeˊu∈U}.
Ortogonální doplněk obsahuje všechny vektory kolmé na celý U. Je opět podprostorem.
V konečné dimenzi platí
dimU+dimU⊥=dimV.
Postup
Univerzální postup výpočtu ortogonálního doplňku
Znáš-li bázi u1,…,uk prostoru U, napiš obecný v=(x1,…,xn).
Sepiš podmínky (v,ui)=0 pro každé i.
Vyřeš vzniklou homogenní soustavu.
Vektorové řešení přepiš jako obal bázových vektorů U⊥.
Zkontroluj dimenzi: dimU⊥=n−dimU.
Příklad:
U=span((1,1,0),(0,1,1))⊂R3.
Nechť v=(x,y,z). Kolmost:
x+y=0,y+z=0.
Zvol y=t, pak x=−t,z=−t.
U⊥=span((−1,1,−1)),dimU⊥=1.
Dva generátory U jsou LN, tedy dimU=2. Kontrola: 2+1=3.
14.11Časté chyby
U projekce máš jmenovatel (u,u)=∥u∥2, nikoli ∥u∥.
Pro neortogonální bázi sečteš jednotlivé jednoduché projekce; to obecně nefunguje. Použij Gramovu soustavu.
V MNČ zaměníš ATA a AAT; pro neznámé x∈Rn mají normální rovnice rozměr n×n.
Myslíš, že MNČ dává přesné řešení Ax=b. Obvykle jen minimalizuje chybu.
U ortogonálního doplňku ověříš kolmost jen na jednu náhodnou kombinaci, místo na všechny bázové vektory.
Výsledný doplněk má dimenzi odporující dimU+dimU⊥=dimV.
Zkouška: nauč se minimálně projekci na přímku, obecnou projekci přes Gramovu matici, normální rovnice MNČ a výpočet ortogonálního doplňku pomocí homogenní soustavy.