Egzamin z algebry liniowej, cz. 3: Gram–Schmidt, QR i regresja
Algebra liniowa⏱ 1 h 44 min
Omówienie zagadnień na egzamin z algebry liniowej, część 3: od Grama–Schmidta do regresji liniowej. Rozkład QR, objętość przez wyznacznik AᵀA, wektory własne macierzy symetrycznych i baza ortonormalna z nich, macierze dodatnio określone, kongruencja i twierdzenie o bezwładności, krzywe stożkowe oraz metoda najmniejszych kwadratów.
W tym nagraniu
Gram–Schmidt i rozkład QR
Objętość równoległościanu a wyznacznik AᵀA
Macierze symetryczne: rzeczywisty wektor własny i ortonormalna baza wektorów własnych
Macierze dodatnio określone, kongruencja i twierdzenie o bezwładności
Krzywe stożkowe i dopasowanie prostej do danych (regresja liniowa)
Trzecia część omówienia zagadnień na egzamin z algebry liniowej prowadzi od Grama–Schmidta do regresji liniowej. Ortogonalizacja kolumn macierzy A daje rozkład QR: A = Q·R, gdzie Q ma kolumny ortonormalne, a R jest górnotrójkątna. Objętość równoległościanu rozpiętego przez kolumny A to √det(AᵀA).
Dalej macierze symetryczne: mają rzeczywisty wektor własny i — co ważniejsze — ortonormalną bazę złożoną z wektorów własnych (twierdzenie spektralne). Następnie macierze dodatnio określone, kongruencja macierzy i twierdzenie Sylvestera o bezwładności: liczba dodatnich i ujemnych współczynników w postaci diagonalnej formy kwadratowej nie zależy od wyboru bazy.
Na koniec zastosowania: klasyfikacja krzywych stożkowych przez diagonalizację formy kwadratowej i metoda najmniejszych kwadratów — dopasowanie prostej do danych sprowadza się do układu równań normalnych AᵀA·x = Aᵀb.
Lekcje kursu „Matematyka od nowa” na ten temat
Szkolne podstawy tego, o czym jest nagranie — interaktywnie i za darmo.
Transkrypt został wygenerowany automatycznie na podstawie napisów YouTube, więc może zawierać błędy w zapisie wzorów, nazwisk i terminów. Kliknij znacznik czasu, aby przewinąć wideo do danego fragmentu. (8853 słów)
I wracamy po przerwie. O, co my tu mieliśmy? A, Gramma–Schmitta mieliśmy. Poprawność algorytmu Gramma–Schmitta to w zasadzie jest taka samodowodząca się. Pamiętamy, jak to było. Mamy ciąg wektorów i zmuszamy ciąg wektorów, żeby się zrobił ortogonalny. Tak to jest ta opowieść, co dla dwóch wektorów jest dokładnie tym sposobem, w jaki kiedyś tam dowodziliśmy, gdzie kiedyś tam to jest w szkole.
Że równoległobok ma takie samo pole jak prostokąt. A razy H. Ucinamy to nożyczkami i przestawiamy tutaj. Ten sposób dowodzenia to tak naprawdę polega na tym, że my znajdujemy tutaj taki śmieszny wektor. Jak się bliżej przejrzeć obrazkowi, to tutaj jest rzut V2 na V1. Więc tu mamy V2 cofnięte o ten rzut.
Tu mamy V2 minus rzut V2 na V1. I na tym gwoździu teraz uwerzymy z upem. Algorytm jest taki, że ja mam wektory. Chwilowo możemy zakładać rysunek niewozależny. Jak się zdarzy jakiś niewozależny, to nie jest wielki ból. Robimy tak, że V1 z wąsem to jest V1, a potem robimy indukcję. Vk plus 1 z wąsem to jest Vk plus 1, ale cofnięte cofnięte o rzut na span wszystkich poprzednich. I cała mądrość.
To jest proste, tylko że cała używalność polega na tym, że produkujemy układ ortogonalny i to, co wyprodukowaliśmy jako te wąsy do pewnego miejsca, to jest ortogonalne i przez ten rzut można napisać jawnym wzorem. Dlaczego? Tu możemy zrobić temat. Powiedzmy, że w1 do wk są ortogonalne i nierówne 0. W szczególności wtedy, gdy są nierówno niezależne.
To wtedy, jak ja chcę zrzutować jakiś wektor x na x-pan, to to jest suma rzutów x na każdy z nich z osobna. A każdy taki rzut, to już wiemy, że on się wyraża wzorem. Tu jest x razy wj. Ten napis jest o tyle fajny, że zauważcie, że on jest jednorodny stopnia 0 ze względu na w.
On jest nieczuły na skalowanie w. To znaczy, jak ja domnożę do w 15, to z tego mi wyjdzie 15, z tego mi wyjdzie 15, a z tego wyjdzie 15 kwadrat. To się skróci. I tego się należy spodziewać, bo rzut x na wj to jest rzut x na prostą, która przechodzi przez 0 i wj i ta prosta nie zależy od tego, z jakim czynnikiem skali się weźmie ten wektor. Jak się tego dowodzi? W najprostszy możliwy sposób. To znaczy, jak ja wezmę x, minus nasz kandydat na rzut, to się okazuje, że on jest ortogonalny do każdego z tych wektorów, czyli do całej podprzestrzeni.
Czyli obrazek faktycznie wygląda tak, że ja tu mam tę podprzestrzeń, tu mam gdzieś 0, tu mam gdzieś x, i tu mam gdzieś ten rzut. Tak, x minus rzut ma być prostopadły do powierzchni. Dlaczego znowu mi zabrało mój najlepszy kursor? Bierzemy ten odcinek, bierzemy ten straszny wielki iloczyn skalarny i to się ukazuje naszym oczom. x razy wk minus i znowu głupia suma. Suma po j tu jest liczba tu jest liczba, a tu jest iloczyn skalarny.
I znowu teraz z ortogonalności tych wektorów to jest równe 0 jeśli j nie trafi akurat w k. Więc tu jest dokładnie jeden składnik, który jest niezerowy. Który ma szansę być niezerowy. Tak, no i to jest równe temu, więc to wychodzi 0. I już. Całe ma zrobione. Więc ten algorytm Algorytm. Ten algorytm, ja twierdzę, że on produkuje dwie rzeczy. Znaczy, jeden ciąg, który robi dwie rzeczy.
Po pierwsze, on pilnuje, żeby VK napisałem przez K, to niech to będzie N. On pilnuje, żeby VK plus 1 był ortogonalny do spanu wszystkich poprzednich. To jest po drugie. Po pierwsze, on pilnuje tego, żeby span starych wektorów do dowolnego miejsca, to był span wyjściowych. To jest niezmiennik. No i dlaczego tak jest?
No, jedno i drugie jest oczywiste. Tak? No to, bo to indukcją się robi. Jeden jest dlatego, że dla k równego 1 to jest ok. Bo ja w ogóle nic nie zmieniam między V1 i V2. Jak ja z k chcę zrobić k plus 1, no to przecież span jest pan VK plus 1 z wąsem i jego reszty wąsa tych kolegów o cóż on jest albo nie lepiej napiszę tak, że tu zrobię VK to podzielę na dwa kawałki to z założenia indukcyjnego dopuszcza dopuszcza do rysowania wąsów
No ale dobrze, ja mam jeden wektor i jakieś takie towarzystwo to oczywiście, że ja go mogę zmodyfikować, ten wektor mogę zmodyfikować kombinację liniową tych. Minus suma Vk plus 1 razy Vj z wąsem do kwadratu razy Vj z wąsem. No bo to jest kombinacja liniowa tego towarzystwa. Znaczy na komiecie pamiętamy, że span tak działa, że jak zmodyfikuję jednego kombinacji liniową pozostałych, to mi się nie zmieni span.
To już jest dokładnie span. To jest totalnie masło maśla, co się tutaj zdarzyło. To jest tak naprawdę jedyny krok, który się dzieje. i jak już mamy to to 2 jest jeszcze bardziej oczywiste a nie, 2 było oczywiste samo z siebie no bo to po prostu z definicji rzutu to znaczy ten, ja znowu tak trochę szafuję tym, że z definicji rzutu, czy my go zdefiniowaliśmy?
Zdefiniowaliśmy dla przestrzeni jednoobierowej, dla więcej obrazek jest ten sam tak naprawdę to możemy powiedzieć w ten sposób, że dobrze, można by się uprzeć i powiedzieć, że jak ja mam pod przestrzeń w i mam jakąś bazę ortogonalną, to nie, po prostu. To ja mam dokładnie jeden wektor, który spełnia te warunki. Jest w w i x minus wektor jest prostopadły do w. Jak dowodzimy, że jest dokładnie jeden, bierzemy byle jaką bazę ortogonalną, która wiemy, że jest, rozpisujemy go w tej bazie, no i patrzymy, że tak naprawdę to ten dowód wymusi, żeby współczynniki były takie jak tutaj. Także tak.
To jest oczywiste. Co się dzieje, gdy wyjdzie nam któryś V z wąsem równy 0, to znaczyło to samo, co to, że V po prostu należy do spanu poprzednich. Więc po prostu go skipujemy i tyle. Bierzemy następnego. Wtedy V plus 1 staje się nowym V.
Czyli algorytm ortogonalizacji zawiera w sobie ten nasz stary prosty algorytm, który mówił, że jak mam ciąg wektorów i chcę z niego zrobić bazę, to biorę pierwszego, który jest niezerowy, potem biorę wszystkich potem każdy krok wygląda tak, że jeśli dany wektor jest kombinacją liniową tych, których już wzięliśmy to jest niepotrzebny, a jak nie jest, to go dorzucamy do bazy i to jest to samo, tylko bardziej sophisticated bo jeszcze pilnujemy przez to padłości można to robić w każdym kroku, natomiast to się kończy czasami pierwiastkami, które potem trzeba pracowicie podnosić do kwadratu więc najczęściej i najprościej jest o tym myśleć w ten sposób że na sam koniec bierzemy VK ze zmarszczonym czołem równa się z normalizowane VK z wąsem.
I te już są ortonormalne. Często się w ogóle robi tak, że się tego rozumowania używa po prostu jako dowodu, że każda przestrzeń ma bazę ortonormalną. Co chcieliśmy jeszcze? Aha, chcieliśmy z tego wnioskować rozkład QR. Jaki on macie? Jakąkolwiek? Dla ustalenia uwagi niech będzie, że rząd A jest równy. To znaczy kolumny są niemo niezależne.
To wtedy ja mogę napisać A jako iloczyn dwóch macierzy i można o tym myśleć w ten sposób, że Q ma ortogonalne kolumny to znaczy Q transponowane Q jest diagonalna, a R nie dość, że jest górnotrójkątna, to jeszcze ma jedynki na przykład. Tu ma jedynki, tu ma zera, a tu ma coś. Dlaczego tak jest? Oczywiście dlatego, że jak ja powiem, że moja macierz A to ma w kolumnach wektory V1 do Vn to to, że rank A równa się N to znaczy, że one są linią niezależne. Tak to już bywa jak macierz ma pełny rząd.
I co? Ja teraz stwierdzę, że każda operacja gramoszmitowa o, każda taka tutaj to jest domnażanie macierzy górnotrójkątnej z prawej strony. Chyba, że bo nie jest górnotrójkątne to się trzeba zastanowić. Spójrzcie, jak mam tutaj V1, V2 V3 i chcę z tego zrobić V1 V2 minus jakaś tam śmieszna stała razy V1 to co ja efektywnie robię na tych kolumnach? Biorę 1, 0, 0 a tutaj koniecznie V2 ze współczynnikiem 1, dobrze powiedziałem górną trójkątną i coś tam razy V1. Tu jest jakiś śmieszny współczynnik, tu jest jakiś śmieszny współczynnik. To jest 0.
I potem to jest jeden krok. Potem każdy następny jest podobny. Potem tu będę miał 0, jak od V3 będę odejmował jego wcześniejszych koleżków, tutaj, tu będę miał 1, 0, 0, 0, 1, 0, a tu będę miał V3 ze współczynnikiem 1 i tych koleżków z jakimiś współczynnikami, czyli tutaj tu coś będzie. Czyli po jednej operacji z A nam się robi A razy jakaś macierz trójkątna, znaczy górna trójkąta z jednokręgiem na przekątnej, Więc ostatecznie ja domnażam temu niech r1 będzie równe i do równego rachunku i wychodzi mi macierz z tymi V1 z wąsem do V2 z wąsem.
I to jest nasza macierz Q. Ona ma ortogonalne kolumny, więc triumfalnie stwierdzamy, że A jest równe Q razy i teraz takie coś. Dlaczego to jest górnotrójkątne z jedynkami na przekątnej? Bo macierze górnotrójkątne z jedynkami na przekątnej tworzą grupę. to znaczy to jest też łatwy temat, to znaczy zbiór macierzy postaci jedynki zera i coś zawarty w grupie macierzy odwracalnych n na n jest pod grupą fun fact, jak to jest 2 na 2 to to są po prostu macierze postaci 1, 1, a i 0 jak się je mnoży to się dodaje a czyli to jest taka jakby funkcja wykładnicza To jest zanurzenie struktury dodawaniowej na liczbę rzeczywistych w jakąś strukturę mnożeniową.
Tak naprawdę to jest e do potęgi e do potęgi a razy macierz macierz Janusza. Tego się dowodzi na palcach. No i jest rozkład. I teraz najgorsze. Jak to się ma do geometrii? Ja się z tego tłumaczyłem na wykładzie na jeden sposób, to się teraz wytłumaczę na drugi, trochę bardziej oportunistyczny. To znaczy, ja chcę udowodnić, że co ja chcę udowodnić jak wezmę wyznacznik A transponowany A to to jest to samo co objętość n-wymiarowa żeby nie faworyzować objętości nadpolem mógłbym pisać miarę Hausdorffa to samo objętość dwumierowa to jest pole objętość jednymierowa to jest długość objętość trójmierowa to jest prostą objętość objętość czteryumierowa to jest czteryumierowy analog objętości to coś, czego czteryumierowa kostka ma jeden to jest n-wymiarowa objętość
Od równoległości anu rozpiętego na V1, Vn to innymi słowy jest zbiór wszystkich napisów w postaci suma xk, vk gdzie wszystkie x są w przedziale 0,1 jeszcze innymi słowy to jest a przyłożone do kostki 0,1 jak ja tego będę dowodził? myślę, że będę trochę oszukiwał wcześniej też trochę oszukiwaliśmy bo powiedzmy, że ta objętość jest dobrze zdefiniowana w taki sposób, w jaki spodziewamy się, że działa.
To znaczy, jak mieliśmy równowę głowok, to dlaczego byliśmy przegonani, że pole to jest a razy h? Był tam śmieszny argument z wycinaniem, ale tak naprawdę prawdziwy argument polega na tym, że jak ja liczę objętość. Próbuję go wydrukować na drukarce 3D, czyli zaczynam od tego, że obracam go sobie tak, no i patrzę. Tu ta warstwa zużyje ileś filamentu, ta warstwa ileś, ta warstwa ileś i tak dalej. Każda warstwa zużyje tyle samo filamentu, a te warstwy są indeksowane wysokością. Więc jakbym go przesunął z czegoś takiego tak, to ja bym tylko przesunął względem siebie te różne warstwy, które zużywają dokładnie tyle samo plastiku.
Więc to zachowuje pole. Dokładnie to samo mogę zmusić równoległościan. Powiedzmy, że on jest jakiś taki narysowany w przestrzeni, to mi cholernie brzydko wyjdzie i totalnie nie umiem rysować równoległościanów. No jakoś tak. tu gdzieś jest ten no pewnie to jest w jakimś rzucie prostopadłości ale chodzi o to, że nawet jak on ma równy głowok w podstawie to ja mogę mu przynajmniej wyprostować go w trzecim wymiarze, tak że to będzie grania stosu o podstawie równych głowok a potem uprostować ten równy głowok więc tak naprawdę ja bym tego twierdzenia dowodził tak że że co?
Że to od a razy kostka że to mi się nie zmieni kiedy ja będę przykładał macierze właśnie takie jak tutaj macierze trójkątne o jedynkach na przekątnej tak naprawdę to wiem jak ja to chcę dobrze powiedzieć to jest to samo co to jak ja przełożę tutaj jedno macierze gramoszmitowo dlaczego? znowu no bo myślimy o tym w ten sposób nie nie tak chcę to powiedzieć ja chcę powiedzieć tak, że niech a k to będzie a po k krokach.
Spójrzcie, jak ja tu mam ostatni krok, to to był ten krok, w którym ja naprostowałem ostatni wektor. To było trochę krzywo, tu już był ładny prostowadłościan, o, tylko, że ten odcinek wychodził krzywo. To ja go naprostowałem dokładnie tak, żeby ten punkt się znalazł nad tym punktem. No i tutaj było takie coś, że tak i to było krzywo i teraz będzie prosto. No i potem dalej. To znaczy...
To znaczy... W której kolejności my to robimy? To znaczy, tego twierdzenia zawsze się dowodzi strasznie uciążliwie.
Tak naprawdę to zaczyna od objętości jako miary Lebega, to potem trzeba i tak udowodnić to, co tutaj robimy, że to jest niezmieniczyne obroty i to jest też chwila roboty. Nawet nie czuję, że rymuję. tu generalnie wierzymy w geometrię że każde takie naprostowanie nie zmienia mu pola bo przekroje są takie same pola objętości w związku z tym ta nasza objętość, o którą pytają to jest objętość takiego czegoś rozmiętego na macierze Q ale dobra, to jak A jest równe QR, no to ta moja objętość A razy A N to jest po prostu Q to jest A po N krokach Gramma-Schmitta to jest to samo co objętość Q razy 0,1.
Tak długo jak wierzymy w geometrię, to nie ma zmiły. To są ortogonalne wektory. To jest po prostu prostopadłością, tylko że n-wymiarowy. W n równym 2 to byłby prostokąt, w n równym 3 to prostopadłością, w n równym więcej to byłaby obrócona i porozciągana, ale nie podzgniatana kostka. Więc tu po prostu jest tak, że ja mam prostopadłe wektory V1, V2, V3. Wszystko jest prostopadłe ze wszystkim. I na tym rozpinamy równej głością. No to jest ten stu reason, że będzie jak z prostokąty i z prostopadłościanem.
Że to będzie po prostu iloczyn iloczyn długości. No a z drugiej strony, jak ja wezmę A transponowane A i zrobię z tego wyznacznik, to będzie festiwal skracania. Tu jest A. Tu jest A transponowane. Pamiętajmy, że to jest potencjalnie iloczyn takiej wysokiej i chudej macierzy przez taką. Więc sam wyznacznik Q nie ma sensu. Natomiast wyznacznik Q transponowany Q już ma sens. Tu jest moje Q transponowane Q i tu jest gdzieś R transponowane.
Nieważne generalnie z tymi R-ami. Spójrzcie. To jest 1. Bo to była macierz trójkątna z jedynkami na przekątnej. To wyznacznik to jest iloczyn tych jedynek. To jest tak samo 1. Zostaje nam to. Ale przecież my wiemy, że ona ma ortogonalne kolumny. Więc to jest macierz, która ma tylko główną przekątną i tam ma wektory razy on sam. Czyli to jest ten iloczyn do kwadratu. No i już. Mieliśmy udowodnić, że... A, bo ja czegoś zapomniałem. Mieliśmy udowodnić, że to jest to do kwadratu. To udowodniliśmy.
Tu mamy objętość, tu mamy objętość kwadratu. To w zasadzie tyle. To później. Co teraz chcemy? Teraz chcemy wartości singularne. Trochę absurdalnie to zrobiłem, że najpierw powiemy o tym, że macierze symetryczne się diagonalizują. To już jest kawał dowodu. Pamiętamy jak to robiliśmy. Mniej więcej. Twierdzenie jest takie, że jeśli mam macierz symetryczną koniecznie nad R to A jest diagonalizowalna i to jeszcze ortogonalnie.
No i dowód przechodził przez takiego Shenanigana, że tak naprawdę to kluczowym elementem jest znalezienie jakiegokolwiek wektora własnego. Bo reszta już pójdzie. możemy jeszcze napisać paralelną wersję to jest napisane o macierzy możemy też napisać o przekształceniu z jaką przekształcenie z rn albo nawet w ogóle z dowolnej przestrzeni wgilesowej w siebie jak zinterpretować symetrię macierzy tak, że f od x razy y jest równe x razy f od y to jest dość trywialne ćwiczenie które być może kiedyś tam było na ćwiczeniach że przekształcenie spełnia takie coś to się nazywa samosprzężoność Wtedy tylko wtedy, kiedy macierz w dowolnie wybranej bazie ortonormalnej jest symetryczny.
Więc to są dokładnie te same napisy. I tu A się ma rozkładać w ten sposób, a my wiemy, że to tak naprawdę jest mowa o tym, że istnieje jakaś taka baza w przestrzeni V, że macierz F w tym S jest diagonalny. To jest taki słowniczek 1 do 1. Symetryczność to jest samo sprzężenie. taki rozkład to jest pisanie macierzy macierzy A w jakiejś śmiesznej bazie.
A ortonormalność tej bazy to jest to samo, co ortogonalność macierzy przejścia. To dowód. Po pierwsze, pierwszy klejm, a ma wektor własny, który siedzi w erenie. Zespołane wektory własne takiej macierzy to chodzą po 10 groszy za tuzin. To jest wielomianem. w szczególności wyjątkiem zespolonym więc istnieje takie lambda zespolone i taki wektor być może zespolony różny od 0 że AV jest równy lambda V no i byłoby to trochę bezużyteczne gdyby nie to, że możemy teraz rozmutkować powiedzmy, że V jest równy X plus Y to ja mam napisane A, to jest macierze rzeczywista razy X plus Y to jest lambda razy V
Niech lambda to będzie p plus iq no to wyciągamy część rzeczywistą to jest po prostu ax co jest rzeczywiste? rzeczywiste jest px minus qy a jak wyciągamy część urojoną to ay jest równe i py plus qx no dobra, czyli już z samego faktu że ja mam macierz po prostu rzeczywistą to ona ma taką dwuwymiarową podprzestrzeń, na której działa.
I o zgrozo. W ogóle macierz A w obcięciu do tej podprzestrzeni, to jest macierz mnożenia przez liczbę zespadoną. Macierz A obciętego do spanu x, y w bazie x, y to jest to jest co? Minus q. No, z właściwie powiedzą, że nie wiadomo, czy x, y nie są równoległe.
Tak też czasem bywa. to jak my stąd weźmiemy jeden wektor własny jak do tej pory w ogóle nie skorzystaliśmy z symetrii to teraz zrobimy tak symetria to nam mówi, że ja mogę mieć no, że jak mam takie iloczynowanie skalarne, to ja mogę przerzucać a między jednym i drugim argumentem to jak ja tutaj zrobię iloczyn skalarny z y, to dostanę axy, jak tu zrobię iloczyn skalarny z x, to dostanę ayx i to będzie to samo czyli ja tu mam napisane, że y razy ax jest równe p razy xy minus q razy y razy y. A tu mam napisane, że x razy ay to jest pyx plus qx kwadrat.
To jest równe, ponieważ a jest symetryczna. W związku z tym qx kwadrat jest równe qy kwadrat. Jest równe minus qy kwadrat. I takie rzeczy się dzieją niezwykle rzadko. No bo to jest po prostu napisane, że Q razy X kwadrat plus Y kwadrat równa się 0. Pamiętajmy, X plus Y to był wektor własny. To jest różne od 0, bo otherwise V byłoby równe 0. W związku z tym Q jest równe 0. I w ogóle X został teraz wektorem własnym.
I Y też. Więc nawet a priori mamy dwa wektory własne, mogą być równoległe, ale wystarczył nam jeden. więc a tak naprawdę tak, to musimy więc x i y są wektorami własnymi a a x jest równe px a y jest równe py oraz przynajmniej jeden z nich jest różny od zera więc ten różny od zera, być może jeden z dwóch jest wektorem własnym świetnie, udowodniliśmy claim udowodniliśmy claim, że każda macierz symetryczna ma jakiś rzeczywisty wektor własny To teraz w zasadzie jest koniec, bo robimy indukcję.
Indukcję robimy w tej wersji z przekształceniem. No bo ja mówię, że mam jakieś f, f, f. Ja mówię, że spójrzmy na macierz f w byle jakiej bazie ortonormalnej. Ona ma wektor własny. Jak to jest wektor własny powiedzmy x, no to ja po prostu znajduję taki wektor v taki, że współrzędny V w bazie V to jest X i jest wektorem własnym F. To jest masło maślane i oczywista oczywistość.
No dobra, czyli ja mam tu, tu mam wektor własny. Tu mam dopełnienie ortogonalne, po polsku V z szubienicą. To, co ja teraz zrobię, ja powiem, że F od V z szubienicą zawiera się w V z szubienicą. A nawet jest pod przestrzenią. Dlaczego? Bo jeśli W zawiera się w F od V z szubienicą, to, to co, to dla każdego, nie, to po prostu, jak ja to chcę napisać, ja chciałem powiedzieć, że jeśli, o nie, Boże, co za absurdy ja tutaj piszę, ja chciałem udowodnić, że, nie, dobrze, to nie było, do tego miejsca nie było głowie napisane, to znaczy, że istnieje powiedzmy taki Z w V z szubienicą, że W jest równe F od Z
No to jak ja chcę policzyć teraz V razy W to ja napiszę, że to jest V razy F od Z no ale zaraz, F jest samo sprzężony tu jest F od V, ale zaraz V był wektorem własnym ale zaraz Z było w V z szubienicą i już. W związku z tym co robimy V2 do Vn to jest baza ortonormalna, która diagonalizuje diagonalizująca F obcięte do V z szwienicą.
Ja twierdzę, że V i ta cała reszta to jest szukana baza. To, że można tak kleić bazę ortonormalne, jak ja mam, gdzie V1 to jest V przez długość V. To, że można tak kleić bazę ortonormalną, jak ja mam tutaj wektor, a tu dopełnienie ortogonalne, albo ogólnie tu jakąkolwiek przestrzeń od dopełnienia ortogonalne, to już mówiliśmy. Kluczowe było to, że F działa sobie osobno na V i osobno na tym.
Jakby F od tego czegoś wyłaziło poza to, to nie dało się zastosować takiego bezczelnego argumentu. Takie już są macierze diagonalne. Jak one mają coś na przekątnej, to ja mogę się odciąć od tego kawałka, zrobić dopełnienie ortogonalne i one działają na dopełnieniu. I cała filozofia. rozkład biegunowy rozkład biegunowy to chyba jest popłuczyna tego co udowodniliśmy, czy nie? tak i nie a, chyba w ogóle to było zadanie o ćwiczeniach możemy jeszcze dla porządku zrobić definicję powiem, że a jest dodatnie określona niech będzie nie ujemnie gdy dla każdego x i co ja chciałem zrobić?
Chciałem zrobić twierdzenie że dla każdej macierzy A powiedzmy kwadratowej to jest tak, że A jest równa Q razy H gdzie Q jest uczciwą macierzą ortogonalną kwadratową oraz H jest nieudobnie określone zazwyczaj pisze po prostu tak zazwyczaj z kontekstu widać, że nie chodzi o to, że wszystkie elementy macierzy mają być większe niż 0 teraz to dowód to jest kaszka z mleczkiem no bo bo co my robimy? My robimy tak, że... My robimy tak, czy my robimy inaczej?
Z wartości singularnych to wynika szybciej. Tak, bo teraz ja bym musiał zrobić tak, musiałbym spierwiastkować. Nie. Chwilowo to idzie do zamrażalnika i chwilę robimy wartości singularne. Tak? tu nam został jeszcze ten rozkład Choleskiego, którego ja nie zrobiłem na wykładzie, ponieważ jest najprostszą możliwą rzeczą, którą każdy jest w stanie sam wymyślić. To znaczy, jeśli mam macierz A, która jest symetryczna, mogę zostawić tę definicję.
To idzie do zamrażarki. Tak naprawdę to jest równoważne, z tym, że istnieje takie B. O tym mówiliśmy na wykładzie. B jest od byle jakie. Takie, że A jest równe b transponowane b. Dlaczego? W tę stronę to jest oczywiste. No bo co? b transponowane b jest symetryczne. Dlaczego jest większe równe 0? No dlatego, że jak przystawię tutaj wektor x, to już widzicie konspirację. Takich twierdzeń to można dowodzić. W tę stronę najpierw korzystamy z symetrii i piszemy a w ten sposób, że tu jest macierz ortogonalna, tu są jakieś lambdy, a tu jest macierz ortogonalna do minus 1
I równoważnie jest transponowana. To co ja teraz robię, żeby się dowiedzieć? Ja wiem, że A jest większe równe 0. Czyli ja wiem, że dla każdego, jak ja zrobię, wezmę wektor S razy EK. Niech to będzie wektor X. To X transponowany AX. Tu jest A, tu jest S, tu jest EK. Tu jest EK transponowany i tu jest S transponowany. to teraz rozkompresowujemy to, czym jest A i okazało się, że ktoś to tak wszystko świetnie dobrał, że tu i tu są identyczności.
A to, jak się nie trudno przekonać, to jest po prostu wyekstrahowanie elementu numerze kk, czyli lambda k. Jak to jest większe równe 0, to wszystkie lambdy są większe równe 0. A jak wszystkie lambdy są większe równe 0, no to wygraliśmy. To mówimy, że B jak to miało być? B miało być po prawej stronie bez transpozycji i już. Zrobione. Lano transponowane to jest lano, bo to jest macierz diagonalny.
I już. To teraz wracamy do rozkładu na wartości singularne. To był temat siódmy, to to był temat szósty. Singular value decomposition. No i to będzie twierdzenie algorytmu dowódów poprawności. Mam macierz A, który jest macierzą absolutnie najbardziej bylejaką, jak się tylko da. To wtedy istnieją takie macierze, u ortogonalna tak, żeby miało sens, v ortogonalna tak, żeby miało sens i lambda to jest taka pseudodiagonalna, to znaczy normalna macierza diagonalna to jest kwadratowa, a ta po prostu ma lambda do jakiegoś miejsca oprócz tego samej sery.
Tak naprawdę to ja mogę nazwać jakoś inaczej. Zwyczajowo się nazywa sigma, to się totalnie myli z notacją sigma, ale nazwijmy ją po prostu duże s. Też się będzie wędziło z tą macierą ortogonalną, której tam używamy. Więc jest trudno. Najwyżej się pomyli. Z innymi S-ami to jest do S-K, gdzie K to jest rząd A. I ważne jest to, że te S-y są większe, równe 0. Te są większe od 0. Takie, że A się rozkłada na U razy S razy V transponowa.
Zrezygnowaliśmy z symetrii i musimy zapłacić tym, że to u niej jest tym samym co V, ale tak czy tak, jak możemy dobrać niezależnie bazę w dziedzinie i przeciwdziedzinie, to możemy i tak w środku dostać macierze diagonalne. Przekształceniowa wersja tego twierdzenia jest taka, że jak ja mam jakiekolwiek F między przestrzeniami X i Y, to ja wtedy mam bazę ortonormalną tu i tu, powiedzmy śmieszne X i śmieszne Y, Takie, że macierz F od bazy śmiesznej X do śmiesznej Y jest właśnie tamtej postaci.
Konwersja między tymi wersjami jest po prostu taka, że te U i V transponowane to są macierze przejścia między bazą standardową i tymi śmiesznymi bazami. No to dowód. Jako macierz totalnie z ulicy, to najprościej się bada przez powiedzenie, że niech B to będzie A transponowane. To, co ja o tym wiem, wiem, że ono jest symetryczne i jeszcze wiem, że jest nieujemne. To jest ten sam argument, co był tutaj. Ono jest symetryczne i większe równe 0. W związku z tym ona się diagonalizuje. Tak, tak, to znaczy ja tu mam jakąś macierz ortogonalną, tu mam tu mam jakieś lambda i tu mam takie coś.
I te p to są wektory własne. Dobra, to niech v1 do vn to już jest macierz kwadratowy. To są wektory własne b i one mają swoje wartości własne. Także BV J jest równe lambda VJ. To co wiemy? To wiemy bardzo dużo. Wiemy tyle, że my podejrzewamy obycie wektorem własnym i A.
To ja twierdzę takie coś. Lambdy są większe, równe 0. To bez straty ogólności ja mogę je posortować. Te lambdy są większe od 0. Tak, bo już przekonaliśmy się, że rząd macierzy B jest taki sam, jak rząd macierzy A. A PIP transponowane są odwracane, czyli zachowują rząd, a rząd macierzy diagonalny i lambda jest dokładnie taki, jak nirwanie zerowych lambda. W związku z tym to tak wygląda.
To ja teraz powiem, że niech nazwijmy te wektory jakoś inaczej, nazwijmy je u. To ja teraz mówię tak. To są wektory własne. Tak, w tym miejscu się i tak powołujemy na twierdzenie z wykładu, że wektory własne macierzy symetrycznej są ortogonalne.
To jest twierdzenie, którego nawet nie wrzuciłem tutaj, bo wkręciło się gdzieś w tryby, ale to też nie jest trudne. To znaczy, że jeśli co? Że jeśli mam, że jeśli ja mam macierz symetryczną, tu mam jedną wartość własną, tu mam drugą wartość własną, to ja jestem prostopadły.
Chwilowo się to możemy poływać bez dowodu. Więc ja twierdzę, że jak ja wezmę wektory V1 do Vk i ja je podzielę przez ich długości, to ja będę miał wektory własne macierzy A. A nie zaraz, nie wektory własne macierzy A. Będę miał takie prawie. To znaczy skorzystamy z tego, że one są własne dla B żeby powiedzieć, że dla A są własne w tym sensie, że po drugiej stronie nie są wektory V czyli tak naprawdę, że ich obrazy są prostopadłe patrzymy na A razy VJ przez długość VJ to co to jest?
To jest, a ja bym chciał zbadać prostopadłość tego z jakimś takim innym wektorem no to długości są nieistotne ja tu mam A razy jeden wektor razy a razy drugi wektor. Czyli to jest stała różna od 0 razy jeden wektor razy a transponowany a razy drugi. Czyli stała razy vj razy bvi.
Ale zaraz, przecież to jest vj razy lambda i vi, bo one były właśnie wektorami własnymi dla b. No to to jest stała razy stała razy vj razy vi. No i to jest 0. W związku z tym te wektory tutaj, niech to będzie V1 z wąsem, aż do V z wąsem, one, nie dość, że one są prostopadłe, bo pochodzą od wektorów własnych B, nie dość, że są znormalizowane, czyli są ortonormalne, to jeszcze przechodzą na wektory, które same z siebie są ortogonalne.
Więc plan jest następujący. Ja mówię, że A, VI z wąsem równa się z definicji to podzielone przez długość AVI z wąsem równa się WI dla J1 do rzędu. Więc co my jak na razie wiemy? Wiemy, że V1 z wąsem VK z wąsem są ortonormal. Wiemy, że AVI z wąsem jest równe WI razy długość AVI z wąsem.
I co my jeszcze wiemy? Wiemy, że WI są ortogonalne. W sumie one są też ortonormalne, no bo tak to wykazaliśmy ortogonalność, a ze wzoru widać, że są długości 1. No to mamy praktycznie wszystko. Tylko musimy jeszcze byle jak uzupełnić tę bazę do bazy całej przestrzeni. Tak to się robi po prostu na przykład tak, że piszemy te wektory, przecinek, cała jakakolwiek baza, duża część tej bazy się zaszreduje gramem Schmidtem, a tyle wektorów, co zostanie, to uzupełni to do bazy.
Więc V1, Vk z wąsem, a potem aż do Vn z wąsem to jest baza ortonormalna Rn i tak samo tych uzupełniamy. No i jak napiszemy macierz mnożenia przez A w tej bazie, czyli po prostu A, no to jest co? To jest tutaj Av1 z wąsem aż do Avk z wąsem. Wszędzie indziej są 0, no i tu jest macierz przejścia od śmiesznej bazy, czyli od W do standardowej, czyli tu będą W w kolumnach, a tu było od standardowej do bazy V, czyli tu będzie V transponowa.
Tak to oczywiście nie ma znaczenia, jak pytamy o to, czy istnieją. To ma znaczenie, jak chcemy je napisać dla konkretnego A. Jeszcze jako wisienka na torcie, czym jest AV1 z wąsem do kwadratu? To jest AV1 do kwadratu przez długość V1 do kwadratu. Bo V z wąsem to jest proste podzielenie przez długość. AV1 do kwadratu to jest AV1 razy AV1, czyli V1 razy A transponowane A razy V1 przez normalizację, czyli V1 razy BV1, czyli V1 razy lambda V1.
Jak to miał być lambda 1? Oczywiście wybór jedynki jest tutaj arbitralny. To po prostu jest tak, że te długości to są pierwiastki z lambda. Bo to jest tak, że to B jest takim tak jakby kwadratem A, więc te takie jakby wartości, które identyfikują A, to są takie jakby pierwiastki z tych, które identyfikują B. No. To mamy zrobione. I co jako wniosek rozkładu biegunowy? W rozkładzie przestajesz być twierdzeniem, zostajesz wnioskiem.
Dowód jest teraz trywialny. Jak A jest równe jakieś tam W razy lambda razy V transponowane, to ja po prostu to napiszę jako W V transponowane V lambda V transponowane. To jest macierz H, to jest macierz Q. iloczyn macierzy ortogonalnych oczywiście jest ortogonalny Q transponowane Q jest równe WVT transponowane WVT czyli VT W transponowane a nie, to jest V2 razy T V odtransponowane, W transponowane WV transponowane, czyli VV transponowane bo to jest jedynka, czyli też jedynka dlaczego to jest symetryczne?
To jest dość jasne, bo H transponowany to jest transponowany, transponowany, lambda transponowany, V transponowany, czyli V lambda, V transponowany, czyli H i X transponowany HX jest główny X transponowany V lambda, V transponowany X, czyli moim bohaterem jest V transponowany X transponowany, potem jeszcze i tak i co? A, bo lambda jest macierzą diagonalną. To jak się tak ładnie rozpisze, jak to jest wektor powiedzmy y, to tu jest napisane suma lambda i y i kwadrat.
Lambda to było to z rozkładu na wartości singularne a, który zawsze produkuje coś nie ujednego. I już. Całe twierdzenie. Dobrze. Z informami dwójniowymi to jest straszny smuteczek, bo ja miałem o nich opowiedzieć więcej. natomiast tu nie ma bardzo dużo filozofii to jest tak, że ja już o nich coś tam opowiadałem w pierwszej połowie semestru to tak bardzo krótko powiemy, że jak ja mam takie przekształcenie B które przyjmuje dwa argumenty i zwraca coś z R w ten sposób, że ja mam to od dwóch argumentów i to, że jak ja biorę X i zwracam to dla ustalonego Y jest liniowe i robi dokładnie to samo z drugim tym.
Bardzo łatwo się przekonać, że to jest równoważne z tym, że B od X, Y to jest Y transponowane razy jakaś macierz, nazwijmy ją przewrotnie A razy X. Czyli innymi słowy suma wszystkich możliwych iloczynów ktoś stąd razy ktoś stąd razy A, nie, głupie napisane, to powinno być J, to powinno być I. to najchciałoby się i to jest prawda to A to nazywają macierzą formy w danej bazie może być też tak, że jak ja mam funkcję dwuliniową na RN to ja ją chcę opisywać w innej bazie i wtedy ta macierz będzie inna jest macierzą B w jakiejś bazie V1 Vn gdy
B od x, y to jest dokładnie suma i tu są współrzędne x w tej bazie V i tu jest dokładnie tak samo jak tam, albo po prostu napiszmy tak, że to jest współrzędne y transponowane razy macierz razy współrzędne x. I co? I warto znać twierdzenie, a zanim jedno twierdzenie, które warto znać jest takie, że macierz wyznaczy formę dwulijową oczywiście, natomiast czy formę wyznaczy macierz? Też.
Dowód jest trywialny. Po prostu jest tak, że aj to jest b od czego? Jak tu chcę mieć j, to tu chcę mieć j od tej ei. I już. Wstawia się i wychodzi do tego wzoru. Jeszcze lepsze twierdzenie jest takie, że ja mogę zamieniać bazę. To znaczy jak ja mam jakąś formę dwuliniową, to jej macierz w bazie v to jest macierz tej formy w bazie W.
Tu normalnie jakbyśmy mieli macierz przejścia, tak normalnie jak zapisywanie macierzy przekształceń liniowych. Tu jest macierz identyczności od V do W, a tutaj o zgrozo nie ma tego do minus pierwszej. Tu jest też od V do W, tylko że transponowany. W szczególności, kiedy mówimy o bazach ortonormalnych, to to jest wszystko jedno. ogólnie to są dwie zupełnie inne relacje na macierzach jedna taka, że dwie macierza są macierzami tego samego przekształcenia w różnych bazach a druga taka, że są macierzami tej samej formy dwójniowej w różnych bazach o ile to pierwsze się deterministycznie bada przy użyciu diagonalizacji to to drugie zależy nad liczbami wymiernymi to jest ciężkie to co jeszcze chcemy wiedzieć chcemy wiedzieć, że jak ja mam formę dwuliniową,
To ja mogę zdefiniować formę kwadratową. To jest forma kwadratowa. Która oczywiście wynalazł radziecki uczenek kwadratów. Ten żart nigdy nie przestanie być śmieszny. Jak na razie to jest głupia definicja, która nie wiadomo do czego służy. My się cieszymy z tej definicji. Dlaczego? Dlatego, że daje się... Ogólnie się tego nie daje odwrócić, chyba, że założymy symetrię.
To znaczy, że jeśli B jest symetryczna, to wtedy ja jestem w stanie ją odzyskać z Q. I robię to w taki sposób, że jeśli Q od V to jest suma A i J, X i XJ, oraz A jest macierzą symetryczną, to A jest równy B. Znaczy A jest równy macierz B, tak naprawdę.
To znaczy, w tym chodzi o to, że to jest wielomian. wielomian generalnie jednoznacznie wyznacza swoje współczynniki przy konkretnych jednomianach, a jednomian x i xj pojawia się w dwóch miejscach. Pojawia się tu w macierze i tu w macierze. Więc trzeba jakoś tam arbitralnie zarządzić, jak przepisać macierze do czegoś takiego. Można to robić górne albo dolno-trójkątnie, tylko jest to równoważne z wieszaniem papieru toletowego w złą stronę. Więc robi się to symetrycznie. I okazuje się, że ta macierz, jak to napiszemy symetrycznie, to jest macierz tej jedynej formy dwójniowej i symetrycznej, od której Q pochodzi przez wzięcie przekątnej.
No i te formy kwadratowe nie są wamowce. To jest dokładnie to, co ostatnio liczyliśmy ze stożkowymi w tej części jednorodnej stopnia 2. Natomiast to się często traktuje trochę po macoszemu, bo i tak się im zamienia i tak się im zamienia bazę w sposób ortogonalny, więc po co się przejmować tym, co się nazywa kongruencja macierzy. Odpowiedź brzmi, że nad ciałami, które nie są RM to się robi dużo bardziej niecywilne pojęcie. Jest specjalny algorytm, który bierze macierz i przykłada jej taką operację, że tu mam coś transponowane tak, żeby wyszła macierz diagonalna. I to jest wymierny algorytm.
To znaczy współczniki tej macierzy to są jakieś tam przypadki, znaczy łączona po przypadkach funkcja wymierna od tego, od czego zaczęliśmy. Więc to się dzieje nad dowolnym ciałem. Czy to jest całość wiedzy, której potrzebujemy? No, to się jeszcze tam mówiło, że forma jest nieujemnie określona, ale to jest po prostu ripost tego samego dla macierzy. Dla każdego x różnego od 0.
Pompatycznie piszę różnego od 0, bo chociaż to, że tu jest nieujemnie określona, tak samo mógłbym mieć dodatnio określona, to wtedy tu miałbym dodatnio. Jakbym tego nie napisał, to byłaby sprzeczność, bo ku od 0 jest równe 0. I dokładnie tak samo jest ujemnie określona, w której tu jest mniejsze od 0. To pojęcie będzie bardzo ważne. Ono się będzie pojawiało na analizie 3. Wbrew pozorom. No i natychmiastowy wniosek z tego, co jest tutaj napisane, jest taki, że to jest równoważne z tym, że właśnie ta macierzków w wersji symetrycznej jest nieuniemniej określona.
Chcielibyśmy jeszcze formułę polaryzacyjną? Tak naprawdę formuła polaryzacyjna to jest to. Jak chcemy być cheeky, to możemy to napisać tak, że B od UV to jest tak, jakby byśmy odzyskiwali iloczyn skalarny z samej normy na wektorach. Tak chcę zrobić, o to tak zrobię. Tu odejmę. Jak się to robi? Po prostu wstawia się definicję. Oczywiście tu chciałem tak napisać.
Wstawia się definicję Q jako B od dwóch argumentów, się liczy i wychodzi. Oczywiście to jest tylko gdy B jest symetryczne. Ogólnie. Z punktu widzenia form kwadratowych część antysymetryczna macierzy nie istnieje. A twierdzenie o bezwładności to jest tak naprawdę to, że tak naprawdę ona jest fajna nad dowolnym ciałem, ale ona po prostu mówi tyle, że co? że maksimum wymiaru nie tak to chcę sformułować po prostu chcę sformułować tak, że cały Rn się rozkłada do danej formy kwadratowej rozkłada się na takie coś
Takie, że Q obcięte do V plus jest nieujemna, a nawet dodatnio określona Q obcięte do V minus jest ujemnie określona i Q obcięte do V zero jest tożsamością równa zero ale to jest natychmiastowy wniosek z diagonalizacji po prostu biorę sobie formę kwadratową Q przepisuję jej macierzy symetryczną, diagonalizuję ją i co dostaję? dostaję tutaj jakieś dodatnie wartości własne tutaj jakieś ujemne, tutaj jakieś 0 to już, są trzy w odprostrzeni tam się nic więcej nie dzieje w wersji nad R klasyfikacja stożkowych w sumie to już robiliśmy całkiem niedawno nawet przed chwilą przypominamy sobie, że jak ja mam równanie typu wiomia drugiego stopnia, to ono się przekłada na to, że ma literki, żeby się nie myliło z dużym A.
Jak ja wezmę macierz A o taką, A, B, C, C, wezmę wektor U taki, to ja mam tutaj napisaną taką formę kwadratową. Oczywiście x to jest x, y dla skonfundowania przeciwnika. No, więc algorytm walki z czymś takim jest taki. Najpierw diagnozujemy A. A jest macierzem symetrycznym. Jak a jest równe s lambda s transponowane, to ja teraz robię podstawienie, że x z wąsem jest równe s transponowane x. To ten mój napis się sprowadza do tego, że mam x transponowane, a to jest s lambda st, czyli tu jest x, tu jest x transponowane, to jest y, widzieliśmy x z wąsem, to jest x z wąsem transponowane plus u transponowane s, s transponowane x, plus f, równa się z f.
Znowu, to jest x z wąsem. To jest nowy układ współrzędnych, ale różniący się od starego tylko ortogonalno-zamięt zmiennych. Czyli ja mam teraz takie coś, niech to się nazwie v, to coś, to ma jakieś wartości własne. To jest moja wartość. Czyli jak ja powiem, że x z wąsem jakieś współrzędne, powiedzmy x z wąsem 1, x z wąsem 2 z braku lepszych pomysłów to co jest tutaj napisane?
Tu jest x z wąsem 1 do kwadratu raz lambda 1 plus x z wąsem 2 do kwadratu raz lambda 2 plus jakieś kolejne głupoty. V1, x1 z wąsem plus f i to ma się równać 0. To co robimy? Uzupełnianie do kwadratu. Generalnie pisanie tego jest trochę żmudne. Tja.
Pisanie tego jest trochę żmudne, ale chodzi o uzupełnienie do kwadratu, bo ja to mogę napisać jako lambda a. Jeśli któreś z tych lambdów jest równe 0, to ja mam po prostu chamską parabolę. Jeśli np. lambda 1 jest równe 0, to moje równanie brzmi a V1 X1 z wąsem plus, tak powiem, równa się, tak powiem to minus, F plus V2 X2 z wąsem plus lambda 2 X2 z wąsem do kwadratu. Więc albo V1 jest równe 0 i wtedy to jest zdegenerowany przypadek, kiedy X2 ma być może jakieś dwa rozwiązania, a V1 jest byle jakiej, wtedy to jest tak.
Znaczy V1, X1. Albo V1 jest grzecznie różny od 0, mogę podzielić, mam parabolę. Tak mam wtedy powiedziane, że pierwsza współrzędna to jest parabola od drugiej, czyli to wygląda jakoś tak. Jak lambda 2 jest równe 0, to podobnie. Jak oba są równe 0, to prosto jest równanie proste. W generycznym przypadku ja mam uzupełnienie do kwadratu. 2V1 przez lambda 1, X1 z wąsa. Takie coś. ja potem uzupełnię do kwadratu dałem to dwa razy to samo no i równa się minus f plus te rzeczy, które dodaliśmy no i co? i mamy równanie równanie postaci x1 z wąsem plus przesunięcie do kwadratu razy jakaś głupia stała
Plus to samo dla x2 równa się jakaś głupia stała więc co robimy? dzielimy przez przez prawą stronę i dostajemy znowu x1 z wąsem plus przesunięcie do kwadratu. Ja tu coś mam. Plus. Ja tu coś mam razy x2 z wąsem plus przesunięcie do kwadratu. Równa się 1. To ja to coś mogę wyładować do mianownika. Mogę to zawsze napisać jako to przez 1 przez pierwiastek z tamtego. Przez coś. Jedyne co mi tutaj zostanie to będzie plus minus.
Tu będzie plus minus. Czyli morał jest taki, że robiąc jedno podstawienie które w ogóle nie zaburzy geometrii to znaczy przez macierze ortogonalną ponieważ A była symetryczna to ja mogę sprowadzić takie równanie drugiego stopnia do czegoś takiego no i to widać, że to jest jedna z naszych ulubionych staszkowych to jest albo okrąg, albo jedna hiperbola, albo druga hiperbola albo najlepsza staszkowa, to znaczy biur pusty to jest taka hiperbola to jest taka hiperbola to wygląda jak jakiś znak zodiaku ten wróżenie z form dwuliniowych.
A to jest biur pusty. To, co się tutaj dzieje, to jest tylko położenie tego na płaszczyźnie. To jest tak, że jak ja tu mam minus coś, to to są współrzędne środka, a to są czynniki skali. Jak najpamiętamy te wszystkie opowieści, że jak ja miałem x1 przez a1 plus x2 przez a2 do kwadratu Równa się 1, to jest elipsa o półosiach A1 i A2. Jeśli A1 jest większa od A2, to ja tutaj mam ogniska. To są punkty pierwiastek z A1 kwadrat minus A2 kwadrat plus minus 0.
I suma odległości od ognisk, zawsze suma odległości od ognisk to jest dłuższa półoś. Jak A1 jest mniejsza od A2, to jest dokładnie tak samo. To jest 0 plus minus większy minus mniejszy. jak ja mam hiperbole pamiętam jak to było to było tak, że tu były asymptoty jak x1 i x2 są nieskończenie duże, to to 1 jest zaniedbywalne, to jest w przybliżeniu tak, że x1 przez a1 jest równe, x2 przez a2 więc tu jest w przybliżeniu x2 równe znaczy asymptota jest równa a2 przez a1 x1 tu jest x2 równe minus a2 przez a1 x1 o i to sobie idzie jakoś tak x2 tu jest równe 0 więc tu jest po prostu punkt A1 i tu są ogniska to znaczy te punkty o ile tutaj była także suma odległości od tych dwóch punktów jest stała jest równa A1
Tu jest F minus, tu jest F plus i tu jest punkt P i PF minus plus PF plus jest równy 2A1 przynajmniej w tym wypadku tym tutaj tutaj jest 2A2 tutaj bardzo podobnie tu mam ognisko jedno, tu mam ognisko drugie to jest pewnie to akurat jest pierwiastek z sumy kwadratów tu jest tak, że jak ja mam punkt to właśnie ja chcę mieć różnicę zapakowaną w moduł tu nie jest ważna relacja ilościowa między a1 a2, tu jest ważne gdzie jest minus, jak miał minus tutaj i plus tutaj to był ten sam obrazek flipnięty względem prostej y to jest wszystko, co się daje uzyskać jako krzywą stożkową na płaszczyźnie.
Można trafić w zbiór pusty. Tam są jeszcze jakieś zdalne przypadki. Można trafić w punkt albo dla punktu. To prawie koniec. Wzór narzut na podprzestrzeń. Piękna sprawa. Pamiętamy jakieś takie coś. To można wyprowadzać głupio, można wyprowadzać mądrze. Głupio to się wyprowadza w ten sposób, że się pisze układ równania współczynniki. Mądrze to się robi trochę tak, trochę tak że, ale już wiem jak się robi.
Powiedzmy, że ja mam jakąś macierz, taką przygotowaną do grama Schmidta. No to i mam sobie rozkład QR. Ja chciałbym znaleźć macierz rzutu na spany i kolumn. Czyli po prostu mam zadaną podprzestrzeń przez to, jakiej macierzy jest obrazem i chcę zrzutować na spalnej kolumnie. No to przez to, że R jest odwracalna, to im A jest równe im Q. To świetnie, to ja muszę zrzutować na obraz macierzy Q, której kolumny są ortogonalne.
Ja mogę chyba nawet założyć trochę więcej. Mogę założyć, zamiast tego, że Q ma ortogonalne kolumny, a r jest w górną trójkątę z jedynkami na przekątnej, to ja mogę założyć, że q jest ortogonalna, czyli ja te wszystkie czynniki skali z kolumn przeniosę na r, a r jest po prostu w górną trójkątę, już bez jednych na przekątnej. To jest dokładnie to, co się dzieje po normalizacji. Ostatni krok normalizacji to jest ten, w którym z macierzy q, która miała tylko ortogonalne kolumny, robimy taką, która ma ortonormalne i to jest kosztem tego, że nie mamy już tych operacji, które jest jednym końcem coś, tylko każdy ten każdą kolumnę r mnożymy przez nową stałą dobra to teraz ja się chcę rzutować na na obraz Q zapewne ja to chcę zrobić tak
Że a, to nie ma nic prostszego pamiętacie, że jak ja wektor długości 1 to projekcja na u to ma macierz kolumna razy wiersz. Co jest przejawem tego, że projekcja na u razy V to jest to samo co u razy V przez tu miał być na u, tak? Czyli razy u. Tu jest kwadrat, więc jak u jest o długości 1 to jest po prostu u razy V razy u, czyli tu jest u razy u razy V ale przecież u razy V to wiadomo co to jest u razy V to jest wiersz razy kolumna więc jak mam bardzo chude Q to znaczy n równe 1 to wiem to zróbmy teraz przez analogię zastanówmy się czy to możliwe, że projekcja na obraz Q to jest Q, Q transponowany to teraz zastanówmy się
Powiedzmy, że mam wektor V, który jest w obrazie Q Co się stanie, jak ja do niego przywalę tutaj Q, a tutaj Q transponowane? To ja w sumie nawet nie muszę się zastanawiać, bo mogę to zrobić algebrą. Ja po prostu powiem, że V jest równe Q razy jakieś W. No to wtedy Q Q transponowane razy V to jest Q Q transponowane razy QW. Środek mi się z jednej macierzy jednostkowej zostaje QW, czyli zostaje V. czyli ta macierz na wektorach z obrazu Q działa jak identyczność a powiedzmy, że teraz V jest prostopadłe do obrazu Q no to to jest bardzo proste no bo Q transponowane razy V to jest Q razy czymż jest Q transponowane razy V jak nie listą iloczynów skalarnych Q z wierszy Q transponowane z wektorem V tu mam katą kolumnę transponowaną razy V.
Tu jest iloczyn skalarny kogoś z obrazu Q z V, czyli to jest po prostu 0. Czyli to jest taka macierz, która tu na obrazie Q, tu jest identycznością, a tu jest zerem. Toż to jest dokładnie definicja rzutu ortogonalnego na Q. To teraz jako Victory Lab napiszemy, że projekcja im na im a to jest projekcja na im Q czyli Q transponowane Q i teraz ja chcę napisać to w terminach A no i nie będę kuglarzował, nie będę mówił jak się wpada na ten wzór, ja go napiszę ja go napiszę a potem się ucieszymy, że działa niech tam było A razy A transponowane razy A do minus pierwszej razy A transponowane uważny słuchacz zauważy, że zaraz, o co chodzi? Ja przecież to rozkompresuję i napiszę to jako A transponowane
A transponowane do minus pierwszej to z tym mi się skróci, to z tym mi się skróci to wychodzi jeden. O co chodzi? A nie jest macierzem kwadratowym to jest kwadratowe A niekoniecznie. Jest tak niewolne Tu mam QR Tu mam transpozycję RTQT razy A czyli QR do minus pierwszej A transponowane czyli RTQT czyli QR razy to mi się zje do jedynki R transponowane R do minus pierwszej RTQT czyli QR R jest kwadratowa z nią wolno tak robić no i teraz tu jest I tu jest I i zostaje QQT czyli to co chcieliśmy napisać tutaj i jest wzór jawny tak jawny jak odwracanie macie
Że wciąż jawny. Co to ma wspólnego z regresją liniową? To ma tyle wspólnego, że jak mam ten obrazek, że tu są jakieś datapointy, jakieś kropki na wykresie i chcę zrobić takie coś, co pasuje jak najlepiej. Zróbmy to tak, jak mierzę jakość przybliżenia, patrzę na X3, znaczy na tego datapointa w X3, to jest jakieś X3, Y3 i patrzę na to, co mi funkcja o tym powie, ta wymodylowana, to y równa się a, x plus b. I miara mojej nieszczęśliwości, to jest błąd średnio kwadratowy, to jest suma po data pointach z realnych danych minus to, co model powie na temat danych wejściowych do kwadratu.
Koincydentalnie to jest dokładnie to samo, oczywiście chciałem powiedzieć k, co suma po k, tu jest kt element wektora y minus a razy kt element wektora x minus b razy kt element wektora z samych jedynek. Czyli toż to jest suma kwadratów ktych elementów jakiegoś wektora. Czyli to jest dokładnie długość wektora. Wektor z y minus a razy wektor z x minus b razy wektor z 1. To naszym oczom jawi się to, że nasz błąd to jest takie coś, że ja tutaj 0, tu mam wektor z samych jedynek, tu mam wektor z x-ów i gdzieś tam mam wektor z y-ków, których ja chcę ja tu zrzutować.
I tu chcę znaleźć punkt, który będzie jak najbliżej. Tak się minimalizuje błąd. Ta moja funkcjoniowa to jest stała razy wektor x-ów plus stała razy wektor z jedynek. No to już. A, I, B to są współrzędne rzutu y na span x i 1. Przy czym, jak się nietrudno przyjrzeć, jak ja mam to, jak ja rzutuję kogoś na kolumny a, to ja przykładem to do niego. Czyli tu mi wychodzi jakiś wektor. To razy ten wektor.
A ma tyle współrzędnych, co a ma kolumn. I oczywiście one się pojawiają jako współczynniki, W tym, że wynik równa się pierwsza kolona a razy współczynnik plus druga kolona a razy drugi współczynnik i tak dalej. Czyli, jeśli nie mam ten wzór, to te moje współczynniki są współrzędne tego, chyba się złożonej z x i jedynki, ale też równoważnie. To jest to, że ja piszę macierz a, który jest długą, chudą macierzą.
Tu ma x i tu ma sobie jedynki. że wektor AB to jest to, co się domnaża do wektora A tutaj. Czegoś tutaj zapomniałem. A oczywiście, jak to domnaża Y. Teraz się jednostki zgadzają. Jednak jak domnażę z lewej strony A, to tu będę miał kombinację z tymi współczynnikami kolumn A, a z tej strony będę miał po prostu rzut.
Więc to się po prostu liczy. Bierzemy ten macierz, wstajemy w tę maszynkę, liczymy i mamy wzory na A i B. I absolutnie nikomu nie każe tego wyliczać ręcznie. To co? Jest jeszcze jedna rzecz, którą... Wiecie co? Ja te tematy 11, 12 i 13 ich tak nie było na wykładzie. One są fajne, natomiast nie na dzisiaj. Ogólnie kwaterniany to jest piękna opowieść, ale też nie na dzisiaj.
I to by było z tych tematów. Tak, to by było na tyle. No, to już. Wystarczy zrozumieć to, co się tutaj zdarzyło. żeby dobrze zdać egzamin