Mediul de implementare a sarcinilor este MATLAB.
Modelul regresiei liniare reglate
Formularea metodei
Se ia în considerare problema recuperării prin regresie. Există un _n eșantion de formare, t_n \> _ ^ N "/>, în care _n \ în \ mathbb ^ D"> / - un vector caracteristic pentru obiect și "/> -. Problema sa valoare de regresie constă în estimarea valorilor de regresie" /> pentru un obiect nou reprezentat de vectorul său caracteristic _ "/>.
În regresia liniară, prognoza se realizează utilizând o funcție liniară:
în cazul în care \ în \ mathbb ^ D „/> - stabilirea unor scale de greutate se realizează prin minimizarea unei următoarele regularizat criterii :.
Aici este parametrul de regularizare definit de utilizator. Utilizarea -regularizarea permite, în primul rând, reducerea probabilității de recalificare a algoritmului și, în al doilea rând, obținerea așa-numitei. solutie scazuta. Soluțiile diluate ale componentelor vectorului greutate optima „/> este zero. Greutate zero pentru un semn al excluderii lor din modelul echivalent (recunoașterea valorii lor informativ).
Problema dublă
Luați în considerare obținerea unei probleme de optimizare dublă pentru problemă (1). Pentru a face acest lucru, considerăm formularea echivalentă a acestei probleme sub forma unei probleme de optimizare condiționată:
Mai mult, se poate demonstra că dubla la această problemă de optimizare convexă va fi următoarea:
Aici se înțelege prin || _ "/>.
Problemă netedă
Problema optimizării convexe nonsmooth (1) poate fi reprezentată în mod echivalent ca o problemă de minimizare condiționată netedă:
Formulare de declarație
- Derivează problema dublă de optimizare (2); scrieți cum poate fi obținută soluția problemei directe (1) rezolvând problema dublă (2);
- Pentru problema (2) pentru a calcula formula admisibilă punctul dublu „/> la punctul specificat de linia“ />, bazat pe ea pentru a înregistra o limită superioară decalajului dintre directe soluțiile problematice (1) și problema duală (2);
- Derulați formulele necesare pentru rezolvarea problemei de învățare netedă (3) cu ajutorul metodei funcției de barieră; să ofere un mod propriu de rezolvare eficientă a SLAU corespunzătoare, necesară pentru includerea acestei formulări în raport;
- Implementarea metodei funcțiilor de barieră pentru rezolvarea problemei (3); ca criteriu de defalcare, utilizați estimarea superioară rezultată pentru diferența;
- Derulați formulele necesare pentru rezolvarea problemei (2) utilizând metoda direct-duală a punctului interior; să ofere un mod propriu de soluționare eficientă a sistemului PCC perturbat, necesar ca această formulă să fie inclusă în raport;
- Realizați metoda direct-duală a punctului interior pentru problema (2); ca criteriu de oprire, să utilizeze norma din partea dreaptă a sistemului CCT perturbat;
- Să implementeze alegerea unei metode proximale sau coordonate pentru rezolvarea problemei de învățare (1);
- Pentru a efectua o comparație experimentală a trei metode implementate (metoda de bariera pentru problema (1), dreapta dual metoda punct interior pentru problema (2) și o metodă proximală / coordinatewise pentru (1)) pentru viteza, cu 1) diferite raporturi ale numărului de obiecte și caracteristicile datelor și 2) valorile diferite ale parametrului de precizie;
- Scrieți un raport în format PDF cu o descriere a tuturor studiilor efectuate. Acest raport ar trebui să conțină, în special, formulele necesare pentru toate metodele. De asemenea, în toate experimentele de mai sus, trebuie indicat numărul de iterații, precizia, parametrii și timpul de funcționare a metodelor.
Specificarea funcțiilor implementate
Învățarea prin metoda funcțiilor de penalizare
w = l1linreg_barrier (X, t, lambda, param_name1, param_value1.)
Trimiteți-le prietenilor: