Kas ir Ridža un Laso regresija? (01.23.22)

Uz lineārās regresijas balstīta analīze darbojas pēc taisnes vienādojuma principa, kurā norādīts, ka y= mx + c kur y ir vērtība, kuru mēs vēlamies atrast y virzienā attiecībā uz līnijas slīpumu, kas pilnībā savieno visus x punktus un šķērsgriezums, kas samazina slīpumu pie y ass. Šis vienādojums uzskata, ka katrai prognozējošai analīzei, kurā ir nepārtraukti mainīgie, kas nav diskrēti dati, prognozes var veikt, ievērojot šīs līnijas likumu.

Šeit tiek izlaista vispiemērotākā līnija ar zināmu slīpumu punkti x vai neatkarīgās iezīmes, kas aptver gandrīz visus punktus savā garumā. Atlikušajiem punktiem, kas netiek uztverti, tiek dotas prognozes, pamatojoties uz to tuvumu ar vispiemērotāko līniju. Lai gan šī metode ir ļoti populāra datu zinātnes kopienā, ar to ir saistīti ierobežojumi. Lineārās regresijas ierobežojums ir tāds, ka tas nespēj uztvert sīkākās iezīmes un tādējādi tos ignorē. Arī lineāro regresiju nevar piemērot datiem, kas ir nevienmērīgi izkliedēti un nav lineāri.

Šāda veida nelineāru problēmu risināšanai divas lineārās regresijas māsas sauc par Ridge un Lasso regresija vai dažreiz saukta par L1 un L2 regulēšanu. Mēs izmantojam Ridge un Lasso, lai pārvērstu augsto neobjektivitāti un augstu dispersiju par zemu un zemu dispersiju, lai mūsu modeli varētu saukt par vispārinātu modeli, kas parāda vienādu precizitāti mācību un testu datu kopā. Pamatkoncepcija, pēc kuras darbojas šī kores un laso, dod priekšroku izmaksu funkcijas samazināšanai. Šie ir divi hiperparametri, kas izskauž problēmu, kas saistīta ar normālu lineāru regresiju, un to definīcija kopā ar dažiem ieskatiem ir sniegta zemāk:

RidgeRegresija (L1 regulēšana)

Ridžas regresijas formula ir šāda:

i = 1 līdz n (yy^) 2 + λ (slīpums) ) 2

Mēs cenšamies samazināt šo vienādojuma vērtību, ko sauc arī par zaudējumu vai izmaksu funkciju. Λ vērtība svārstās no 0 līdz 1, bet var būt jebkurš ierobežots skaitlis, kas lielāks par nulli. ar vienkāršu lineārās regresijas modeli. To galvenokārt veic, izvēloties vispiemērotāko līniju, kur izmaksu un λ funkcijas summēšana ir minimāla, nevis tikai izvēloties izmaksu funkciju un to samazinot. Tādējādi šādā veidā tas palīdz izvēlēties precīzāku līniju ar lielāku precizitāti. x virzienā, krasi mainās slīpuma vērtība starp diviem punktiem. Tātad, vienmēr, kad ir stāvs slīpums, tas noved pie pārmērīgas uzstādīšanas. Turklāt mēs varam teikt, ka mēs tikai sodām (iezīmes, kurām ir lielākas nogāzes) augstāku slīpumu punktu uz zemākām, lai mēs precīzāk sasniegtu vispiemērotāko līniju.

Šī vispiemērotākās līnijas izvēle kores regresija netiek veikta uzreiz, drīzāk tā iziet secīgas iterācijas, kā tas tiek darīts gradienta nolaišanās laikā, un pēc tam tiek izvēlēta vislabākā atbilstība. Visbeidzot, kad ir sasniegta vispiemērotākā līnija, mēs varam teikt, ka, palielinoties vienībai x virzienā, būs mazākas slīpuma vērtības izmaiņas, ti, mazāks stāvs slīpums un līdz minimumam samazināta pārkaršanas problēma. Lambda atlase vienādojumā tiek veikta, izmantojot savstarpēju validāciju. Turklāt, ja λ vērtība ir augsta, sakot 0,6, tad līnijai būs tendence tuvināties 0, veidojot taisnu līniju.

LassoRegresija (L2 regulēšana)

Laso formula nedaudz atšķiras no kores regresijas:

i=1 to n (y-y^)2 + λ|slope|

Šeit || nozīmē slīpuma lielumu

Laso regresija ne tikai palīdz pārvarēt scenāriju, bet arī palīdz izvēlēties objektu. Tas, kā tas palīdz funkciju izvēlē, ir tas, ka tiek noņemtas tās pazīmes, kuru slīpuma vērtība tuvojas 0, kā tas nebija Ridge regresijas gadījumā, jo Ridge regresijā vērtībai ir tendence tuvināties 0, bet ne tuvināties 0. neizmanto kvadrātus un tikai ņem vērtību, lai tā tuvotos 0, un mēs ignorēsim šīs funkcijas.


Secinājums

Mēs varam secināt, ka abi Ridge un Lasso var palīdzēt galvenajam lineārās regresijas modelim darboties labāk un sniegt labas prognozes, ja tiek atrisināta pārmērīgas uzstādīšanas un funkciju izvēles problēma, tādējādi nodrošinot lielāku precizitāti prognozējošajā analīzē.

Lasīt vairāk:


YTube Video: Kas ir Ridža un Laso regresija?

01, 2022