Logistické regrese příklad


Original: http://www.cs.cmu.edu/~ggordon/IRLS-example/

Tato stránka funguje prostřednictvím příklad montáže logistického modelu s algoritmus opakované reweighted nejmenších čtverců (IRLS). Pokud chcete prozkoumat algoritmus podrobněji, zde je příklad použití kódu, Matlab. (Viz také starý kód.) (GPL kódu.) (Aleksandra Seremina laskavě si tuto stránku do rumunštiny.)

Logistického modelu předpovídá binární výstup y z reálných čísel vstupy x podle pravidla:

p(y) = g(x.w)
g(z) = 1 / (1 + exp(-z))

kde w je vektor měnitelných parametrů. To znamená, pravděpodobnost že y = 1 se stanovuje jako lineární funkce x, následovaný nelineární monotónní funkce (tzv. funkce odkaz), která zajišťuje, že pravděpodobnost je mezi 0 a 1. Logistický model je příkladem Zobecněný lineární model nebo GLIM; ostatní GLIMs liší pouze tím, že mají různé odkaz funkce.

IRLS algoritmus je Newtonova metoda použitá pro problém maximalizace pravděpodobnosti některé výstupy y vzhledem k odpovídající vstupy x. To je iterační algoritmus; začíná se hádat v parametru vektor w a při každé iteraci řeší vážených čtverců problém najít nový vektor parametrů.

Zde je příklad logistickou regrese problém s jeden vstup a jeden výstup:

[logistic regression example]

 

Jsme předpokládali druh iris (buď versicolor, I., který jsme kódované jako y = 0 nebo I. virginica, které jsme kódované jako y = 1) z délky jednoho z jeho lístků (na ose x v cm). Kříže jsou naše školení data, která jsou měření lístky kosatce, jejichž druh je znám. Zvětšující křivka je naše předpověď: vzhledem k nové měření petal, jaká je pravděpodobnost, že to přišlo z I. virginica? (Toto není maximální pravděpodobnost predikační křivka, místo je převzat z jednoho z střední iterací IRLS, dříve, než se sblížil.) Ostatní křivka je odhadnutá směrodatná odchylka y. Je-li naše předpokládané pravděpodobnosti p, je naše předpokládané odchylka p(1-p). (Ukazuje se, že, obecně, odchylka se vztahuje k derivaci funkce g'(w.x).) odkaz
V každé iteraci IRLS vytváří a řeší problém vážená lineární regrese, jejichž váhy jsou směrodatné odchylky bodů školení. Zde je příklad takového problému:
[weighted least squares problem]
Přímka je lineární část naší předpovědi; Pokud bychom měli použít odkaz funkce g výška každého bodu na lince, dostaneme predikační křivka na předchozím obrázku. Kříže jsou naše data školení hodnoty x, hodnoty jsou stejné, ale hodnoty y byla upravena procesem níže popsané tak, že leží blíže k přímce.
Upravené y hodnota závisí na několik věcí: původní hodnota y, lineární část naší předpovědi z=x.w, naše předpověď p=g(z) a deriváty v=g'(z). Je dána vzorcem
adjusted_y = z + (y – p) / v
Můžeme interpretovat tento vzorec jako táhnoucí se předpověď chyba (y-p) dle inverzní odchylka: chyby predikce na nižším výsledkovým rozptylem bodů stále důležitější než chyby predikce na vysokou rozptyl bodů. (Tento účinek je zčásti neutralizován tím nižší váhou malým výsledkovým bodů, ale jen částečně.) Můžeme odvodit vzorec nastavením derivát našeho pravděpodobnosti log na nulu a provedením Taylorův rozvoj výsledných rovnic kolem náš současný odhad w; uspořádání pojmů v tomto Taylorův rozvoj přináší řadu normálních rovnic, v nichž jsou závislé proměnné vzhledem k výše uvedeným vzorcem.
Abychom to shrnuli, IRLS algoritmus je Newtonova metoda pro montáž GLIM podle pravděpodobnosti. Opakovaně aktualizuje odhad na vektorový parametr tvoří problém váženou metodou nejmenších čtverců. Hodnoty x, hodnoty v tomto problému WLS jsou převzaty přímo z dat školení; hodnoty y jsou upraveny od přípravy dat dle vzorce; a váhy jsou sqrt(g'(x.w)).

Comments are closed.