Språkklassificering av Myers-Briggs del 4: för bra för att vara sant, tyvärr

Sämre resultat
Läs även del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 2:  En lömsk bugg och stora förbättringar!

Del 3: Toppresultat med två klasser!

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

Det är svårt att se sina egna misstag i sin egen kod. Därför är det viktigt att låta en extern person verifiera resultaten. Helst inte bara genom att köra koden, utan genom att skriva helt ny kod från grunden och använda samma data. Det tog inte lång tid för min ypperliga externa verifierare Micke ”falköga” Huss att försynt konstatera att han inte fick samma resultat som jag när han testkörde. Han rekommenderade mig framförallt att spara träningsdatan och utvärderingssdatan i två helt separata filer, därefter läsa in dem separat och i kod tydligt bevisa att de inte finns nån överlappning mellan dem som skevar resultatet.

Eftersom min egen kod var svårbegriplig även för mig själv beslöt jag att själv skriva helt ny och förhoppningsvis lättbegripligare kod som följde hans rekommendationer och si! Jag hade blandat tränings- och utvärderingsdata och fått på tok för höga resultat. Från en tidigare pricksäkerhet på 87 procent visade det sig att pricksäkerheten i själva verket var knappa 56 procent. Fortsätt läsa ”Språkklassificering av Myers-Briggs del 4: för bra för att vara sant, tyvärr”

Språkklassificering av Myers-Briggs del 3: toppresultat med två klasser!

classification report perceiving
Läs även del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 2:  En lömsk bugg och stora förbättringar!

Del 4: För bra för att vara sant, tyvärr

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

Min första tanke efter det klena resultatet i det initiala experimentet (se del 1) var att testa två klassificerare istället för en som jag gjorde då.  Jungs fyra kognitiva funktioner är i hans typteori uppdelade i två helt olika användningsområden, hur en tar in information och hur en drar slutsatser av dem.  Utöver att ta en till vända med att granska processen för datatvätt- och städ som i förra bloggposten (se del 2) visat sig innehålla misstag, har jag nu brutit upp språkklassificeringen på två separata klassificerare. Resultaten med två klassificerare är riktigt bra! Fortsätt läsa ”Språkklassificering av Myers-Briggs del 3: toppresultat med två klasser!”

Språkklassificering av Myers-Briggs del 2: en lömsk bugg och stora förbättringar!

del 2 SNTF-klassificerare utvärdering
Läs även del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 3: Toppresultat med två klasser!

Del 4: För bra för att vara sant, tyvärr

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

För ett par dagar sen publicerade jag ett inledande experiment med språkklassificering av Jungiansk/Myers-Briggs personlighetstyp från bloggtext insamlade via typealyzer.com. Utvärderingen av den Naiva-Bayesiska klassificeraren skapad på uClassify.com gav en precision på 0,27 och en recall på 0,27. Vi återvänder till de vad de siffrorna betyder. I den här posten kommer vi se att de siffrorna förbättrats betydligt, genom klassisk avlusning av kod. Fortsätt läsa ”Språkklassificering av Myers-Briggs del 2: en lömsk bugg och stora förbättringar!”