Språkklassificering av Myers-Briggs del 5: Slutsats; Jung var nåt på spåren, men…

Del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 2:  En lömsk bugg och stora förbättringar!

Del 3: Toppresultat med två klasser!

Del 4 : För bra för att vara sant, tyvärr

Del 6: Postmodern kritik

Det är mycket svårt att dra några långtgående slutsatser av resultaten bortom det uppenbara, det vill säga att för just detta dataset, bearbetat på just detta sätt, insamlat på just detta sätt och klassificerat med just uClassify.coms konstfullt tweakade Naiva-Bayesiska klassificerare så fick vi ut dessa mätvärden. Den tråkiga, men nödvändiga, delen av vetenskaplighet. Min tolkning av de faktiska resultaten är de visar att det faktiskt ligger något i Jungs teori om personlighetstyper. 57-58% pricksäkerhet att förutspå kognitiv funktion är trots allt bättre än den 50% slumpen. Det finns en signal i bruset, om än svag. Fortsätt läsa ”Språkklassificering av Myers-Briggs del 5: Slutsats; Jung var nåt på spåren, men…”

Språkklassificering av Myers-Briggs del 4: för bra för att vara sant, tyvärr

Sämre resultat
Läs även del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 2:  En lömsk bugg och stora förbättringar!

Del 3: Toppresultat med två klasser!

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

Det är svårt att se sina egna misstag i sin egen kod. Därför är det viktigt att låta en extern person verifiera resultaten. Helst inte bara genom att köra koden, utan genom att skriva helt ny kod från grunden och använda samma data. Det tog inte lång tid för min ypperliga externa verifierare Micke ”falköga” Huss att försynt konstatera att han inte fick samma resultat som jag när han testkörde. Han rekommenderade mig framförallt att spara träningsdatan och utvärderingssdatan i två helt separata filer, därefter läsa in dem separat och i kod tydligt bevisa att de inte finns nån överlappning mellan dem som skevar resultatet.

Eftersom min egen kod var svårbegriplig även för mig själv beslöt jag att själv skriva helt ny och förhoppningsvis lättbegripligare kod som följde hans rekommendationer och si! Jag hade blandat tränings- och utvärderingsdata och fått på tok för höga resultat. Från en tidigare pricksäkerhet på 87 procent visade det sig att pricksäkerheten i själva verket var knappa 56 procent. Fortsätt läsa ”Språkklassificering av Myers-Briggs del 4: för bra för att vara sant, tyvärr”

Språkklassificering av Myers-Briggs del 3: toppresultat med två klasser!

classification report perceiving
Läs även del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 2:  En lömsk bugg och stora förbättringar!

Del 4: För bra för att vara sant, tyvärr

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

Min första tanke efter det klena resultatet i det initiala experimentet (se del 1) var att testa två klassificerare istället för en som jag gjorde då.  Jungs fyra kognitiva funktioner är i hans typteori uppdelade i två helt olika användningsområden, hur en tar in information och hur en drar slutsatser av dem.  Utöver att ta en till vända med att granska processen för datatvätt- och städ som i förra bloggposten (se del 2) visat sig innehålla misstag, har jag nu brutit upp språkklassificeringen på två separata klassificerare. Resultaten med två klassificerare är riktigt bra! Fortsätt läsa ”Språkklassificering av Myers-Briggs del 3: toppresultat med två klasser!”

Språkklassificering av Myers-Briggs del 2: en lömsk bugg och stora förbättringar!

del 2 SNTF-klassificerare utvärdering
Läs även del 1:  Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Del 3: Toppresultat med två klasser!

Del 4: För bra för att vara sant, tyvärr

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

För ett par dagar sen publicerade jag ett inledande experiment med språkklassificering av Jungiansk/Myers-Briggs personlighetstyp från bloggtext insamlade via typealyzer.com. Utvärderingen av den Naiva-Bayesiska klassificeraren skapad på uClassify.com gav en precision på 0,27 och en recall på 0,27. Vi återvänder till de vad de siffrorna betyder. I den här posten kommer vi se att de siffrorna förbättrats betydligt, genom klassisk avlusning av kod. Fortsätt läsa ”Språkklassificering av Myers-Briggs del 2: en lömsk bugg och stora förbättringar!”

Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?

Detta är del 1 i en serie experiment jag publicerar löpande. 

Del 2: en lömsk bugg och stora förbättringar!

Del 3: Toppresultat med två klasser!

Del 4: För bra för att vara sant, tyvärr

Del 5: Jung var nåt på spåren, men...

Del 6: Postmodern kritik

2008 skapade jag och Jon Kågström en gratistjänst för automatisk klassificering av Myers-Briggs typ av bloggar som heter typealyzer.com. Sedan starten har sidan haft närmare en halv miljon unika besökare. I Augusti 2012 införde vi möjligheten för besökarna att berätta om den automatiska klassificeringen stämde genom att uppge sin Myers-Briggstyp. Nyligen laddade jag ner den survey-datan och det visade sig att 27,959 svar hade inkommit! Jag hade klentroget sagt till Jon att vi väntar tills vi fått in 2000 svar, en siffra som verkade helt osannolik när vi började – sen gick åren och jag mer eller mindre glömde bort filen. Tills nu. Fortsätt läsa ”Kan man förutsäga Myers-Briggs personlighetstyp från bloggtexter?”