AI arkitekturer

Leaderboard

Om tallene. Arkitektur-radene er 5-fold kryss-validering på det opprinnelige 2020-datasettet, som er ungt, og farge forutsier kjønn sterkest hos små barn. Lang test-visningen (og de nyeste live-dataene) måles på dagens deltakere, som nesten alle er voksne og skjevt mot menn, en gruppe der fargesmak avslører langt mindre om kjønn. De lavere tallene for lang test er derfor et vanskeligere og mer representativt testsett, ikke en dårligere modell. På den samme voksne gruppen slår den lange testen fortsatt den korte, vist av referanseraden "kort modell, samme folk" i lang test-visningen.

Hvordan dette måles. Produksjonsradene måles på et fast hold-ut-sett valgt ved en hash av innholdet i hver økt, slik at de samme personene holdes utenfor ved hver ny trening og versjonene forblir direkte sammenlignbare. Omtrent en fjerdedel av alle øktene viste seg å være nøyaktige duplikater (samme undersøkelse sendt inn flere ganger); disse fjernes nå før trening, og den gamle tilfeldige splitten som lot duplikater ligge i både trenings- og testsettet er erstattet. Eldre versjoner med lekkasje ble fjernet fordi de var målt på den gamle måten og leste høyere enn disse tallene uten lekkasje. Arkitektur-radene fra 2020 over er fra før de samme rettelsene, så de leser også optimistisk. Tallene her er lavere fordi de er ærlige, ikke fordi modellen er dårligere.

Fargevalg-modeller

treffrate = hvor ofte modellens høyest skårede farge matcher menneskets valg tilfeldig = 0.25 (en av fire) lekkasjeport bør ligge nær tilfeldig fargevalg målt på utholdte verdensøkter (kort v1.7+, lang v1.8+)

Sist oppdatert: 2026-07-06. Lenkede arkitekturnavn åpner en per-modell-detaljside i models/. 441-feature-engineering-rørledningen er dokumentert på info/features.html. Kjønnsmesteren legger til 33 perseptuelle ekstra pluss 5 mål-enkodede fargebucket-skårer – se LightGBM + bucket-skårer for konstruksjonen.

Metode

• Datasett6 710 rensede sesjoner, den samme eksporten 2020 dybdeside-siden bruker
• Målkjønn (binær), alder (regresjon, 6 til 68), humør (regresjon, 0 = glad, 60 = trist)
• Validering5-fold kryss-validering, StratifiedKFold for kjønn, KFold for alder og humør (sekvensmodeller stratifiserer på kjønn for multi-task-oppsettet)
• MetrikkROC-AUC for kjønn, gjennomsnittlig absolutt feil for de to regresjonstallene
• Seed42 overalt
• FeaturesTremodeller bruker den 441-feature-konstruerte vektoren (forklart her). Sekvensmodeller leser den rå 21-stegs per-spørsmål-strømmen slik at de kan lære sin egen representasjon
• Meta-blendLogistisk regresjon for kjønnsstakken; ikke-negativ L1-tapminimering for alder- og humørstakkene slik at mediankalibrerte baselearners ikke dras mot det betingede gjennomsnittet av en ridge-fitting

Ville mer data bryte 0.9 på kjønn?

Tilfeldig 5-fold CV hadde alle kjønnsmodelleringsarkitekturer kjørende fast rundt 0.88 AUC, noe som fikk datasettet til å virke signalbundet snarere enn modellbundet. Et nytt forsøk på kjønnsmodellering – LAB-målkoding, per-spørsmål "mest-feminin-av-4" besluttsomhets-features, multi-familie bag av LightGBM + XGBoost + CatBoost med en logistisk stacker – landet på det samme 0.882 OOF AUC. For å finne ut om 6 710 sesjoner faktisk er nok, holdt jeg ut det samme stratifiserte 710-rads tilfeldige utvalget som produksjonstreneren bruker som evalueringssett, og refittet den leaderboard-vinnende LightGBM + bucket-skårer-modellen ved økende brøkdeler av den gjenværende 6 000-sesjons-treningspoolen: 500, 1 000, 1 500, ..., 6 000 sesjoner, fem tilfeldige stratifiserte-på-kjønn delutvalg per størrelse.

Validering er det samme stratifiserte tilfeldige hold-out som produksjonsraden bruker, slik at kurvens høyeste punkt er direkte sammenlignbart med den utrullede modellen. Gjennomsnittlig AUC klatrer bratt fra 0.79 ved n=500, krysser 5-fold CV-mesteren (0.881) rundt n=5 000, og når 0.885 ved n=6 000 – fremdeles stigende, men stigningstallet har avtatt fra ~+0.03 per 1 000 sesjoner tidlig i kurven til ~+0.005 per 1 000 mot slutten. Lineær ekstrapolasjon antyder at ytterligere 2 000–3 000 sesjoner ville bringe overskriften til 0.90 hvis stigningstallet holder seg, men kurvens form levner rom for at modellen kan nå et platå tidligere. Uansett er signalet ikke uttømt ennå: mer data gir fremdeles ærlig AUC.

Hvorfor så mange arkitekturer

Tabellbasert gradient boosting vinner nesten alltid på små strukturerte data, og color polygraph er små strukturerte data. Transformeren og de rekurrente modellene er der for å teste om per-spørsmåls-rekkefølgen og tidsstyringen bærer et signal som de konstruerte featurene taper. Svaret er foreløpig stort sett nei: alle sekvensmodeller mister 6 til 9 AUC-poeng på kjønn og 2 til 3 MAE-poeng på alder, og hybriden som blander OOF- prediksjonene deres med GBM-stakken lander med vekt ~1.0 på trærne og ~0 på resten.

Hver kolonne har nå en annen vinner. Det fulle stakkede ensemblet eier fremdeles det vanskeligste målet (aldersregresjon). Den billig-tunede standard enkelt-LightGBM er best på humør, fordi tilfeldig søk overfitter på et lavt-signal-mål. En enkelt LightGBM med 33 perseptuelle ekstra pluss 5 mål-enkodede fargebucket-skårer utkonkurrerer alle andre arkitekturer på kjønn. Bucket-skårene er den store gevinsten: et 512-cellers RGB-gitter der hver celle holder et gjennomsnittlig "femininitet" / "maskulinitet"-delta beregnet over treningsbrukere, slått opp trilineært per valg. Det signerte totalet av disse oppslagene blir den enkelt-feature med høyest gain i hele vektoren.

Basislinjemodellene finnes for å holde resten av leaderboardet ærlig. Hvis en logistisk regresjon kommer innen ett prosentpoeng av det stakkede ensemblet, tjener ikke ensemblet sin plass. Her tjener det fulle ensemblet omtrent 0.3 AUC, 0.5 MAE på alder og 0.15 MAE på humør over de håndtunte basislinjemodellene – en reell men beskjeden gevinst.

Prosjektlenker