Transformer enkoder
En liten transformer-enkoder som leser den 21-stegs per-spørsmål-sesjonen som en sekvens. I teorien den mest fleksible arkitekturen på leaderboardet. I praksis taper den mot både BiGRU og LSTM på kjønn – sannsynligvis fordi 6 710 sesjoner er under det regimet der transformere begynner å lønne seg.
Resultater
Slik fungerer det
Hver sesjon blir en sekvens på 21 steg – 16 runde-1-elimineringsspørsmål, 4 runde-2-spørsmål og 1 siste valg. Hvert steg er en 40-dims vektor med de fire tilbudte fargene (RGB + HSL), den valgte fargen, en one-hot posisjonsindikator, tidsdelta per steg og en stegtypeindikator. Et lært [CLS]-token settes foran; enkoderutgangen ved den posisjonen blir sesjonsoppsummeringen. 14 sidefeatures (total tid, time på dagen, gjennomsnittlig spørsmålstid, osv.) konkateres med [CLS]-utgangen før de tre hodene.
Trent felles med et multi-task-tap (binær kryssentropy på kjønn, skalert MSE
på alder og humør). Beste øyeblikksbilde velges på validerings-kjønn-BCE.
Leser rå save.ligma og parser den direkte slik at den ikke er
avhengig av den ingeniørlagde featurevektoren.
Konfigurasjon
- d_model64
- Enkorderlag3
- Attention-hoder4
- FFN-størrelse128
- Dropout0.2
- Sesjonstokenlært [CLS]
- Sidefeatures14, fusjonert etter enkoderen
- OptimererAdamW, oppvarming + cosinusforfall
- CV5-fold StratifiedKFold på kjønn, seed 42