Bidireksjonell GRU
En to-lags bidireksjonell GRU med lært attention-pooling over de 21 sekvenssteggene, fusjonert med en 14-dimensjonal sidefeature-MLP. Sterkest av de tre sekvensmodellene på kjønn og alder, likt med LSTM på humør.
Resultater
Slik fungerer det
Hvert steg i den 21-elementers sekvensen projiseres fra 40 dims til d_model=64, deretter kjøres gjennom en 2-lags bidireksjonell GRU (64 skjulte per retning, altså 128 per steg ut). I stedet for å ta den endelige skjulte tilstanden, pooler en lært-query additiv attention de 21 stegutgangene til én 128-dims kontekstvektor. En liten MLP mapper 14 håndlagede sesjonsnivå-sidefeatures til 128 dims; de to 128-vektorene konkateres og skyves gjennom et fusjonsslag før de tre oppgavehodene.
Trent multi-task med vektede BCE + MSE-tap. AdamW med lineær oppvarming og cosinusforfall. Beste valideringsøyeblikksbilde bevares basert på kjønn-BCE.
Konfigurasjon
- d_model64
- Skjult64 per retning, 2 lag
- PoolingLært-query additiv attention over 21 steg
- Sidefeatures14, projisert til 128 og fusjonert
- Parametere179 139
- Dropout0.3
- OptimererAdamW, lr 6e-4, oppvarming 3 epoker, cosinusforfall over 50 epoker
- CV5-fold StratifiedKFold på kjønn, seed 42