Hybrid blend
En meta-learner plassert på toppen av alle andre arkitekturer på leaderboardet. Dens jobb er å svare på ett spørsmål: tilfører sekvensmodellene noe utover trærne? Det ærlige svaret er nei.
Resultater
Slik fungerer det
For hvert mål laster skriptet OOF-prediksjonene fra GBM-stacken, transformeren, BiGRU og LSTM, og prøver tre ulike meta-learners på disse kolonnene: en ikke-negativ L1-minimerer, NNLS (ikke-negative minste kvadrater) og en logistisk / ridge-CV. Den CV-validerte beste av de tre beholdes som det offisielle hybridtallet.
Resultatet er alltid det samme: blenderen lander på GBM-stacken med vekt ~1.0 og tildeler sekvensmodellene i praksis null vekt. På kjønn gjør de små positive vektene den prøver å gi sekvensmodellene faktisk vondt: hybriden lander på 0.875 mot 0.877 for GBM-stacken alene. På alder og humør er den lik GBM-stacken til tredje desimal. Konklusjonen: ved denne datasett-størrelsen konsumerer trærne all signalet sekvensmodellene har.
Konfigurasjon
- BasisprediktorerGBM-stack, transformer, BiGRU, LSTM (4 OOF-kolonner per mål)
- Blendere prøvdL1-minimering, NNLS, logistisk CV (kjønn) / ridge CV (regresjon)
- UtvelgelseBeste hold-out CV-score per mål
- CV5-fold StratifiedKFold (kjønn), KFold (alder, humør), seed 42
- BetingelseIkke-negative vekter, ubegrenset sum