Stablet GBM-ensemble
Fem gradient-boosting-familier – LightGBM, XGBoost, CatBoost, HistGradientBoosting og ExtraTrees – hver med sitt eget tilfeldige søk, deretter blandes topp-K out-of-fold-prediksjoner fra hver familie av en meta-learner. Beste skår på alle kolonner i leaderboardet.
Resultater
Slik fungerer det
Hver basisfamilie får et tilfeldig søk over et stort hyperparameterrom (learning rate, tredybde, regularisering, kolonne-subsampling og mer). For hvert forsøk gjør skriptet en full 5-fold CV på den 441-feature-konstruerte vektoren og lagrer out-of-fold-prediksjonene i en CSV. Når alle forsøk er ferdige, refitttes topp-K konfigurasjoner per familie (slik at vi har en OOF-prediksjonstabell per topp-K-modell) og stables med en meta-learner.
Meta-learneren gjør stille mye arbeid. For kjønn er det en logistisk regresjon med intern CV over regulariseringsstyrken. For regresjonshodene er det et ikke-negativt blenderi som minimerer L1-tap. Opprinnelig var dette en RidgeCV, som stille blåste alder-MAE fra 6.61 til 7.43: base-LightGBM- og XGBoost-modellene ble trent med et MAE-formål, slik at OOF-prediksjonene deres er betingede medianer, og et minste-kvadraters-fit dro blenden mot det betingede gjennomsnittet. Bytte til en L1-meta-learner gjenvant de manglende 0.8 MAE.
Konfigurasjon
- Feature-vektor441 konstruerte features per sesjon (full oversikt)
- BasisfamilierLightGBM, XGBoost, CatBoost, HistGradientBoosting, ExtraTrees
- Forsøk (kjønn)578 LightGBM + 250 XGBoost + 28 CatBoost forsøk
- Forsøk (alder)40 LightGBM + 30 XGBoost + 8 HistGradientBoosting forsøk
- Forsøk (humør)30 LightGBM + 20 XGBoost forsøk
- Topp-K per familie5 LGB, 4 XGB, 3 CAT, 3 HGB, 2 ET
- Meta-learnerLogisticRegressionCV (kjønn) · ikke-negativ L1-minimering (alder, humør)
- CV5-fold StratifiedKFold for kjønn, 5-fold KFold for alder og humør, seed 42