LightGBM tilfeldig søk
Single-family LightGBM tunet med tilfeldig søk. Trener på minutter, kommer innen 0.002 AUC av den fulle stakkede ensemblen på kjønn, og er riktig svar når du ikke vil håndtere fem separate gradient boosting-biblioteker.
Resultater
Slik fungerer det
Tallet rapportert her er den beste enkelt-LightGBM-konfigurasjonen av de 300 forsøkene i det tilfeldige LGB-søket GBM-stacken allerede kjører, refittet med samme 5-fold CV slik at OOF-prediksjonene er ærlige. Søkerommet dekker learning rate, antall blader, max dybde, regularisering (L1 / L2 / min split gain), kolonne- og rad-subsampling og n_estimators-budsjettet.
Den interessante observasjonen er at for humør-hodet taper det tilfeldige søket faktisk mot en håndplukket standardkonfigurasjon (8.85 MAE). 30 forsøk er ikke alltid nok til å slå et godt utgangspunkt på et vanskelig mål.
Konfigurasjon
- FamilieKun LightGBM
- Objektivbinary (kjønn) · regression_l1 / MAE (alder, humør)
- Søkestørrelse300 tilfeldige prøver per mål (fra GBM-stack-søket)
- RapporteringBeste enkelt-konfigurasjon, refittet under felles CV
- CV5-fold, seed 42