Nieuwe testset moet weersvoorspellingen eerlijker vergelijken
Je checkt 's ochtends de weer-app. "40% kans op regen" staat er. Maar hoe weet je eigenlijk of zo'n voorspelling goed is? Dat is lastiger te controleren dan je zou denken, en juist daar zit een probleem waar wetenschappers nu aan werken.
Weersvoorspellingen worden steeds vaker gemaakt met kunstmatige intelligentie (AI), naast de traditionele methode waarbij natuurkundige modellen de atmosfeer doorrekenen. Beide soorten voorspellingen geven vaak een kans aan, in plaats van een simpel "het gaat regenen" of "het blijft droog". Om te bepalen welke methode betrouwbaarder is, moet je die kansvoorspellingen kunnen testen en vergelijken. Daarvoor bestaan verificatiemethodes: rekenmodellen die nagaan hoe goed een voorspelling uiteindelijk uitkwam.
Het probleem is dat er veel verschillende verificatiemethodes bestaan, en niemand weet goed hoe ze zich onderling verhouden. Werkt de ene methode beter bij een scherpe overgang tussen zon en regen, zoals bij een front? En een andere juist beter bij ruis, dus bij kleine, onvoorspelbare schommelingen in de data?
Een onderzoeksteam heeft nu een nieuwe testset gemaakt om dit soort vragen te beantwoorden. Het gaat om een verzameling kunstmatig gemaakte, vereenvoudigde weerpatronen in één dimensie, dus als het ware langs een enkele lijn in plaats van over een heel gebied. Deze patronen zijn met opzet simpel gehouden, zodat onderzoekers precies weten wat de "juiste" uitkomst is. Zo kunnen ze testen of een verificatiemethode dat goed herkent.
De dataset bevat een breed scala aan situaties: constante patronen, gebeurtenissen die maar op één plek optreden, geleidelijke overgangen, scherpe fronten, ruizige data, patronen met twee pieken tegelijk (bimodaal), en extreme grensgevallen. De bijbehorende programmeercode is flexibel opgezet, zodat andere onderzoekers zelf nieuwe varianten kunnen toevoegen.
Dit is nog maar het eerste onderdeel van een groter project, genaamd Bridging The Gap. Dat project wil uiteindelijk een uitgebreidere vergelijkingsdataset opleveren, specifiek gericht op het testen van verificatiemethodes die ook rekening houden met plaats en ruimte, niet alleen met tijd.
Wat betekent dit (nog) niet: Deze dataset zegt niets over welke weersvoorspelling nu beter is, AI-modellen of traditionele modellen. Het is puur gereedschap om de manier waarop we voorspellingen beoordelen te verbeteren. Er is ook nog geen daadwerkelijke vergelijking gemaakt tussen bestaande verificatiemethodes, dat moet nog gebeuren met behulp van deze dataset. Bovendien gaat het om vereenvoudigde, eendimensionale voorbeelden, terwijl echte weersvoorspellingen over grote, complexe gebieden gaan.
Voor de gewone weer-app-gebruiker verandert er dus voorlopig niets direct. Maar op de langere termijn kan beter gereedschap om voorspellingen te testen, leiden tot betrouwbaardere weersverwachtingen, zowel bij hevige regen als bij warme of koude fronten.
Bron: A dataset of one-dimensional idealized probabilistic fields