Welke weersvoorspelling is echt de beste? De manier van meten maakt verschil
Je ziet vaak verschillende weerapps met net iets andere voorspellingen. Welke moet je geloven? Onderzoekers ontdekten dat het antwoord ook afhangt van hóe je die voorspellingen met elkaar vergelijkt, niet alleen van welke computer ze maakte.
Weersvoorspellingen, zeker voor extreem weer zoals zware storm of hitte, worden vaak getest met twee soorten grafieken: de ROC-curve en de PR-curve. Dit zijn wiskundige hulpmiddelen die laten zien hoe goed een voorspelmethode onderscheid maakt tussen "er komt extreem weer" en "er komt geen extreem weer". Hoe hoger de curve, hoe beter de voorspelling.
Het probleem zit in de details. Weersvoorspellingen gaan over hele kaarten, met duizenden locaties tegelijk. Voor elke plek afzonderlijk kun je zo'n curve maken, maar om al die informatie behapbaar te maken, worden de curves van alle locaties samengevoegd tot één gemiddelde curve. Precies dat samenvoegen bleek tot nu toe nauwelijks onderzocht.
Verschillende rekenmethodes, verschillende winnaars
Een onderzoeksteam bekeek meerdere manieren om die locatie-curves samen te voegen. Ze ontdekten dat de keuze voor een bepaalde samenvoegmethode kan bepalen welke voorspelmethode als "beste" uit de test komt. Bij één manier van samenvoegen wint voorspelmethode A, bij een andere manier wint juist methode B, terwijl de onderliggende voorspellingen exact hetzelfde blijven.
De onderzoekers testten hun bevindingen met echte data: voorspellingen van AI-modellen die het weer wereldwijd berekenen. Deze AI-modellen worden steeds vaker gebruikt naast traditionele weermodellen, en concurreren onderling om de titel "meest nauwkeurig". Het onderzoek laat zien dat die rangschikking dus minder vaststaat dan je zou denken.
Om dit probleem aan te pakken, formuleerden de onderzoekers twee eigenschappen waaraan een goede samenvoegmethode zou moeten voldoen. Ten eerste: als voorspelling A overal beter is dan voorspelling B, moet dat ook na samenvoeging nog zo zijn. Ten tweede: de vorm van de samengevoegde curve moet wiskundig kloppen, zodat je hem correct kunt interpreteren. Op basis daarvan stellen ze twee nieuwe samenvoegmethodes voor die wél aan deze eisen voldoen, en vergelijken die met bestaande methodes uit eerder onderzoek.
Wat betekent dit (nog) niet: Dit onderzoek zegt niets over welk specifiek weermodel nu daadwerkelijk het beste is. Het gaat over de meetmethode zelf, niet over een winnaar tussen bestaande voorspelsystemen. Ook is dit geen oproep om aan bestaande weerwaarschuwingen te twijfelen: het onderzoek richt zich op hoe wetenschappers modellen onderling vergelijken, niet op de betrouwbaarheid van de waarschuwingen die je nu al krijgt.
Voor meteorologen en de bedrijven die AI-weermodellen ontwikkelen, is dit relevant nieuws. Als studies met verschillende samenvoegmethodes werken, kunnen ze tot tegenstrijdige conclusies komen over welk model het beste extreme weer voorspelt. De onderzoekers geven daarom praktische richtlijnen mee: let bij het lezen van vergelijkende studies op welke samenvoegmethode is gebruikt, want dat kan de uitkomst kleuren.
Voor de gewone weerapp-gebruiker verandert er vandaag niets. Maar de manier waarop wetenschappers in de toekomst modellen testen en vergelijken, kan hierdoor eerlijker en consistenter worden.
Bron: Spatial Aggregation of ROC and Precision-Recall Curves