AI-weermodellen voorspellen goed, maar begrijpen het weer niet altijd goed
Je kent het vlindereffect vast wel: het idee dat de klapwiekende vleugels van een vlinder ergens anders op de wereld een storm kunnen veroorzaken. Het is een beeldspraak voor iets heel echts in de natuurkunde van ons weer. Kleine verstoringen groeien uit tot grote weersveranderingen. Nieuw onderzoek laat zien dat de nieuwste AI-modellen voor weersvoorspelling dit proces niet goed nabootsen, ook al geven ze wel kloppende voorspellingen.
Traditionele weermodellen berekenen het weer met natuurkundige wetten: luchtdruk, wind, temperatuur en hoe die op elkaar inwerken. De laatste jaren zijn er AI-modellen bijgekomen die het weer voorspellen op basis van patronen die ze herkennen in enorme hoeveelheden data, zonder alle natuurkunde expliciet te programmeren. Deze modellen zijn verrassend goed en soms zelfs sneller en nauwkeuriger dan de klassieke modellen.
Onderzoekers bekeken vier van deze AI-modellen: NeuralGCM-ENS, FourCastNet 3, AIFS-ENS en GenCast. Ze vergeleken die met IFS-ENS, een gevestigd natuurkundig model. Ze keken specifiek naar hoe bewegingsenergie (de energie die in wind en luchtstromingen zit) zich verplaatst tussen verschillende schaalgroottes van het weer, van kleine lokale windvlagen tot grote stormsystemen.
In de echte atmosfeer stroomt energie normaal gesproken van kleine schaal naar grote schaal: kleine windwervelingen voeden uiteindelijk grotere stormsystemen. Dit heet 'opwaartse energieoverdracht'. Van de vier AI-modellen lukte het alleen NeuralGCM-ENS om dit proces goed na te bootsen. Wel onderschatte dit model de energie op middelgrote schaal, doordat het willekeurige verstoringen (nodig om onzekerheid in te bouwen) op een bepaald punt in het model toevoegt.
De andere drie modellen, AIFS-ENS, GenCast en FourCastNet 3, gaven wel realistische energiehoeveelheden, maar misten die opwaartse overdracht juist. Bij AIFS-ENS en GenCast zag het onderzoeksteam zelfs een opeenhoping van energie op de kleinste schaalgroottes, waar dat volgens de natuurkunde niet zou moeten gebeuren.
Een belangrijk detail: alle vier de AI-modellen laten wel zien dat voorspelfouten na verloop van tijd groter worden en zich uitbreiden naar grotere schaalgroottes, wat je zou verwachten. Maar ze hebben moeite om de snelle, beginnende groei van kleine onzekerheden op kleine schaal na te bootsen, precies het mechanisme achter het vlindereffect.
Wat betekent dit (nog) niet: Dit betekent niet dat AI-weermodellen slecht zijn of minder betrouwbaar. Ze geven op dit moment al bewezen goede voorspellingen. Het onderzoek laat vooral zien dat de manier waarop deze modellen tot hun voorspellingen komen, niet altijd overeenkomt met hoe de atmosfeer daadwerkelijk werkt. Dat kan belangrijk worden bij langere voorspellingen of bij extreme situaties, waar dit soort onderliggende processen meer invloed hebben. Het is bovendien één onderzoek naar vier specifieke modellen, geen definitief oordeel over alle AI-weersvoorspellingen.
Voor de gewone weerbericht-kijker verandert er voorlopig niets: de voorspelling voor morgen of komend weekend blijft net zo bruikbaar. Voor wetenschappers is dit onderzoek wel een signaal dat er nog werk te doen is voordat AI-modellen de natuurkunde van de atmosfeer volledig kunnen vervangen, vooral als het gaat om voorspellingen die verder vooruitkijken of om het inschatten van extreem weer.