Kan een computer straks het weerbericht schrijven zoals een meteoroloog?

Je luistert naar het weerbericht en verwacht heldere taal: "vanmiddag kans op onweer, temperatuur rond 22 graden." Geen slordige fouten, geen verkeerde cijfers. Maar wat als een computer dat bericht zou schrijven in plaats van een meteoroloog? Een nieuw onderzoek laat zien dat dit nog niet zomaar goed gaat, maar wel steeds beter kan.

In de Verenigde Staten schrijven meteorologen van de nationale weerdienst (NWS) dagelijks zogeheten "Area Forecast Discussions". Dat zijn uitgebreide, technische teksten waarin ze uitleggen wat het weer gaat doen en waarom. Onderzoekers wilden weten of AI-taalmodellen, computerprogramma's die tekst kunnen genereren, dit ook kunnen leren.

Het probleem: computers verzinnen cijfers

Taalmodellen hebben een bekend probleem: ze "hallucineren" soms. Dat betekent dat ze getallen of feiten verzinnen die niet kloppen met de werkelijke data. Bij een weerbericht is dat gevaarlijk: een verkeerde temperatuur of een gemiste stormwaarschuwing kan mensen misleiden.

Om dit te testen, bouwden de onderzoekers een testomgeving genaamd AFDBench. Die bevat 7.732 echte, door meteorologen geschreven weerberichten van 13 verschillende NWS-kantoren, gekoppeld aan de AI-weersvoorspellingen waarop die berichten gebaseerd zijn. Zo kunnen ze precies checken of een AI-tekst klopt met de onderliggende data.

Ze gebruikten drie meetlatten: hoe nauwkeurig de cijfers zijn (Met-Align), hoe goed de tekst klinkt als een professioneel weerbericht (Style-Align), en hoe trouw de tekst blijft aan de brondata (Input-Grounding).

Eerste poging: matig resultaat

Zonder extra training scoorden gangbare open-source taalmodellen slecht op stijl: gemiddeld maar 0,33 op een schaal die tot 1 loopt. Ze schreven dus niet zoals een echte meteoroloog. Op trouw aan de brondata scoorden ze wat beter, rond de 0,88.

Trainen met beloningen werkt

Vervolgens trainden de onderzoekers een taalmodel met een techniek die "Group Relative Policy Optimization" heet. Dat is een vorm van machinaal leren waarbij het model beloningen krijgt voor juiste temperaturen, correcte weerkundige redeneringen en de juiste opmaak.

Het resultaat was duidelijk. Bij een test met 1.033 berichten van twee compleet onbekende weerkantoren, verdubbelde de stijlscore van 0,318 naar 0,619. De trouw aan de brondata steeg van 0,881 naar 0,940. Dit gebeurde met een relatief klein model van 7 miljard parameters, oftewel 7 miljard instelbare "knoppen" waarmee het model leert.

Wat betekent dit (nog) niet: Dit onderzoek is één studie van één onderzoeksteam, gericht op Amerikaanse weerberichten. Het betekent niet dat AI nu al klaar is om zelfstandig officiële weersverwachtingen te schrijven. De scores zijn flink verbeterd, maar nog niet perfect: een Style-Align van 0,619 is nog ver van de maximale score van 1. Er is ook nog geen bewijs dat dit werkt voor andere talen, zoals Nederlands, of voor klimaatcommunicatie op langere termijn.

Wat dit onderzoek wel laat zien: met de juiste training kunnen taalmodellen leren om preciezer en professioneler te schrijven over weer. Dat kan in de toekomst helpen om weerdiensten te ondersteunen, vooral op momenten met veel tegelijk binnenkomende data. Maar de mens blijft voorlopig nodig om de uiteindelijke tekst te controleren.

Bron: AFDBench: A Reasoning-First AI Scientist for National Weather Service Forecast Discussions