Waarom verschillen in leertempo samenwerking kunnen redden
Stel je een groep mensen voor die allemaal even snel leren van hun fouten. Je zou denken dat dat alleen maar voordelen heeft. Een nieuwe computersimulatie laat iets opvallends zien: juist wanneer iedereen even snel leert, eindigt de groep in puur egoïstisch gedrag. Pas als er verschil zit in leertempo, ontstaat er blijvende samenwerking.
Onderzoekers bestudeerden dit met een bekend gedachte-experiment uit de speltheorie: het herhaalde gevangenendilemma. Twee spelers kiezen steeds opnieuw of ze samenwerken of elkaar bedriegen. Samenwerken levert op de lange termijn het meeste op voor beide spelers samen, maar bedriegen levert op korte termijn meer op voor jezelf. Dat spanningsveld zie je ook in de natuur, bijvoorbeeld bij dieren die voedsel delen of elkaar helpen met verzorgen.
De spelers in deze studie gebruikten zogeheten "reactieve strategieën". Dat betekent dat hun gedrag afhangt van wat de tegenstander net deed, met twee eigenschappen: wederkerigheid (hoe vaak je terug samenwerkt als de ander samenwerkte) en vergevingsgezindheid (hoe vaak je toch samenwerkt nadat de ander je bedroog). Elke speler past zijn eigen strategie steeds een beetje aan, in de richting die voor hemzelf het meeste oplevert. Dat heet leren via "gradient ascent": kleine stapjes zetten in de richting van meer eigen winst. Hoe groot die stapjes zijn, hangt af van de leersnelheid van de speler.
Wanneer alle spelers dezelfde leersnelheid hadden, eindigde de groep steevast bij "altijd bedriegen" (ALLD): niemand werkt nog samen. Maar bij spelers met uiteenlopende leersnelheden, ontstond juist iets heel anders: de groep bewoog naar een strategie die lijkt op "tit-for-tat met een vriendelijk randje" (GTFT), waarbij spelers bijna optimaal voor elkaar presteren, terwijl ze toch af en toe fouten vergeven.
De verklaring zit in een tussenfase die elke simulatie doormaakt. Op een gegeven moment zakt de vergevingsgezindheid van iedereen bijna naar nul. Op dát kritieke moment bepaalt de hoeveelheid wederkerigheid in de groep of samenwerking overleeft of instort. Langzame leerders houden hun wederkerigheid langer hoog en trekken zo de hele groep mee richting samenwerking, precies op het moment dat het ertoe doet. De onderzoekers konden zelfs wiskundig bewijzen onder welke voorwaarden een groep bij "altijd bedriegen" uitkomt en wanneer bij blijvende samenwerking.
Nog opvallender: een groep met gevarieerde leersnelheden kan zich herstellen nadat samenwerking is verstoord, bijvoorbeeld door een verstoring van buitenaf. Bij een groep met allemaal dezelfde leersnelheid is zo'n herstel bewijsbaar onmogelijk.
Wat betekent dit (nog) niet: Dit is een wiskundige simulatie met één specifiek leermodel (gradient ascent) en één specifiek type strategie (reactieve strategieën). Het laat zien dat dit mechanisme kan werken onder deze aannames, niet dat het dé verklaring is voor samenwerking bij mensen of dieren in de echte wereld. De onderzoekers trekken zelf ook geen directe conclusies over menselijk gedrag, dus dat doen wij ook niet.
Het resultaat is wel interessant omdat het laat zien dat puur zelfzuchtig, kortzichtig leren niet per se tot egoïsme hoeft te leiden. Variatie, iets wat we vaak als "ruis" of imperfectie zien, kan juist een voorwaarde zijn voor duurzame samenwerking. Dat idee kan relevant worden voor onderzoek naar hoe samenwerking evolueert, en mogelijk ook voor het ontwerpen van lerende algoritmes die met elkaar moeten samenwerken.
Bron: Multi-Agent Learning of Reactive Strategies in Iterated Games