Wiskundige paradoxen tonen de grenzen van AI

Mensen zijn meestal redelijk goed in het herkennen wanneer ze iets fout doen, maar kunstmatige-intelligentie systemen zijn dat niet. Volgens een nieuwe studie lijdt AI over het algemeen aan inherente beperkingen als gevolg van een eeuwenoude wiskundige paradox.

Net als sommige mensen hebben AI-systemen vaak een mate van vertrouwen die hun werkelijke capaciteiten ver te boven gaat. En net als een overmoedig persoon, weten veel AI-systemen niet wanneer ze fouten maken. Soms is het voor een AI-systeem nog moeilijker om te beseffen wanneer het een fout maakt dan om een ​​correct resultaat te produceren.

Onderzoekers van de Universiteit van Cambridge en de Universiteit van Oslo zeggen dat instabiliteit de achilleshiel is van moderne AI en dat een wiskundige paradox de beperkingen van AI aantoont. Neurale netwerken, het ultramoderne hulpmiddel in AI, bootsen ruwweg de verbindingen tussen neuronen in de hersenen na. De onderzoekers laten zien dat er problemen zijn waar stabiele en nauwkeurige neurale netwerken bestaan, maar geen enkel algoritme kan zo’n netwerk produceren. Alleen in specifieke gevallen kunnen algoritmen stabiele en nauwkeurige neurale netwerken berekenen.

De onderzoekers stellen een classificatietheorie voor die beschrijft wanneer neurale netwerken kunnen worden getraind om onder bepaalde specifieke voorwaarden een betrouwbaar AI-systeem te bieden. Hun resultaten worden gerapporteerd in de Proceedings van de National Academy of Sciences .

Deep learning, de toonaangevende AI-technologie voor patroonherkenning, is het onderwerp geweest van talloze ademloze krantenkoppen. Voorbeelden zijn het nauwkeuriger diagnosticeren van ziekten dan artsen of het voorkomen van verkeersongevallen door autonoom rijden. Veel deep learning-systemen zijn echter onbetrouwbaar en gemakkelijk voor de gek te houden.

“Veel AI-systemen zijn onstabiel en het wordt een groot probleem, vooral omdat ze steeds vaker worden gebruikt in gebieden met een hoog risico, zoals ziektediagnose of autonome voertuigen”, zegt co-auteur professor Anders Hansen van Cambridge’s Department of Applied Mathematics and Theoretical Physics. . “Als AI-systemen worden gebruikt in gebieden waar ze echte schade kunnen aanrichten als ze fout gaan, moet vertrouwen in die systemen de hoogste prioriteit hebben.”

De door de onderzoekers geïdentificeerde paradox gaat terug op twee 20e-eeuwse wiskundige reuzen: Alan Turing en Kurt Gödel. Aan het begin van de 20e eeuw probeerden wiskundigen wiskunde te rechtvaardigen als de ultieme consistente taal van de wetenschap. Turing en Gödel toonden echter een paradox in het hart van de wiskunde: het is onmogelijk om te bewijzen of bepaalde wiskundige uitspraken waar of onwaar zijn, en sommige rekenproblemen kunnen niet worden aangepakt met algoritmen. En wanneer een wiskundig systeem rijk genoeg is om de rekenkunde die we op school leren te beschrijven, kan het zijn eigen consistentie niet bewijzen.

Decennia later stelde de wiskundige Steve Smale een lijst voor van 18 onopgeloste wiskundige problemen voor de 21e eeuw. Het 18e probleem betrof de grenzen van intelligentie voor zowel mens als machine.

“De paradox die voor het eerst werd geïdentificeerd door Turing en Gödel, is nu door Smale en anderen naar voren gebracht in de wereld van AI”, zegt co-auteur dr. Matthew Colbrook van de afdeling Toegepaste Wiskunde en Theoretische Natuurkunde. “Er zijn fundamentele beperkingen die inherent zijn aan wiskunde en op dezelfde manier kunnen AI-algoritmen voor bepaalde problemen niet bestaan.”

De onderzoekers zeggen dat er vanwege deze paradox gevallen zijn waarin goede neurale netwerken kunnen bestaan, maar een inherent betrouwbaar netwerk niet kan worden gebouwd. “Hoe nauwkeurig je gegevens ook zijn, je kunt nooit de perfecte informatie krijgen om het vereiste neurale netwerk te bouwen”, zegt co-auteur Dr. Vegard Antun van de Universiteit van Oslo.

De onmogelijkheid om het goede bestaande neurale netwerk te berekenen, geldt ook, ongeacht de hoeveelheid trainingsgegevens. Hoeveel data een algoritme ook kan benaderen, het zal niet het gewenste netwerk opleveren. “Dit is vergelijkbaar met het argument van Turing: er zijn rekenproblemen die niet kunnen worden opgelost, ongeacht de rekenkracht en runtime”, zegt Hansen.

De onderzoekers zeggen dat niet alle AI inherent gebrekkig is, maar alleen betrouwbaar is op specifieke gebieden, met behulp van specifieke methoden. “Het probleem is met gebieden waar je een garantie nodig hebt, omdat veel AI-systemen een black box zijn”, zegt Colbrook. “Het is in sommige situaties prima dat een AI fouten maakt, maar het moet er eerlijk over zijn. En dat is niet wat we voor veel systemen zien – er is geen manier om te weten wanneer ze meer of minder zelfverzekerd zijn over een besluit.”

“Momenteel kunnen AI-systemen soms een beetje giswerk voor ze zijn”, zei Hansen. “Je probeert iets, en als het niet werkt, voeg je meer dingen toe, in de hoop dat het werkt. Op een gegeven moment word je moe als je niet krijgt wat je wilt, en je probeert een andere methode. Het is belangrijk om de beperkingen van verschillende benaderingen te begrijpen. We bevinden ons in het stadium waarin de praktische successen van AI de theorie en het begrip ver vooruit zijn. Een programma over het begrijpen van de fundamenten van AI-computing zijn nodig om deze kloof te overbruggen.”

“Toen 20e-eeuwse wiskundigen verschillende paradoxen identificeerden, stopten ze niet met wiskunde studeren. Ze moesten gewoon nieuwe wegen vinden, omdat ze de beperkingen begrepen”, zei Colbrook. “Voor AI kan het een kwestie zijn van het veranderen van paden of het ontwikkelen van nieuwe om systemen te bouwen die problemen op een betrouwbare en transparante manier kunnen oplossen, terwijl ze hun beperkingen begrijpen.”

De volgende stap voor de onderzoekers is het combineren van benaderingstheorie, numerieke analyse en grondslagen van berekeningen om te bepalen welke neurale netwerken kunnen worden berekend door algoritmen en welke stabiel en betrouwbaar kunnen worden gemaakt. Net zoals de paradoxen over de beperkingen van wiskunde en computers die door Gödel en Turing zijn geïdentificeerd, hebben geleid tot rijke basistheorieën – die zowel de beperkingen als de mogelijkheden van wiskunde en berekeningen beschrijven – misschien kan een vergelijkbare basistheorie tot bloei komen in AI.

Matthew Colbrook is een Junior Research Fellow aan het Trinity College, Cambridge. Anders Hansen is een Fellow bij Peterhouse, Cambridge. Het onderzoek werd mede mogelijk gemaakt door de Royal Society.