Wat is het verschil tussen kunstmatige neurale netwerken en biologische hersenen?

Jul 17, 2020

Hoe komt het dat mensen efficiënt kunnen zijn in het leren van dingen? Dat is een vraag die wetenschappers en onderzoekers van kunstmatige intelligentie (AI) bezighoudt de afgelopen decennia. Wetenschappers hebben geprobeerd de denk- en probleemoplossende vermogens van het menselijk brein te repliceren. De droom om denkmachines te creëren heeft tot veel innovaties op het gebied van AI geleid en heeft recentelijk bijgedragen aan de opkomst van deep learning , AI-algoritmen die de leerfuncties van de hersenen grofweg nabootsen.

Inhoud
– Kunstmatig versus natuurlijk leren
– Waarom leren zonder toezicht niet genoeg is
– Evolutie versus leren
– Hoe kunstmatige neurale netwerken moeten evolueren

Maar zoals sommige wetenschappers beweren, is leren met brute kracht niet wat mensen en dieren de mogelijkheid geeft om kort na de geboorte met de wereld om te gaan. De sleutel is de structuur en de aangeboren mogelijkheden van het organische brein, een argument dat meestal wordt verworpen in de hedendaagse AI-gemeenschap, die wordt gedomineerd door kunstmatige neurale netwerken.

In een paper gepubliceerd in het peer-reviewed tijdschrift Nature , stelt Anthony Zador, hoogleraar Neuroscience Cold Spring Harbor Laboratory, dat het een zeer gestructureerd brein is dat dieren in staat stelt zeer efficiënte leerlingen te worden. Getiteld “Een kritiek op puur leren en wat kunstmatige neurale netwerken kunnen leren van de hersenen van dieren”, legt Zador’s paper uit waarom het opschalen van de huidige gegevensverwerkingsmogelijkheden van AI-algoritmen niet helpt om de intelligentie van honden, laat staan ​​mensen, te bereiken. Wat we nodig hebben, legt Zador uit, is geen AI die alles vanaf nul leert, maar algoritmen die, net als organische wezens, intrinsieke mogelijkheden hebben die kunnen worden aangevuld met de leerervaring.

Kunstmatig versus natuurlijk leren
Door de geschiedenis van kunstmatige intelligentie heen hebben wetenschappers de natuur gebruikt als gids voor het ontwikkelen van technologieën die slim gedrag kunnen vertonen. Symbolische kunstmatige intelligentie en kunstmatige neurale netwerken vormen sinds de begindagen van de geschiedenis van het veld de twee belangrijkste benaderingen voor het ontwikkelen van AI-systemen.

“Symbolische AI ​​kan worden gezien als de benadering van de psycholoog – het haalt inspiratie uit de menselijke cognitieve verwerking, zonder te proberen de zwarte doos open te breken – terwijl Artificial Neutral Networks (ANNs), die neuronachtige elementen gebruiken, hun inspiratie halen uit de neurowetenschappen”, schrijft Zador.

Terwijl symbolische systemen, waarin programmeurs de regels van het systeem expliciet definiëren, domineerden in de eerste decennia van de AI-geschiedenis, zijn neurale netwerken tegenwoordig het belangrijkste hoogtepunt van de meeste ontwikkelingen in kunstmatige intelligentie.
Kunstmatige neurale netwerken worden geïnspireerd door hun biologische tegenhangers en proberen het leergedrag van organische hersenen na te bootsen. Maar zoals Zador uitlegt, is leren in ANNs heel anders dan wat er in de hersenen gebeurt.

“In ANNs verwijst leren naar het proces van het extraheren van structuur – statistische regelmatigheden – uit invoergegevens en het coderen van die structuur in de parameters van het netwerk”, schrijft hij.
Wanneer je bijvoorbeeld een convolutioneel neuraal netwerk ontwikkelt, begin je met een lege lei, een architectuur van lagen op lagen kunstmatige neuronen die verbonden zijn met willekeurige gewichten. Terwijl je het netwerk traint op afbeeldingen en de bijbehorende labels, zal het geleidelijk de miljoenen parameters afstemmen om elke afbeelding in zijn rechtmatige bucket te kunnen plaatsen. En de afgelopen jaren is gebleken dat de prestatie van neurale netwerken toeneemt met de toevoeging van meer lagen, parameters en gegevens. (In werkelijkheid zijn er ook veel andere fijne kneepjes bij betrokken, zoals het afstemmen van hyperparameters, maar dat zou het onderwerp zijn van een ander bericht.)

Er zijn enkele overeenkomsten tussen kunstmatige en biologische neuronen, zoals de manier waarop ANN’s erin slagen om lage en hoge niveaus uit afbeeldingen te extraheren. Elke laag van het neurale netwerk haalt specifieke kenmerken uit het invoerbeeld.
Maar als het om mensen en dieren gaat, krijgt leren een andere betekenis. ‘De term’ leren ‘in de neurowetenschappen (en in de psychologie) verwijst naar een langdurige gedragsverandering die het gevolg is van ervaring’, schrijft Zador.

De verschillen tussen kunstmatig en natuurlijk leren zijn niet beperkt tot definitie. Bij begeleid leren , waarbij neurale netten worden getraind op met de hand gelabelde gegevens (zoals het hierboven genoemde voorbeeld), worden deze verschillen groter.
“Hoewel het eindresultaat van deze training een ANN is met een vermogen dat, oppervlakkig tenminste, het menselijke vermogen om afbeeldingen te categoriseren nabootst, lijkt het proces waarmee het kunstmatige systeem leert weinig op dat van een pasgeborene,” merkt Zador op.

Kinderen leren hun wereld meestal op eigen houtje te verkennen, zonder veel instructie, terwijl onder toezicht staande algoritmen, die de dominante vorm van diep leren blijven, miljoenen gelabelde afbeeldingen nodig hebben. “Het is duidelijk dat kinderen niet voornamelijk vertrouwen op algoritmen onder toezicht om objecten te leren categoriseren”, schrijft Zador.

Er is voortdurend onderzoek gedaan naar AI-algoritmen zonder toezicht of zelfbewaking die representaties kunnen leren met weinig of geen begeleiding van mensen. Maar de resultaten zijn zeer rudimentair en lager dan wat begeleid leren heeft opgeleverd.

Waarom leren zonder toezicht niet genoeg is
“Het is denkbaar dat leren zonder toezicht, met gebruikmaking van algoritmen die krachtiger zijn dan tot nu toe ontdekt, een rol kan spelen bij het vaststellen van sensorische representaties en rijgedrag. Maar zelfs zo’n hypothetisch leeralgoritme zonder toezicht is waarschijnlijk niet het hele verhaal ”, schrijft Zador.

De meeste pasgeboren dieren leren bijvoorbeeld hun sleutelvaardigheden (lopen, rennen, springen) in zo’n korte tijd (weken, dagen, uren) dat onmogelijk zou zijn met een puur ongecontroleerd leren op een leeg leisteen neuraal netwerk. ‘Een groot deel van het gedragsrepertoire van een dier is niet het resultaat van slimme leeralgoritmen – al dan niet onder toezicht – maar eerder van gedragsprogramma’s die al bij de geboorte aanwezig zijn’, schrijft Zador.

Tegelijkertijd stellen de aangeboren vermogens dieren niet in staat zich aan te passen aan hun steeds veranderende omgevingen. Daarom hebben ze allemaal het vermogen om te leren en zich aan te passen aan hun omgeving.
En er is een afweging tussen de twee. Te veel aangeborenheid en te weinig leren zullen je sneller op de been helpen en je helpen je evolutionaire taken uit te voeren om te overleven in je omgeving en je genen door te geven aan de volgende generatie. Maar het zal je de flexibiliteit ontnemen om je aan te passen aan verschillende variabelen in je omgeving (weer, natuurrampen, ziekte, enz.). Anderzijds zal een goede leerling met weinig aangeboren capaciteiten het grootste deel van zijn vroege leven in een staat doorbrengen van totale kwetsbaarheid, maar zal uiteindelijk slimmer en veel vindingrijker zijn dan andere wezens. Dit verklaart waarom een ​​babymens ongeveer een volledig jaar nodig heeft voordat de eerste stap wordt gezet, terwijl kittens een maand na de geboorte leren lopen.
Het aangeboren en leervermogen vullen elkaar aan. Het brein van menselijke kinderen heeft bijvoorbeeld de bedrading om gezichten van andere dingen te onderscheiden. Vervolgens leren ze hun hele leven specifieke gezichten te associëren met mensen die ze kennen. Eekhoorns hebben daarentegen de aangeboren vaardigheid om de plaatsen te onthouden van dingen die ze hebben begraven, en volgens sommige studies kunnen ze de exacte locatie van duizenden notencaches onthouden.
Deze aangeboren mechanismen en de voorkeur om specifieke dingen te leren, is wat Zador ‘de geheime saus van de natuur’ noemt, gecodeerd in het genoom.

‘In het bijzonder codeert het genoom blauwdrukken voor het bedraden van hun zenuwstelsel’, schrijft Zador in zijn paper. “Deze blauwdrukken zijn door evolutie geselecteerd gedurende honderden miljoenen jaren, werkend op talloze quadriljoenen individuen. De circuits die door deze blauwdrukken worden gespecificeerd, bieden de steiger voor aangeboren gedrag en voor al het leren dat plaatsvindt tijdens het leven van een dier. ”
Dus wat zit er precies in het genoom? Het antwoord varieert bij verschillende wezens. In supereenvoudige organismen zoals wormen bevat het genoom bijvoorbeeld alle kleine details voor de hele neurale bedrading. Maar voor een complex systeem zoals het menselijk brein, dat ongeveer. 100 miljard neuronen en 100 biljoen synapsen, kun je niet alles in het genoom coderen, dat ongeveer 1 gigabyte aan ruimte heeft.
“In de meeste hersenen kan het genoom het expliciete bedradingsschema niet specificeren, maar moet het in plaats daarvan een reeks regels specificeren voor het bedraden van de hersenen tijdens de ontwikkeling”, zegt Zador.
Evolutie versus leren
Biologische hersenen hebben dus twee sets mechanismen voor gedragsoptimalisatie. Aan de ene kant hebben ze het leervermogen, waardoor elk individu van een soort zijn eigen specifieke gedrag kan ontwikkelen en het kan verfijnen op basis van zijn levenservaring. En aan de andere kant hebben alle individuen van een soort een rijke reeks aangeboren vermogens die in hun genoom zijn ingebakken. ‘Het genoom codeert niet rechtstreeks representaties of gedragingen; het codeert bedradingsregels en verbindingsmotieven ”, schrijft Zador.
Het genoom zelf is ook niet constant. Het ondergaat oneindig kleine transformaties en mutaties terwijl het van de ene generatie op de andere wordt doorgegeven. Evolutie en natuurlijke selectie doen hun magie en zorgen ervoor dat in duizenden en miljoenen generaties de betere veranderingen overleven en de slechte worden geëlimineerd. In dit opzicht is het redelijk om te zeggen dat ook het genoom door optimalisatie en verbetering gaat, hoewel in een veel grotere tijdschaal dan het leven van een individu.

Zador visualiseert deze twee optimalisatiemechanismen als twee concentrische lussen: de buitenste evolutielus en de binnenste leerlus.
Kunstmatige neurale netwerken hebben daarentegen één optimalisatiemechanisme. Ze beginnen met een blanco lei en moeten alles van de grond af leren. En daarom hebben ze enorme hoeveelheden trainingstijd en voorbeelden nodig om de eenvoudigste dingen te leren.
“ANNs zijn bezig met een optimalisatieproces dat zowel wat tijdens de evolutie wordt geleerd als het leerproces binnen een leven moet nabootsen , terwijl leren voor dieren alleen verwijst naar veranderingen in het leven”, merkt Zador op. “In deze visie moet begeleid leren in ANNs niet worden gezien als het analoog van leren bij dieren.”

Hoe kunstmatige neurale netwerken moeten evolueren
“Het belang van aangeboren mechanismen suggereert dat een ANN die een nieuw probleem oplost, zoveel mogelijk moet proberen voort te bouwen op de oplossingen voor eerdere gerelateerde problemen”, schrijft Zador.
AI-onderzoekers hebben al transferleertechnieken ontwikkeld, waarbij de parametergewichten van het ene getrainde neurale netwerk worden overgedragen naar het andere. Transfer learning helpt om de tijd en het aantal nieuwe gegevensmonsters dat nodig is om een ​​neuraal netwerk voor een nieuwe taak te trainen, te verminderen.

Maar leeroverdracht tussen kunstmatige neurale netwerken is niet analoog aan het soort informatie dat via genen tussen dieren en mensen wordt doorgegeven. “Terwijl bij overdracht leren de volledige verbindingsmatrix van de ANN (of een aanzienlijk deel daarvan) doorgaans als uitgangspunt wordt gebruikt, is in dierenhersenen de hoeveelheid informatie die van generatie op generatie wordt ‘overgedragen’ kleiner, omdat deze door het knelpunt moet gaan van het genoom ”, schrijft Zador.

Een ander ding dat momenteel ontbreekt in kunstmatige neurale netwerken is architectonische optimalisatie. Door blinde evolutionaire mechanismen leren genomen de structuur en bedradingsregels van de hersenen te optimaliseren om de specifieke problemen van elke soort beter op te lossen. ANNs daarentegen zijn alleen beperkt tot het optimaliseren van hun parameters. Ze hebben geen recursief mechanisme voor zelfverbetering waarmee ze betere algoritmen kunnen maken. Wijzigingen in hun architectuur moeten van buitenaf komen (of beperkte hyperparameter-afstemmingstechnieken zoals grid search en AutoML).

Het enige dat lijkt op de evolutionaire optimalisatie van het genoom is de uitvinding van verschillende ANN-architecturen, zoals convnets, terugkerende neurale netwerken , langetermijngeheugennetwerken, capsulenetwerken , transformatoren en andere. Deze architecturen hebben geholpen bij het creëren van netwerken die verschillende problemen efficiënt oplossen. Maar ze zijn niet precies wat het genoom doet.
“Al deze nieuwe architecturen zijn indrukwekkend, maar ik weet niet zeker hoe analoog ze zijn aan de architecturen die door evolutie ontstaan,” vertelde Zador aan TechTalks in schriftelijke opmerkingen. “De kern in evolutie is dat architecturen moeten worden gecomprimeerd tot een genoom. Dit ‘genomische knelpunt’ werkt als een regularizer en dwingt het systeem om de essentiële elementen van elke architectuur vast te leggen. ”
Andere wetenschappers hebben voorgesteld om neurale netwerken te combineren met andere AI-technieken, zoals symbolische redeneersystemen. De hybride AI- aanpak is veel data-efficiënter gebleken dan pure neurale netwerken en is momenteel de focus van verschillende onderzoeksgroepen zoals het MIT-IBM Watson AI Lab .

Zador staat echter sceptisch tegenover deze benadering en is van mening dat kunstmatige neurale netwerken een grotere kans hebben om kunstmatige intelligentie te ontwikkelen. “Hoewel de verwerkingselementen van ANN’s eenvoudiger zijn dan echte neuronen – ze missen bijvoorbeeld dendrieten – denk ik dat ze waarschijnlijk dichtbij genoeg zijn. Het feit dat ANN’s universele benaderingen zijn, is suggestief ”, zei hij in zijn opmerkingen.
Hij maakt zijn paper echter wel af door ons eraan te herinneren dat de studie van de hersenen van dieren uiteindelijk niet het volledige antwoord op de AI-vraag is.

‘Wat soms misleidend’ kunstmatige algemene intelligentie ‘wordt genoemd, is helemaal niet algemeen; het is zeer beperkt om de menselijke capaciteiten zo nauw aan te passen dat alleen een machine die op dezelfde manier als een brein is gestructureerd, dit kan bereiken ”, schrijft hij.
Dit artikel is oorspronkelijk gepubliceerd door Ben Dickson op TechTalks , een publicatie die trends in technologie onderzoekt. Je kunt het originele artikel hier lezen .