In deze rubriek een greep uit de stortvloed aan berichten over artificial intelligence (ai).
Grote opschaling ai-trainingen mogelijk
De rekenkracht om state-of-the-art-ai-modellen te trainen, groeide vanaf 2010 met een factor vier tot vijf per jaar, meldt onderzoeksinstelling Epoch AI in een blog. Twee derde van de betere prestaties in taalmodellen is te danken aan een toename van de modelschaal. In een rapport probeert de onderzoeksinstelling Epoch AI antwoord te vinden op de hamvraag: gaat deze schaalvergroting tot 2030 zo door? Een belangrijke kwestie, want schaalbaarheid is de sleutel voor vooruitgang in ai. Modellen krijgen steeds meer parameters en worden getraind op alsmaar grotere datasets. Om hun prestaties te verbeteren, is een exponentiële groei nodig in rekenkracht.
Volgens Epoch AI is technisch een tienduizendvoudige toename van ai-trainingen mogelijk , aldus het onderzoek. Bij extrapolatie van de huidige trend zijn over ruim vijf jaar trainingen te verwachten met een omvang van 2e29 flop (twee keer 10 tot de macht 29 zwevende komma-bewerkingen, waarbij een flop een maatstaf voor de hoeveelheid rekenkracht is). Anders gezegd: rond 2030 is het naar alle waarschijnlijkheid mogelijk ai-modellen te trainen die GPT-4 op even grote schaal overtreffen als bij de spectaculaire sprong destijds van GPT-2 naar GPT-4. GT-2 bood in 2019 rudimentaire tekstproductie, terwijl GPT-4 allerlei taken aan kan en bijna menselijk gedrag vertoont.
Grootste knelpunten bij schaalvergroting
De onderzoekers van Epoch AI onderscheiden vier factoren potentiële knelpunten voor het opschalen van ai-trainingen. Dit zijn stroomvoorziening, chip-productiecapaciteit, data-schaarste en de zogenaamde latency wall. Een training van de eerdergenoemde omvang zou bijna honderd miljoen H100-equivalente gpu’s vereisen. De H100 is nu de krachtigste, ruim verkrijgbare ai-chip van Nvidia. Er is weinig fantasie voor nodig om te begrijpen welk een kolossale chip-productiecapaciteit straks nodig is. De beperkte capaciteit voor geavanceerde verpakkingen en geheugens met hoge bandbreedte vormen een beperking. Maar EpochAI ziet de productie in de chipindustrie en de efficiëntie van hardware zo snel toenemen dat in 2030 voldoende capaciteit beschikbaar is.
Stroomvoorziening hinderpaal
Het andere grote knelpunt, de stroomvoorziening, is lastiger op te lossen. Maar ook daar wordt hard aan gewerkt. Microsoft en OpenAI hebben plannen voor de bouw van gigantische datacenters met bijbehorende elektriciteitscentrales. In Amerika staan bovendien nieuwe datacenters op stapel die samen een gedistribueerd netwerk vormen met een capaciteit van 2 tot 45 gigawatt. De latency wall is het derde knelpunt. Door tokens parallel te trainen worden vertragingen tegengegaan. Maar op de omvang van zo’n ‘stapel’ zit een limiet. Na een bepaald punt gaat het steeds meer tijd kosten om een respons te krijgen naarmate de omvang van de ‘batch’ toeneemt. En dan is er uiteraard ook nog een schaarste aan data om te trainen. Dataschaarste is niet de grootste maar wel de onzekerste beperking. Behalve de beschikbaarheid zijn ook de kwaliteit en de mogelijkheid uit plaatjes, video en audio bruikbare gegevens te halen onzekere factoren.
Mensen onderscheiden van ai-personages
Onderzoekers van OpenAI, Microsoft en MIT hebben een methode ontwikkeld om mensen online anoniem te onderscheiden van ai-personages. Ze maken gebruik van zogenaamde ‘persoonlijkheidsreferenties’, digitale inloggegevens die bevestigen dat de houder een echte persoon is zonder verdere identiteitsinformatie prijs te geven. Deze zogeheten ‘personhood credentials’ (phc’s) zijn bedoeld om identiteitsdiefstal door ai en de overvloed aan bots tegen te gaan. De aanpak profiteert van de beperkingen van kunstmatige intelligentie. Ai-systemen kunnen mensen offline niet overtuigend imiteren en kunnen moderne cryptografie niet omzeilen.
‘Personhood credentials’ (phc’s) zijn bedoeld om identiteitsdiefstal door ai en de overvloed aan bots tegen te gaan
Meta-baas Mark Zuckerberg zei dat er binnenkort ‘honderden miljoenen of miljarden ai-agenten zullen zijn die het internet gebruiken namens mensen’. Hij riep op om prioriteit te geven aan phc-systemen, daarin te investeren en de acceptatie ervan te bevorderen.
Microsoft lanceert taalmodellen los van OpenAI
Microsoft vertrouwt bij de ontwikkeling van ai niet alleen op zijn samenwerking met OpenAI. De drie nieuwe grote taalmodellen in de Phi-serie die ’s werelds grootste softwarebedrijf deze maand uitbracht, zijn zeker niet minder geavanceerd. Volgens vergelijkende tests behoren Phi-3.5-mini-instruct (voor het ‘gewone’ snelle werk), Phi-3.5-MoE-instruct (voor meer veeleisende taken) en Phi-3.5-vision-instruct (voor beeld- en videoanalyse) tot de besten in hun klasse. Ze verslaan Google’s Gemini 1.5 Flash, Meta’s Llama 3.1 en in sommige gevallen zelfs koploper GPT-4o. Ontwikkelaars kunnen al deze modellen bij Hugging Face gratis gebruiken. Dit gebeurt op basis van een aangepaste MIT-licentie die weinig restricties kent voor hergebruik en veel in opensourceprojecten opduikt.
