Nieuw onderzoek: geavanceerde ECRAM-technologie versnelt AI-training en verbetert generatieve AI-applicaties
AmsterdamOnderzoekers van POSTECH en Korea University hebben de halfgeleidertechnologie verbeterd door gebruik te maken van Electrochemical Random Access Memory (ECRAM) voor betere AI-berekeningen. Deze vooruitgang helpt de beperkingen van huidige digitale hardware, zoals CPU's en GPU's, te overstijgen, die moeite hebben om de snelle ontwikkelingen in AI, inclusief generatieve AI-toepassingen, bij te houden.
Hier zijn enkele belangrijke punten opgesomd:
- Het onderzoeksteam bestaat uit professor Seyoung Kim, Kyungmi Noh, Hyunjeong Kwak en professor Hyung-Min Lee.
- ECRAM-apparaten regelen de elektrische geleidbaarheid door ionenverplaatsing.
- De apparaten maken gebruik van een drieterminale structuur voor efficiënte lees- en schrijfbewerkingen van gegevens.
- De ECRAM-apparaten van het team werden vervaardigd in een 64×64-array, een aanzienlijke verbetering ten opzichte van de eerdere 10×10-array.
Analoge hardware past de weerstand van halfgeleiders aan met behulp van externe spanning of stroom. Deze methode verwerkt AI-taken gelijktijdig via een kruispuntmatrix. Hoewel analoge hardware geschikt is voor specifieke taken en continue gegevens, heeft het moeite met de verschillende vereisten voor leren en inferentie in berekeningen.
Het onderzoeksteam pakte deze uitdagingen aan door ECRAM-apparaten te ontwikkelen. Deze apparaten regelen de elektrische geleiding via ionconcentratie en hebben aparte kanalen voor het lezen en schrijven van data, met een relatief laag stroomverbruik. Het team maakte een 64×64 array van ECRAM-apparaten, de grootste tot nu toe gemeld. De resultaten toonden uitstekende elektrische prestaties, betrouwbare schakelingen, hoge succespercentages en consistentie aan.
De onderzoekers pasten de geavanceerde Tiki-Taka-algoritme toe op hun efficiënte hardware, wat de nauwkeurigheid van de AI-neurale netwerktraining aanzienlijk verbeterde. Ze ontdekten dat de trainingsmethode de gewichten stabiel houdt en de neurale netwerken niet overbelast. Deze vondst is cruciaal voor de mogelijke commerciële toepassing van deze technologie.
Deze innovatie kan AI-berekeningen revolutioneren. Digitale hardware kent beperkingen op het gebied van energieverbruik en schaalbaarheid. Een analoge ECRAM-oplossing biedt mogelijk een energiezuiniger en beter schaalbaar alternatief voor AI. De drieklemstructuur, die energiebesparende operaties mogelijk maakt, is veelbelovend voor grootschalige toepassingen.
Professor Seyoung Kim besprak hoe grote arrays en gespecialiseerde AI-algoritmen beter kunnen presteren en minder energie kunnen verbruiken dan de huidige digitale methoden. Dit onderzoek kan leiden tot nieuwe AI-trainingsmethoden die meer complexe en uitgebreidere AI-modellen aankunnen.
Het onderzoek kreeg ondersteuning van verschillende Koreaanse organisaties, waaronder het Ministerie van Handel, Industrie en Energie, en KEIT. De samenwerking tussen universiteiten en bedrijven toont een sterke inzet om de technologie voor AI in halfgeleiders te verbeteren. Deze vooruitgang kan snel leiden tot belangrijke commerciële toepassingen, aangezien AI zich in veel sectoren vlug uitbreidt.
Het gebruik van ECRAM-apparaten in analoge hardware kan AI-rekenkracht efficiënter en beter schaalbaar maken dan huidige digitale hardware. Het onderzoek van het team wijst op een veelbelovende toekomst voor AI-technologie.
De studie is hier gepubliceerd:
http://dx.doi.org/10.1126/sciadv.adl3350en de officiële citatie - inclusief auteurs en tijdschrift - is
Kyungmi Noh, Hyunjeong Kwak, Jeonghoon Son, Seungkun Kim, Minseong Um, Minil Kang, Doyoon Kim, Wonjae Ji, Junyong Lee, HwiJeong Jo, Jiyong Woo, Hyung-Min Lee, Seyoung Kim. Retention-aware zero-shifting technique for Tiki-Taka algorithm-based analog deep learning accelerator. Science Advances, 2024; 10 (24) DOI: 10.1126/sciadv.adl335020 november 2024 · 01:02
AI onderweg: compacte taalmodellen voor betere prestaties op mobiele apparaten
18 november 2024 · 14:36
Precieze gedragsstudies bij muizen dankzij AI: minder dieren en snellere resultaten
Deel dit artikel