Intelligentere IoT-Geräte durch Edge-optimierte neuronale Netze: Fortschritt durch binarisierte Netzwerke
BerlinKünstliche Intelligenz (KI) und das Internet der Dinge (IoT) entwickeln sich rasant und können zusammen eingesetzt werden, um technologische Fortschritte zu erzielen. Die Integration von KI in IoT-Geräten gestaltet sich jedoch als schwierig, da diese nur begrenzte Rechenleistung und Speicherkapazität besitzen. Obwohl künstliche neuronale Netzwerke (KNN) effektiv sind, benötigen sie viele Ressourcen. Professor Takayuki Kawahara und Herr Yuya Fujiwara von der Tokyo University of Science arbeiten an binarisierten neuronalen Netzwerken (BNNs), die es ermöglichen, KI auf diesen Geräten effizient zu nutzen, ohne an Leistungsfähigkeit einzubüßen.
BNNs sind darauf ausgelegt, weniger Rechenleistung zu verbrauchen, indem sie binäre Gewichte und Aktivierungen nutzen. Kawahara und Fujiwara haben dies mit einer neuen Trainingsmethode namens Ternary Gradient BNN (TGBNN) verbessert, die während des Trainings drei Ebenen von Gradienten verwendet, jedoch die binären Gewichte und Aktivierungen beibehält. Diese Technik ist aus mehreren Gründen innovativ.
- Es nutzt verbesserte Mechanismen des Straight Through Estimators (STE) zur besseren Kontrolle der Gradientenrückpropagation.
- Es setzt magnetische Tunnelübergangs-XNOR-Logikgatter für eine effizientere Speicherlagerung ein.
- Es verfolgt einen probabilistischen Ansatz zur Parameteraktualisierung unter Verwendung von MRAM-Zellen, um Daten effektiver zu verwalten.
Diese technologischen Fortschritte machen Edge-Geräte intelligenter und verbessern ihre Fähigkeit, im Laufe der Zeit zu lernen und sich anzupassen. Die entwickelte Computing-in-Memory (CiM)-Konfiguration benötigt weniger Schaltungsfläche und Energie. Sie führt Berechnungen direkt in den Speicherelementen durch, anstatt herkömmliche Prozessoren zu nutzen. MRAM-Zellen, die Spin-Orbit-Torque und spannungsgesteuerte magnetische Anisotropie verwenden, bieten eine kompakte und energieeffiziente Möglichkeit zur Speicherung und Aktualisierung von Daten.
Diese Innovation hat erheblichen Einfluss. IoT-Geräte können eigenständig arbeiten und komplexe Aufgaben wie Bilderkennung oder Datenanalyse durchführen, ohne ständig auf die Cloud angewiesen zu sein. Dies könnte beispielsweise im Gesundheitswesen helfen, wo tragbare Geräte Nutzern sofortige Rückmeldungen geben, oder bei der Hausautomation, wo intelligente Häuser noch intuitiver und reaktionsfähiger werden könnten.
Die Integration von KI und Edge-Technologie gewinnt an Bedeutung, da IoT-Systeme stetig wachsen. Die Studien von Kawahara und Fujiwara verdeutlichen, wie zukünftige Edge-Geräte aktiv an intelligenten Netzwerken teilnehmen könnten, anstatt nur Daten zu sammeln. Ihre Forschung markiert einen wichtigen Schritt in Richtung einer effizienten und nachhaltigen IoT-Welt, in der Geräte nahtlos zusammenarbeiten.
Die Studie wird hier veröffentlicht:
http://dx.doi.org/10.1109/ACCESS.2024.3476417und seine offizielle Zitation - einschließlich Autoren und Zeitschrift - lautet
Yuya Fujiwara, Takayuki Kawahara. TGBNN: Training Algorithm of Binarized Neural Network With Ternary Gradients for MRAM-Based Computing-in-Memory Architecture. IEEE Access, 2024; 12: 150962 DOI: 10.1109/ACCESS.2024.3476417Diesen Artikel teilen