HW/SW-Codesign zur Beschleunigung von DNNs mit heterogenen Beyond-von-Neumann Architekturen

• Antragsteller: Professor Dr.-Ing. Hussam Amrouch, Ph.D.; Professor Dr. Jian-Jia Chen
• Fachliche Zuordnung: Rechnerarchitektur, eingebettete und massiv parallele Systeme
• Förderung: Förderung seit 2023
• Projektkennung: Deutsche Forschungsgemeinschaft (DFG) - Projektnummer 506419033

Deep Learning and Deep Neural Networks (DNNs) wurden in vielen Anwendungsbereichen erfolgreich eingesetzt und haben das Potenzial die Zukunft der Menschheit zu verändern. Jedoch zeigt die aktuelle Forschung, dass ein Großteil des Energieverbrauchs von neuronalen Netzen auf die klassische Von-Neumann-Architektur zurückzuführen ist. Aufgrund des massiven Datenaufkommens ist ein permanenter Datentransfer zwischen Recheneinheiten und Speicherbänken unausweichlich. Dieser massive Mehraufwand hat einen Wandel hin zum daten-zentrierten Rechnen zur Folge. Wir stellen uns eine heterogene Hardware vor, welche verschiedene Beschleuniger mit klassischer Von-Neumann- und „beyond Von-Neumann-Architektur“ kombiniert und ein breites Spektrum an Kompromissen zwischen Rechengenauigkeit, Energieverbrauch, Latenz und Flächenverbrauch bietet. Unser Projekt fokussiert sich darauf die Grenzen bezüglich der Rechenleistung und Energieeffizienz von „beyond Von-Neumann-Architekturen“ zu erweitern. Das vollständige Potential solcher Hardware-Beschleuniger kann nicht ausgeschöpft werden, weil Grundlagenforschung zu geeigneten Arten von neuronalen Netzen für diese Architekturen fehlt. Eine solche Art sind binäre neuronale Netze (BNNs), die außerordentliche Möglichkeiten zur effizienten Implementierung bieten, da es eine herausragende Synergie von „beyond Von-Neumann-Architekturen“ mit aufkommenden „beyond-CMOS“ Transistoren gibt. In diesem Projekt werden verschiedene Methoden wie Modellierung, Design und Optimierung benutzt um das volle Potenzial der „beyond Von-Neumann-Architektur“ zu erforschen und verfolgt folgende Zielsetzungen: (1) Modellierung von aufkommenden Technologien sowie von LiM (Logic-in-Memory) sowie PiM (Processing-in-Memory) für BNNs über mehrere Abstraktionsschichten hinweg, (2) Optimierung von neuronalen Netzen unter Berücksichtigung der Eigenschaften von „beyond Von-Neumann-Architekturen“ und (3) HW/SW Co-Design und Optimierung. Die erfolgreiche Entwicklung heterogener HW-Architekturen ist entscheidend für den Fortschritt von Deep Learning. Denn diese ermöglichen dank HW/SW Co-Design eine extrem effiziente Ausführung von hybriden neuronalen Netzen und die schnelle Erforschung von Kompromissen.

• DFG-Verfahren: Sachbeihilfen