„Rauschende“ Chips: Wie neuromorphe Hardware von Erkenntnissen aus der Hirnforschung profitieren kann

Jülich, 5. Februar 2020 – Neuromorphe Chips, die nach dem Vorbild des menschlichen Gehirns konzipiert sind, bieten enormes Potenzial. Speziell für Aufgaben im Bereich der künstlichen Intelligenz (KI) gelten sie als vielversprechende, effiziente Alternative. Doch noch sind viele Fragen offen. Ein großer Knackpunkt: Bis heute ist eigentlich gar nicht klar, welche Mechanismen und Prinzipien es sind, die das große Vorbild – unser Gehirn – so effizient machen.

Wissenschaftlern des Forschungszentrums Jülich ist es nun gelungen, gemeinsam mit Partnern im Human Brain Project einen bislang rätselhaften Aspekt der biologischen Informationsverarbeitung zu erhellen. Dabei ging es um die Frage, welcher Mechanismus im Gehirn und auf neuromorphen Chips eine Art „anregendes Grundrauschen“ erzeugen kann, das für bestimmte Formen von Berechnungen in neuronalen Netzwerken notwendig ist. Der Physiker Tom Tetzlaff vom Jülicher Institut für Neurowissenschaften und Medizin (INM-6) war maßgeblich an der Arbeit beteiligt.

Dr. Tom Tetzlaff
Dr. Tom Tetzlaff mit einem SpiNNaker-Modul von Partnern der Universität Manchester (unten links im Bild)
Forschungszentrum Jülich / Tobias Schlößer

Herr Dr. Tetzlaff, was unterscheidet neuromorphe Hardware von herkömmlichen Computerchips?

Herkömmliche Computer sind bei bestimmten Aufgaben sehr schnell. Ein Beispiel ist das Rechnen mit großen Zahlen oder die Speicherung und der Abruf großer Datenmengen. Bei alltäglichen Aufgaben geht es aber häufig um andere Probleme, zum Beispiel um Objekterkennung oder die Vorhersage von Ereignissen in einer natürlichen Umgebung, die sich permanent verändert, in der es Störquellen gibt. Und es geht darum, anhand von wenigen Trainingsbeispielen neue Sachverhalte zu lernen.

In diesem Bereich sind biologische Gehirne, oder ganz allgemein biologische, intelligente Systeme, traditionellen Computern haushoch überlegen. Das sieht man unter anderem an der Energieeffizienz. Mancher Supercomputer verbraucht so viel Energie wie eine Kleinstadt. Unser Gehirn dagegen verbraucht nur ungefähr so viel wie eine Glühbirne, da will man gerne hin.

Warum ist die Verbindung von neuromorphem Computing und künstlicher Intelligenz so interessant?

Künstliche Intelligenz basiert auf Algorithmen, die der Informationsverarbeitung im Gehirn ähneln. Solche künstlichen neuronalen Netzwerke werden in der Praxis schon vielseitig eingesetzt. Üblicherweise laufen die Anwendungen momentan noch auf traditionellen Rechnern, die nicht für solche Anwendungen optimiert und eher breit einsetzbar sind. Hinter neuromorpher Hardware steckt dagegen die Idee, dass man eine dedizierte Hardware entwickelt, die speziell diese Algorithmen unterstützt und dadurch energieeffizienter, schneller und robuster wird, sodass man sie zum Beispiel auch für mobile Anwendungen nutzen kann

Welche Anwendungen kommen da in Frage?

Das sind beispielsweise Anwendungen, bei denen es darum geht, Muster in großen Datenmengen zu finden, etwa zur Frühdiagnose bestimmter Krankheiten oder bei Robotik-Anwendungen. Ein großer Anwendungsbereich ist aber auch die Neurowissenschaft an sich. Neuromorphe Architekturen haben das Potenzial, dass sie sehr schnell sein können – deutlich schneller als Echtzeit.

Das Problem ist ja: Mit heutigen Supercomputern können wir zwar schon große Areale des Säugetierhirns simulieren, aber nur sehr langsam. Daher können wir die Prozesse nur für kurze Zeiträume anschauen, für wenige Sekunden. Viele Prozesse wie Plastizität, Adaptation oder Entwicklung des Gehirns finden aber auf viel größeren Zeitskalen statt, das dauert Minuten, Stunden oder Tage.

SpiNNaker Chip
SpiNNaker-Modul von Jülicher Forschungspartnern an der Universität Manchester
Forschungszentrum Jülich

Welche Ansätze gibt es da im Bereich neuromorpher Hardware?

Ein Beispiel ist das BrainScaleS-System unserer Partner in Heidelberg, bei dem Nervenzellen mit Hilfe analoger elektronischer Schaltungen nachgebaut werden. Dieses System kann sehr schnell sein, bis zu 10.000-mal schneller als Echtzeit. Ein anderes, das SpiNNaker-System unserer Partner in Manchester, ist dagegen ein rein digitales System. Das hat den Vorteil, dass es sehr flexibel und im Prinzip frei programmierbar ist. Dafür ist es etwas langsamer. SpiNNaker ist für Echtzeitanwendungen konzipiert, zum Beispiel für Anwendungen in der Robotik.

Daneben gibt es noch eine ganze Reihe von anderen Systemen, zum Beispiel das TrueNorth-System von IBM oder Loihi von Intel. Die meisten Systeme adressieren den KI-Bereich, aber es gibt auch einige, die ganz explizit auf Anwendungen in den Neurowissenschaften abzielen.

Was sind aus Ihrer Sicht die größten Hürden für den praktischen Einsatz?

Eines der Hauptprobleme ist momentan die Frage: Wo will man wirklich hin? Die Idee ist ja, sich an den Prinzipien der Natur zu orientieren, um dadurch zu effizienten Systemen zu kommen. Im Moment wissen wir aber gar nicht genau, was die entscheidenden biologischen Prinzipien sind, die das Gehirn so effizient machen. Es gibt zwar viele Ideen, aber keinen wirklichen Konsens darüber, was dazu notwendig ist.

Zusammen mit ihrem Team konnten Sie kürzlich einen interessanten Aspekt beleuchten. Im Fokus stand dabei die Frage, wie man mit biologischen neuronalen Netzwerken stochastische Berechnungen ausführen kann. Worum ging es da genau?

Es ging um das sogenannte "Probabilistic Computing". Dabei will man nicht nur eine optimale Lösung finden, sondern daneben viele alternative Lösungen parat haben. Außerdem muss man abschätzen können, wie zuverlässig oder riskant diese einzelnen Lösungen sind. Für diese Art Problem gibt es bestimmte neuronale Netzwerke und diese Netzwerke brauchen eine sogenannte intrinsische Stochastizität, damit sie funktionieren.

Diese Netzwerke können verschiedene Zustände annehmen. Anschaulich kann man sich einen solchen Zustand als eine Kugel in einer Berg- und Tallandschaft vorstellen. Wenn man jetzt irgendwo startet, fällt die Kugel in das nächste Tal und bleibt da liegen. Diese eine Lösung bekommt man relativ schnell. Aber wenn man viele andere Täler besuchen will, muss man noch irgendetwas anderes reinstecken, zum Beispiel eine Art Rauschen, um die Kugel in der Berg- und Tallandschaft zu verschieben. Auf diese Weise erhält man dann ein Abbild aller möglichen Lösungen und ein Maß dafür, wie gut oder wie zuverlässig eine Lösung ist, je nachdem, wie oft man in einem Tal hängenbleibt. Damit das wirklich funktioniert, muss das Rauschen bestimmte Qualitätsanforderungen erfüllen.

Welche neue Erkenntnis haben Sie gewonnen?

Wenn man „Probabilistic Computing“ auf neuromorpher Hardware betreibt, benötigte man bis jetzt spezielle zusätzliche Hardware mit Zufallsgeneratoren, die dieses Rauschen erzeugen. Ganz unabhängig vom technischen Aufwand bleibt die Frage, welcher Mechanismus in der Natur für diese Stochastizität verantwortlich ist. Denn die einzelnen biologischen Zellen verhalten sich in Isolation eher nicht stochastisch, sondern deterministisch. Das heißt, man kann ihr Verhalten vorhersagen, wenn man den Anfangszustand kennt.

Es gibt schon länger verschiedene Ideen für solche biologisch plausiblen Mechanismen, und unsere Lösung ist ein solcher Kandidat. Wir haben gezeigt, dass neuronale Netzwerke, wie wir sie in der Großhirnrinde finden, aufgrund ihrer Dynamik eine Aktivität erzeugen, die sich sehr gut als Rauschquelle für probabilistische Berechnungen eignet. Diese Netzwerke lassen sich direkt, ohne zusätzliche Hardware, auf neuromorpher Hardware implementieren, und zwar sehr effizient. Denn ein einziges Netzwerk aus einigen Hundert Zellen kann hochqualitatives Rauschen für sehr viele und sehr große Netzwerke zur Verfügung stellen.

Für welche Anwendungen ist diese Form des „Probalistic Computing“ relevant?

Ein Beispiel sind medizinische Diagnosen, beispielsweise die Früherkennung von Krebs anhand von Bildgebungsdaten. Für Patienten ist das eine sehr schwerwiegende Information. Daher ist es wichtig, dass man sagen kann, wie zuverlässig die Diagnose ist. Bei einer Sicherheit von 98 Prozent ist klar, die Lage ist ernst. Wenn es dagegen nur 60 Prozent sind, ist das eine ganz andere Information.

Ein anderes Beispiel aus der Forschung ist das Problem des „Travelling Salesman“. Ein Reisender besucht viele Orte und die Aufgabe besteht darin, die gesamte Weglänge zu minimieren. Bei diesem Problem müssen sehr viele Randbedingungen erfüllt sein, daher ist diese Art von Problem sehr schwer zu lösen. Bei vielen entsprechenden Anwendungen, die mit Navigation zu tun haben, will man schnell eine alternative Lösung haben, wenn irgendetwas Unvorhergesehenes passiert. Dazu braucht man dann einen probabilistischen Ansatz.

Schlussfrage: Glauben Sie, dass neuromorphe Chips in Zukunft ähnliche Verbreitung finden werden wie traditionelle Computerchips?

Ich glaube, dass man irgendwann auch auf dem Smartphone eine andere Art von Hardware verwenden wird, die für KI-Anwendungen und künstliche neuronale Netzwerke optimiert ist. Aktuell ist aber wie gesagt eines der Hauptprobleme, dass wir noch gar nicht genau wissen, was wir wirklich brauchen, um solche Systeme so energieeffizient, robust und schnell zu machen. In unserer Forschung konzentrieren wir uns daher im Moment speziell auf Systeme für Anwendungen in den Neurowissenschaften. Darüber hinaus wollen wir in Jülich kein alleinstehendes neuromorphes Hardware-System bauen, so wie das Heidelberger BrainScaleS-System. Wir wollen neuromorphe Komponenten entwickeln, die in Verbindung mit herkömmlichen Rechnern betrieben werden, ähnlich wie eine Beschleuniger-Karte oder ein Beschleuniger–Modul.

 
 

Glossar:

Neuromorpher Chip
Ein neuromorpher Chip ist ein Mikrochip, der nach dem Vorbild von natürlichen neuronalen Netzwerken im Gehirn aufgebaut ist.

Künstliches neuronales Netzwerk
Künstliche neuronale Netzwerke sind durch das menschliche Gehirn inspirierte, abstrakte Modelle eines neuronalen Netzes und lassen sich für Aufgaben des maschinellen Lernens und der künstlichen Intelligenz einsetzen.

Deterministische vs. stochastische Systeme
Deterministische Systeme erlauben prinzipiell die Ableitung ihres Verhaltens aus einem vorherigen Zustand, stochastische Systeme nicht. Entscheidend ist dabei der Grad der "Vorbestimmtheit" des Systems. Bei deterministischen Systemen ist der Übergang eines Zustands in einen anderen zwingend, bei stochastischen nur wahrscheinlich.

Probabilistic Computing
Probabilistische Ansätze rechnen nicht mit festen Werten und Objekten wie 0 und 1, sondern mit Zufallsobjekten, die mit einer bestimmten Wahrscheinlichkeit auftreten. Die Methode verspricht Vorteile, wenn es darum geht, ein Gesamtbild variabler Lösungen anzuzeigen, beispielsweise für Risikoanalysen oder bestimmte Prozesse oder Wegstrecken zu optimieren. Die Methode wird auch angewendet, um unvollständige oder störungsreiche Eingangsdaten zu interpretieren, etwa in der Bild- und Objekterkennung.

Stochastik, Stochastizität
Als stochastisch werden Ereignisse oder Ergebnisse bezeichnet, die bei Wiederholung desselben Vorgangs nicht immer, bisweilen sogar nur manchmal eintreten. Das Eintreten eines Ereignisses ist für den Einzelfall damit nicht vorhersagbar, was auch als "Stochastizität" bezeichnet wird.

Originalpublikation:

Deterministic networks for probabilistic computing
Jakob Jordan, Mihai A. Petrovici, Oliver Breitwieser, Johannes Schemmel, Karlheinz Meier, Markus Diesmann, Tom Tetzlaff
Scientific Reports (4 December 2019), DOI: 10.1038/s41598-019-54137-7

Weitere Informationen:

Bilder dürfen für die redaktionelle anlassbezogene Berichterstattung verwendet werden.

„Order from chaos, chaos from order“ (in Englisch), Onlinebeitrag des Human Brain Project, 19. Dezember 2019

Institute of Neuroscience and Medicine, Computational and Systems Neuroscience (INM-6 / IAS-6)

Ansprechpartner:

Dr. Tom Tetzlaff
Institut für Neurowissenschaften und Medizin, Computational and Systems Neuroscience (INM-6 / IAS-6)
Tel.: +49 2461 61-85166
E-Mail: t.tetzlaff@fz-juelich.de

Pressekontakt:

Tobias Schlößer
Unternehmenskommunikation
Tel.: +49 2461 61-4771
E-Mail: t.schloesser@fz-juelich.de

Letzte Änderung: 13.06.2022