Symbiotisches Gehirn-Maschine-Zeichnen über visuelle Gehirn-Computer-Schnittstellen

Mit dem Geist zeichnen

Stellen Sie sich vor, Sie skizzieren ein Bild, ohne einen Muskel zu bewegen – keine Maus, kein Stift, nicht einmal eine Augenbewegung – allein indem Sie an die Form denken, die Sie zeichnen möchten. Diese Studie zeigt eine frühe, aber funktionierende Version genau dessen: ein einfaches, kostengünstiges System, das Menschen erlaubt, grundlegende Formen und Ziffern „mit dem Geist zu zeichnen“, indem ihre Hirnaktivität mit einem adaptiven Computerprogramm zusammenarbeitet.

Wie Hirnsignale mit einem Bildschirm kommunizieren

Die Forscher bauten eine nicht-invasive Gehirn‑Computer‑Schnittstelle (BCI) mit einem einfachen Stirnband mit drei Elektroden, darunter eine über dem visuellen Bereich des Gehirns. Auf einem Bildschirm flimmern zehn weiße Scheiben mit leicht unterschiedlichen Frequenzen vor dunklem Hintergrund. Die Person stellt sich leise eine einfache Form vor – etwa einen Buchstaben, eine geometrische Figur oder eine handgeschriebene Ziffer – und soll auf die flimmernde Scheibe schauen, die am besten mit dieser vorgestellten Form übereinstimmt. Da jede Scheibe in einem einzigartigen Rhythmus flimmert, kann die elektrische Gehirnantwort auf diesen Rhythmus vom Stirnband erfasst werden. Durch die Analyse dieser sogenannten steady-state visual evoked potentials kann das System erkennen, auf welche Scheibe die Person ihre Aufmerksamkeit richtet, und diese Scheibe als kleinen Baustein der mentalen Zeichnung behandeln.

Bild Schritt für Schritt aufbauen

Die Zeichnung erscheint nicht auf einmal. Stattdessen läuft der Prozess in kurzen Durchgängen von einigen Sekunden. In jedem Durchgang wählt die Versuchsperson die Scheibe mit der besten Überschneidung zu ihrem vorgestellten Objekt. Das System zeichnet auf, wie stark das Gehirn reagiert, und vergibt ein Gewicht für diese Scheibe. Über 25 solcher Durchgänge werden diese gewichteten Scheibenpositionen wie Punkte auf einer Leinwand aufsummiert, um ein Bild zu formen. Eine ausgeklügelte „Policy“ entscheidet dann, wo die nächsten Scheiben platziert werden sollen, und konzentriert die Abtastung auf die vielversprechendsten Bildschirmbereiche. Eine Version dieser Policy ist von der Art inspiriert, wie das frühe visuelle System Kanten und Texturen erkennt; eine andere, schnellere, nutzt maschinell gelernte Bausteine, die aus Tausenden handgeschriebener Ziffern abgeleitet wurden. In beiden Fällen passt sich der Computer an die wachsende Zeichnung an und nähert sich der Intention der Nutzerin bzw. des Nutzers an.

Wie gut funktioniert das Mind‑Drawing?

Acht Freiwillige nutzten die Basisversion des Systems, um jeweils drei einfache Formen zu zeichnen. Das Team verglich die mental gezeichneten Ergebnisse mit handgezeichneten Zielbildern und fand im Mittel eine gute Übereinstimmung: Die rekonstruierten Formen erfassten die Hauptstruktur der beabsichtigten Buchstaben und Symbole, auch wenn sie nicht pixelgenau waren. Mithilfe der Informationstheorie schätzten die Forscher dann, wie viel nutzbare Information pro Sekunde dieser Prozess überträgt. Das adaptive Mind‑Drawing erreichte etwa 1,3 Bits pro Sekunde – bereits mehr als das, was für herkömmliche unidirektionale BCIs mit derselben Hardware prognostiziert wird. Als sie die datengesteuerte Policy aktivierten, die auf Ziffern zugeschnitten ist, stieg die Informationsrate auf über 4 Bits pro Sekunde, allerdings mit der Einschränkung, dass die Formen denen in den Trainingsdaten ähneln müssen.

Von groben Skizzen zu reichen Bildern

Um zu erforschen, wofür solche groben, gehirngeführten Skizzen genutzt werden könnten, kombinierten die Forscher sie mit einem modernen Bildgenerator (Stable Diffusion). Das System erzeugt dabei zuerst die grobe mental gezeichnete Form und speist sie dann zusammen mit einer Textbeschreibung in den Bildgenerator, der Details und Stil ergänzt. Bei Eingaben wie Roboter, Baum, Lampe oder Flugzeug führten zwei verschiedene Mind‑Drawing‑Sitzungen mit demselben Prompt zu unterschiedlichen, aber erkennbar verwandten Endbildern. Das zeigt, wie einfache neuronale Skizzen eines Tages reichhaltige, personalisierte Grafiken für Kommunikation oder Kreativität anstoßen könnten, während die Detailarbeit von der künstlichen Intelligenz übernommen wird und nicht allein von der Gehirnschnittstelle.

Warum das wichtig ist und was als Nächstes kommt

Die Arbeit zeigt, dass Menschen mit nur einem kostengünstigen Hirnsensor und einem cleveren, feedbackgesteuerten Design einen Computer anleiten können, grundlegende vorgestellte Formen in etwa zwei Minuten zu rekonstruieren – und manchmal bei Ziffern in weniger als einer Minute. Der entscheidende Fortschritt besteht nicht nur im Dekodieren von Hirnsignalen, sondern in der Schaffung einer echten Partnerschaft, in der der Computer seine Vermutungen wiederholt verfeinert und der Mensch einfach die beste Entsprechung auswählt. Obwohl die Methode derzeit noch auf einfache Formen beschränkt ist und auf flimmernde Reize angewiesen ist, deutet sie auf zukünftige Werkzeuge für Menschen hin, die nicht leicht sprechen oder sich bewegen können, sowie für Künstler oder Designer, die visuell im Gedankenfluss brainstormen möchten.

Zitation: Wang, G., Huang, Y., Muckli, L. et al. Symbiotic brain-machine drawing via visual brain-computer interfaces. npj Biomed. Innov. 3, 31 (2026). https://doi.org/10.1038/s44385-026-00086-6

Schlüsselwörter: Gehirn-Computer-Schnittstelle, mentales Zeichnen, EEG, visuelle Vorstellungskraft, assistive Kommunikation