Roboter zu Flugscharen!

Ein Schwarm von 100 Drohnen über der Donau war spektakulärer Höhepunkt der »Ars Electronica«. Das Medienkunstfestival leitete unter dem Titel »Radical Atoms« eine neue Ära in der Verknüpfung des Digitalen mit dem physischen Realraum ein. Dabei werden Daten physisch erfahrbar gemacht und neue Materialien entwickelt, die direkt auf biologische Prozesse reagieren. Dank dieses neuen großen Forschungsgebiets tritt jetzt auch die Medienkunst aus den dunklen kubischen Projektionsräumen heraus.

Hiroshi Ishii ist ein erklärter Pixelgegner. Der 60-jährige Japaner, der seit 20 Jahren dem Tangible Media Lab - der Forschungsschmiede des Massachusetts Institute of Technology (MIT) - vorsteht, spricht gern verächtlich vom »Pixeluniversum«, das man nicht anfassen, nicht spüren und nur mit den Augen betrachten kann. »Wir haben doch Hände, aber bei vielen der neuen digitalen Technologien benutzen wir sie gar nicht mehr. Was für eine Verschwendung!«, klagte er gegenüber »nd« bei dem diesjährigen Festival in Linz. Die wenigen Handbewegungen an Maus, Joystick oder Fernbedienung und selbst die derzeit möglichen Bewegungen mit Datenhandschuhen reichen Ishii nicht aus. In seiner Gruppe der »berührbaren Medien« kreiert er deshalb neue Schnittstellen, über die der Mensch händig in den digitalen Raum eingreifen kann.

Bei »SandScape« etwa, einem bereits 2002 entwickelten Projekt, gleiten die Hände durch einen mit kleinen Glasperlen gefüllten Tischsandkasten und formen in Windeseile dreidimensionale Objekte aller Art. Diese Objekte werden in Echtzeit gescannt und auf einen Monitor übertragen. Von diesen Strukturen wiederum können umgehend Daten wie Volumen und Oberflächeninhalt ermittelt und einzelne Sektionen digital herausgelöst werden. Ishii hatte bei dem Gerät ursprünglich an Geologen und Geografen gedacht. »Es kann aber auch bei Gestaltungsprozessen von Architekten und Stadtplanern hilfreich sein«, meinte er.

»Inform«, seit 2012 in Entwicklung, verfolgt einen anderen, auf den ersten Blick sogar magisch anmutenden Ansatz. Über eine quadratische Fläche aus 900 Feldern streichen Hände. Sie berühren die Felder nicht. Trotzdem erheben sich entsprechend der fließenden Gesten einzelne Felder in die Luft und formieren sich zu einer Welle.

Auch Klänge können damit moduliert werden. Grundlage ist eine Verbindung aus Trackingtechnologien, die die Bewegungen der Hände aufzeichnen, mit einem Steuerungssystem von 900 kleinen Motoren, die unter jedem einzelnen Feld angeordnet sind. Zwei miteinander verbundene »Inform«-Systeme können sogar so etwas Ungewöhnliches wie physische Telepräsenz herstellen. Legt Person A an einem Ort A ihre Arme auf das »Inform«-Feld, so sind die Eindrücke dieser Arme auf dem Feld von Person B an einem anderen Ort nicht nur sichtbar, sondern sogar berührbar. Aus dem Monitorbild vor Person B, das den Oberkörper von Person A zeigt, wachsen dann die dreidimensionalen Umrisse von deren Armen heraus. Das ist dann zwar noch nicht die Teleportation à la »Raumschiff Enterprise«. In den 50 Jahren seit der Erstausstrahlung der Serie kam man aber wohl noch nie so nah an das Beamen wie eben Ishii mit »Inform«.

Das Modellieren realer Objekte durch Gesten im Luftraum ist nicht auf Ishiis Gruppe beschränkt. Der Grazer Musiker, Kybernetiker und Psychologe Werner Jauk stellte in Linz Verfahren vor, in denen man durch Gesten in der Luft das Rauschen von Laub im Wind erzeugen und sogar die Umrisse eines Baums »ertasten« und in Klang umsetzen konnte. In einem weiteren Projekt Jauks konnte man mit dem ganzen tanzenden Körper Klangkompositionen erzeugen.

Hohe Töne waren dabei oben angesiedelt, tiefe Töne unten. Jauk sieht allein in diesen bereits durch ihre ästhetische Qualität überzeugenden Projekten ganz praktische Anwendungsmöglichkeiten. »Informationen über die Dichte und Entfernung von Verkehrsstaus könnten so übermittelt werden. Im Rehabilitationsbereich können Patienten Informationen über Fehlhaltungen und falsche Bewegungen erhalten und, geleitet vom Klang, die optimale Bewegung einüben«, erklärte Jauk dem »nd«.

Auf dem riesigen Festivalparcours in der ehemaligen Paketzentrale der Deutschen Post wurden aber auch zahlreiche rohe Projekte vorgestellt, die die Bastel- und Tüftelebene noch gar nicht verlassen haben. Eine japanische Studentengruppe etwa entwickelte eine mit einem Motor gesteuerte Miniskulptur aus Papier, die im Takt der Herzfrequenz eines daran angeschlossenen Menschen pulsierte.

Angehörige könnten so den Herzschlag ihrer im Krankenhaus befindlichen Liebsten spüren, versprachen die Studenten. Größere ästhetische Qualität hatten die Kleider der niederländischen Modedesignerin Iris van Herpen. Sie sahen nicht nur extravagant aus, sondern bestanden aus mit Bakterien versehenen Materialien, die sich je nach Nervenfunktionen der Trägerin veränderten; Schlitze in den Kleidern verhielten sich wie sich öffnende oder schließende Poren, kleine Stachel stellten sich auf oder zogen sich zurück.

In eine gänzlich neue Dimension stieß das große »Drone Project« von »Ars Electronica« und dem bekannten Chip-Hersteller Intel vor. 100 computergesteuerte Drohnen zeichneten dabei eine Raumchoreografie in den Nachthimmel über der Donau. Die Auflösung von nur 100 Pixel erinnerte zwar an die ganz frühe Computergrafik. Die räumliche Qualität dieser Pixel, die sich zu Objekten, vor allem aber zu blinkenden Strukturen verbanden, ist aber außerordentlich.

Zur Abgrenzung von den nicht anfassbaren digitalen Pixeln nennen die Initiatoren diese Grundelemente daher auch »Spaxel« - eine Verbindung aus »Space« und »Pixel«. Intel, deren kürzlich dazugekaufte Drohnenbaufirma Ascending aus München die Fluggeräte herstellte, widmet sich dem Gebiet des Drohnenschwarmsteuerns vor allem wegen der neuen kommerziellen Möglichkeiten - etwa bei Inspektionsflügen für Bohrinseln, Brückenkonstruktionen und Wolkenkratzern, aber auch für Such- und Rettungsflüge oder Inspektionen von landwirtschaftlichen Nutzflächen. »Unser nächstes Ziel ist es, einen Schwarm von 1000 Drohnen zu steuern«, meinte selbstbewusst Intels Vizepräsident Anil Nanduri im Gespräch mit dem »nd«.

Die digitale Welt drängt, so zeigte sich bei dieser »Ars Electronica«, mit aller Macht in den physischen Raum. Nach der Modewelle der Immersionstechnologien mit Hilfe von Datenbrillen, bei denen die Schnittstelle eben das mit Illusionen gefütterte Auge ist, schlägt das Pendel jetzt wieder in den Fühl-, Tast- und Greifraum zurück. Der Begriff »Radical Atoms« bezeichnet dabei diese neuen Materialformen.

Entstanden ist diese Forschungs- und Technologierichtung auch aufgrund eines sentimentalen Impulses. Informatiker Ishii wollte trotz aller Computer nicht auf das traditionelle Rechengerät Abakus verzichten, mit dem man durch Verschieben von Kugeln alle vier Grundrechenarten praktizieren und sogar Quadrat- und Kubikwurzeln ziehen konnte.

Werde Mitglied der nd.Genossenschaft!

Seit dem 1. Januar 2022 wird das »nd« als unabhängige linke Zeitung herausgeben, welche der Belegschaft und den Leser*innen gehört. Sei dabei und unterstütze als Genossenschaftsmitglied Medienvielfalt und sichtbare linke Positionen. Jetzt die Beitrittserklärung ausfüllen.
Mehr Infos auf www.dasnd.de/genossenschaft