Tierbewegungen in Echtzeit erfassen

Verhaltensforschende an der EPFL stellen DeepLabCut-Live! vor, ein Deep-Learning-Werkzeug, das Echtzeit-Feedback-Studien über Bewegung und Körperhaltung von Tieren ermöglicht. Die Software bietet eine «markerlose» Echtzeit-Bewegungserfassung, kann mit Labor-Hardware für neurologische Analysen verbunden werden und ist jetzt als Open Source für Forschende verfügbar.
Quelle: Pixabay

Gollum in «Der Herr der Ringe», Thanos in «Avengers», Snoke in «Star Wars», die Na'vi in «Avatar»: Wir alle haben die Wunder von Motion Capture erlebt, einer Kinotechnik, die die Bewegungen eines Schauspielers verfolgt und sie in Computeranimation «übersetzt», um einen sich bewegenden, emotionalen – und vielleicht eines Tages Oscar-prämierten – digitalen Charakter zu schaffen.

Aber was viele vielleicht nicht wissen, ist, dass Motion Capture nicht auf die grosse Leinwand beschränkt ist, sondern bis in die Wissenschaft hineinreicht. Verhaltensforschende haben ähnliche Werkzeuge entwickelt und eingesetzt, um die Körperhaltung und Bewegung von Tieren unter verschiedenen Bedingungen zu untersuchen und zu analysieren. Aber Motion-Capture-Ansätze erfordern auch, dass die Versuchsperson einen komplexen Anzug mit Markern trägt, die dem Computer «mitteilen», wo sich jeder Körperteil im dreidimensionalen Raum befindet. Das mag für eine professionelle Schauspielerin in Ordnung sein, aber Tiere schätzen es nicht, angezogen zu werden.

Um das Problem zu lösen, haben Wissenschaftlerinnen und Wissenschaftler begonnen, Motion Capture mit Deep Learning (oder auf Deutsch tiefes Lernen) zu kombinieren, eine Methode, bei der sich ein Computer im Wesentlichen selbst beibringt, wie man die Ausführung einer Aufgabe optimiert, z.B. das Erkennen eines bestimmten «Schlüsselpunkts» in Videos. Die Idee besteht darin, dem Computer beizubringen, die Bewegungen oder Körperhaltung eines Tieres zu verfolgen und sogar vorherzusagen, ohne dass Bewegungserfassungsmarker erforderlich sind.

Um für die Verhaltensforschung von bedeutendem Nutzen zu sein, müssen «markerlose» Tracking-Tools es den Forschenden aber auch ermöglichen, die neuronale Aktivität des Tieres schnell – buchstäblich in Echtzeit – zu kontrollieren oder zu stimulieren. Dies ist besonders wichtig bei Experimenten, die herauszufinden versuchen, welcher Teil des Nervensystems einer bestimmten Körperbewegung zugrunde liegt.

DeepLabCut: Tiefes Lernen, markerlose Haltungsverfolgung

Eine der Wissenschaftlerinnen, die den markerlosen Ansatz anführen, ist Mackenzie Mathis, die vor kurzem von Harvard an die Fakultät für Life Sciences der EPFL wechselte. Mathis' Labor hat eine Software-Toolbox mit dem Namen DeepLabCut entwickelt, die Tierbewegungen in Echtzeit direkt vom Video aus verfolgen und identifizieren kann. Jetzt stellen Mathis und Harvard-Postdoktorand Gary Kane in einem in eLife veröffentlichten Artikel eine neue Version namens DeepLabCut-Live! (DLC-Live!) vor, die sich durch eine geringe Latenz (innerhalb von 15 msec bei über 100 FPS) auszeichnet – ein Zusatzmodul zur Vorhersage von Körperhaltungen sorgt sogar für eine latenzfreie Rückmeldung – und in andere Softwarepakete integriert werden kann.

DeepLabCut wurde ursprünglich entwickelt, um zu untersuchen und zu analysieren, wie Tiere ihre Haltung als Reaktion auf Veränderungen in ihrer Umgebung anpassen: «Wir interessieren uns dafür, wie neuronale Schaltkreise das Verhalten steuern und insbesondere, wie sich Tiere an schnelle Veränderungen in ihrer Umgebung anpassen», so Mathis.

«Man giesst zum Beispiel Kaffee in einen Becher, und wenn er voll ist, hat er ein bestimmtes Gewicht. Während man ihn trinkt, ändert sich das Gewicht, aber man braucht nicht aktiv darüber nachzudenken, wie man seine Griffkraft verändert oder wie sehr man den Arm heben muss, um den Mund zu erreichen. Das ist eine ganz natürliche Sache und wir können uns sehr schnell an diese Veränderungen anpassen. Aber dazu bedarf es tatsächlich einer riesigen Menge miteinander verbundener Neuroschaltkreise, vom Kortex bis zum Rückenmark.»

«Wir interessieren uns dafür, wie neuronale Schaltkreise das Verhalten steuern und insbesondere, wie sich Tiere an schnelle Veränderungen in ihrer Umgebung anpassen.»      Mackenzie Mathis

DLC-Live! ist eine neue Version einer extrem fortschrittlichen «Animal Pose Estimation Software», die benutzerdefinierte Netzwerke zur Vorhersage der Bewegungen von Tieren auf Grundlage von Video-Frames verwendet und offline bis zu 2500 FPS auf einer Standard-GPU ermöglicht. Seine Hochdurchsatzanalyse macht es für die Untersuchung und Sondierung der neuronalen Verhaltensmechanismen unverzichtbar. Dank der geringen Latenzzeit dieses neuen Sorftwarepakets können Forschende jetzt Feedback zu den Tieren in Echtzeit geben und die Verhaltensfunktionen spezifischer neuronaler Schaltkreise testen. Und, was noch wichtiger ist: Es kann mit der in Haltungsstudien verwendeten Hardware verbunden werden, um Feedback zu den Tieren zu geben.

«Dies ist wichtig für unser eigenes Forschungsprogramm, bei dem wir in der Lage sein wollen, das Verhalten eines Tieres zu manipulieren», erklärt Mathis. «In einer Verhaltensstudie, die wir durchführen, trainieren wir zum Beispiel im Labor eine Maus darauf ein Videospiel zu spielen, und wir wollen bestimmte Neuronen oder Hirnschaltkreise in einem ganz bestimmten Zeitfenster abschalten, d.h. einen Laser auslösen, um Optogenetik zu betreiben oder eine externe Belohnung auszulösen.»

«Wir wollten DLC-Live! so benutzerfreundlich wie möglich gestalten und es für jede Spezies in jeder Umgebung einsetzbar machen», fügt sie hinzu, «es ist wirklich modular und kann in vielen verschiedenen Kontexten verwendet werden; die Person, die die Experimente durchführt, kann mit unserer grafischen Benutzeroberfläche ganz einfach die Art der Bedingungen und das, was sie auslösen will, einstellen. Wir haben auch die Möglichkeit eingebaut, es mit anderen gängigen neurowissenschaftlichen Plattformen zu verwenden.» Zwei dieser gängigen Plattformen sind Bonsai und Autopilot, und in dem Papier zeigen Mathis und ihre Kollegen, die diese Softwarepakete entwickelt haben, wie DLC-Live! einfach mit ihnen arbeiten kann.

«Es ist wirtschaftlich, es ist skalierbar, und wir hoffen, dass dieser technische Fortschritt dazu dient, noch mehr Fragen dazu zu stellen, wie das Gehirn das Verhalten steuert», so Mathis.

Weitere Informationen

Andere Mitwirkende

  • Harvard University
  • NeuroGEARS
  • Institute of Neuroscience
  • University of Oregon

Finanzierung

  • Rowland-Institut an der Harvard-Universität
  • Chan Zuckerberg-Initiative DAF
  • Gemeinschaftsstiftung Silicon Valley
  • Harvard-Preis für Geist, Gehirn und Verhalten
  • Nationaler Wissenschaftsfonds

Literaturhinweis

Gary Kane, Gonçalo Lopes, Jonny L. Saunders, Alexander Mathis, Mackenzie W. Mathis. Real-time, low-latency closed-loop feedback using markerless posture tracking. eLife 08 December 2020;9:e61909 DOI: 10.7554/eLife.61909