direkt zum Inhalt springen

direkt zum Hauptnavigationsmenü

Sie sind hier

TU Berlin

Inhalt des Dokuments

Neuronale Informationsverarbeitung

Wir beschäftigen uns mit den Grundlagen der Informationsverarbeitung in biologischen Systemen. Einerseits möchten wir die Funktionsmechanismen unseres Gehirns verstehen, andererseits machen wir uns die Strategien biologischer Systeme in Anwendungen maschinellen Lernens zu Nutze. Unsere Forschungsinteressen sind thematisch in drei Bereiche unterteilt.

Modelle neuronaler Systeme:

Lupe

In Zusammenarbeit mit Neurobiologen und Klinikern erforschen wir die Mechanismen der Informationsverarbeitung im visuellen System. Die Forschungsthemen behinhalten: Kortikale Dynamik, die Repräsentation visueller Information, Adaptation und Plastizität, sowie die Rolle von Rückkopplung. Seit jüngerer Zeit beschäftigen wir uns mit dem Zusammenhang von Wahrnehmung und kognitiven Funktionen. Hier untersuchen wir mathematische Modelle der Entscheidungsfindung in unbekannten Umgebungen hinsichtlich der Frage, wie die zugrunde liegenden Prozesse mit Wahrnehmung und Gedächtnis wechselwirken.

Maschinelles Lernen und neuronale Netze:

Lupe

Hier befassen wir uns mit dem künstlichen Erlernen von Zusammenhängen anhand von Beispielen, um Vorhersagen und Entscheidungen zu treffen. Die Forschungsthemen umfassen: Lernen geeigneter Darstellungen/Abbildungen, aktive und halbüberwachte Lernverfahren, sowie Prototyp-bezogene Methoden. Inspiriert durch die Modell-basierte Erforschung jener Vorgänge, welche für die Entscheidungsfindung eine zentrale Rolle spielen, haben wir begonnen Belohnungs- bzw. Bestrafungs-Lernen zu untersuchen und erweitern. Zusammen mit Spezialisten aus verschiedenen Anwendungsbereichen setzen wir maschinelles Lernen etwa zur Wiedergewinnung von Informationen ein, für maschinelles Sehen oder in der Chemoinformatik.

Analyse neuronaler Daten:

Lupe

Hier wenden wir maschinelles Lernen und statistische Verfahren zur Analyse multivariater biometrischer Daten an, insbesondere Daten, welche eine Grundlage für unsere computergestützten Studien neuronaler Systeme bilden. Die Forschungsthemen variieren und beinhalten gegenwärtig Spike-sorting und die Analyse von Multi-Tetroden Aufnahmen, Konfokalmikroskopie und 3D-Rekonstruktionsmethoden, sowie die Analyse von Daten bildgebender Verfahren. Seit Kurzem beschäftigen wir uns mit der Analyse multimodaler Daten und korrelieren beispielsweise anatomische, genetische, und Bilddatensätze.

Ausgewählte Publikationen

Risk-sensitive Reinforcement Learning
Zitatschlüssel Shen2014b
Autor Shen, Y. and Tobia, M. J. and Sommer, T. and Obermayer, K.
Seiten 1298-1328
Jahr 2014
DOI 10.1162/NECO_a_00600
Journal Neural Computation
Jahrgang 26
Nummer 7
Zusammenfassung We derive a family of risk-sensitive reinforcement learning methods for agents, who face sequential decision-making tasks in uncertain environments. By applying a utility function to the temporal difference (TD) error, nonlinear transformations are effectively applied not only to the received rewards but also to the true transition probabilities of the underlying Markov decision process. When appropriate utility functions are chosen, the agents' behaviors express key features of human behavior as predicted by prospect theory (Kahneman and Tversky, 1979), for example different risk-preferences for gains and losses as well as the shape of subjective probability curves. We derive a risk-sensitive Q-learning algorithm, which is necessary for modeling human behavior when transition probabilities are unknown, and prove its convergence. As a proof of principle for the applicability of the new framework we apply it to quantify human behavior in a sequential investment task. We find, that the risk-sensitive variant provides a significantly better fit to the behavioral data and that it leads to an interpretation of the subject's responses which is indeed consistent with prospect theory. The analysis of simultaneously measured fMRI signals show a significant correlation of the risk-sensitive TD error with BOLD signal change in the ventral striatum. In addition we find a significant correlation of the risk-sensitive Q-values with neural activity in the striatum, cingulate cortex and insula, which is not present if standard Q-values are used.
Typ der Publikation Selected:publications selected:main
Link zur Publikation Link zur Originalpublikation Download Bibtex Eintrag

Nach oben