TU Berlin

Neuronale InformationsverarbeitungApproximatives Reinforcement Learning

Neuronale Informationsverarbeitung

Inhalt

zur Navigation

Approximatives Reinforcement Learning

Lupe

Vollständig autonom mit ihrer Umgebung interagierende Agenten (z.B. Menschen oder Roboter) stellen das maschinelle Lernen vor ganz neue Herausforderungen. Ein Agent muss zukünftige Vorteile von Entscheidungen gegen deren Kosten aufwiegen, ohne (wie im maschinellen Lernen sonst üblich) dabei von einem menschlichen Experten angewiesen zu werden oder seine Umgebung zu kennen. Exakte Lösungen hiervon, wie sie im Feld des Reinforcement Learnings entwickelt wurden, skalieren sehr schlecht mit der Komplexität des zu lösenden Problems. Deshalb findet diese wohl fundierte Theorie in der Praxis kaum Anwendung. Dieses Projekt will das Problem durch Approximation der Lösungssuche überwinden, ohne dabei irrationales Verhalten zu erzeugen oder in Sackgassen stecken zu bleiben. Die verwendeten Methoden passen sich selbstständig an Gegebenheiten und Eingabedaten an und können direkt mit den Sensorinformationen des Agenten arbeiten. Auf diese Weise wird eine komplette Wahrnehmung/Handlung Schleife erzeugt. Neu entwickelte Algorithmen werden in Simulationen und an Robotern getestet.

Danksagung: Diese Forschung wurde/wird von der Deutschen Forschungsgemeinschaft (DFG),
dem Human-Centric Communication Cluster (H-C3) und der Technischen Universität Berlin
gefördert.

Ausgewählte Publikationen:

Regularized Sparse Kernel Slow Feature Analysis
Zitatschlüssel Boehmer2011
Autor Böhmer, W. and Grünewälder, S. and Nickisch, H. and Obermayer, K.
Buchtitel Lecture Notes in Computer Science
Seiten 235–248
Jahr 2011
Jahrgang 6911
Monat September
Herausgeber Gunopulos, D.; Hofmann, Th.; Malerba, D.; Vazirgiannis, M.
Verlag Springer-Verlag Berlin Heidelberg
Serie LNAI 6911
Kapitel Machine Learning and Knowledge Discovery in Databases
Zusammenfassung This paper develops a kernelized slow feature analysis (SFA) algorithm. SFA is an unsupervised learning method to extract features which encode latent variables from time series. Generative relationships are usually complex, and current algorithms are either not powerful enough or tend to over-fit. We make use of the kernel trick in combi- nation with sparsification to provide a powerful function class for large data sets. Sparsity is achieved by a novel matching pursuit approach that can be applied to other tasks as well. For small but complex data sets, however, the kernel SFA approach leads to over-fitting and numeri- cal instabilities. To enforce a stable solution, we introduce regularization to the SFA objective. Versatility and performance of our method are demonstrated on audio and video data sets.
Typ der Publikation Selected:reinforcement
Link zur Originalpublikation Download Bibtex Eintrag

Navigation

Direktzugang

Schnellnavigation zur Seite über Nummerneingabe