The ISAS website has moved. Please see our new website.

Nicht nur in der Fiktion ist es möglich, Abenteuer in entfernten Orten, wie z.B. entfernten Planeten, realitätsnah zu erleben. Mittels Telepräsenz-Techniken ist es heute schon möglich, sich in einen Avatar in einer entfernten Umgebung hineinzuversetzen - durch dessen Augen zu sehen, durch dessen Ohren zu hören und sogar dasselbe zu spüren.

Einen Ausblick auf die Möglichkeiten sich in einen Avatar hineinzuversetzen bieten innovative Bedienkonzepte aktueller Spielekonsolen, wie Microsoft Kinect, Nintendo Wii oder Sony Move. Mithilfe der „weiträumigen Telepräsenz“ kann ein Avatar durch eigenes Umhergehen in beliebig großen Welten natürlich gesteuert werden. Die Umgebungen können sowohl virtuell, als auch real sein. So können ferngesteuerte Crawler, Drohnen oder mobile Roboter für den Benutzer Eindrücke aus der entfernten, realen Zielumgebung sammeln oder der Benutzer kann in realen Szenen (tele)präsent sein, die aus Aufnahmen eines realen Kamera-Netzwerks rekonstruiert werden. Im Rahmen des Seminars werden ausgewählte Techniken der Telepräsenz und deren Umsetzung in praktikable Anwendungen behandelt.

Das Seminar richtet sich an Diplom-Studierende ab dem 5. Semester, sowie an Master-Studierende.

Zum Erwerb eines Seminarscheines müssen folgende Leistungen erbracht werden:

  • Vortrag 15 Minuten (Blockveranstaltung mit je 3-4 Vorträgen)
  • Schriftliche Ausarbeitung (5 Seiten 2-Spaltiges Format)
  • Anwesenheit bei der Einführungsveranstaltung und den Vorträgen

Anrechenbarkeit

Im Diplomstudiengang:

Für die erbrachte Leistung wird ein benoteter Seminarschein vergeben.

Im Masterstudiengang:

Die erbrachte Leistung wird mit 3 LP angerechnet.

Anmeldung

  • Die Anmeldung erfolgt persönlich bei Antonia Pérez Arias
  • Bei der Einführungsveranstaltung werden Hinweise zum Vortrag, zur Ausarbeitung und zum Seminarablauf gegeben
    • Es müssen alle angemeldeten Studenten anwesend sein
    • Die Themen, die nicht bereits vergeben wurden, werden an diesem Termin den nicht angemeldeten Studenten angeboten

Termine

  • Aktuell: Die Einführungsveranstaltung findet am Freitag, den 15.04.11 um 9:45 im Gebäude 50.20, R137 statt.
    • Folien der Einführungsveranstaltung
  • Aktuell: Die Vorträgen (im Rahmen einer gemeinsamen Blockveranstaltung mit dem ISAS-Proseminar) finden am Donnerstag, den 16.06.11 um 09:00 Uhr im Pavillon (Gebäude 50.22) statt
  • Koordination: Antonia Pérez Arias

Vorlagen

Themenbeschreibungen

Telepräsenz-Systeme: Stand der Technik

Telepräsenz vermittelt dem Menschen den Eindruck, sich an einem entfernten Ort zu befinden, indem multimodale Sinneseindrücke (z.B. visuelle, akustische und haptische Eindrücke) aus der entfernten realen oder virtuellen Umgebung aufgenommen und an den Nutzer weitergeleitet werden. Vor allem Spiele-Konsolen der jüngsten Generation vermitteln eindrucksvoll die Alltagstauglichkeit derartiger Systeme.

Im Rahmen dieser Seminararbeit soll der aktuelle Stand der Technik von Telepräsenz-Systemen recherchiert und die zugrunde-liegenden Techniken erarbeitet werden. Relevante Systeme sind neben Spiele-Konsolen auch kommerzielle Systeme und wissenschaftliche Prototypen. Abgerundet werden soll die Seminararbeit mit einem Vergleich der recherchierten realen Systeme mit fiktionalen Telepräsenz-Systemen wie sie beispielsweise in Filmen (Matrix) oder Büchern (Otherland) beschrieben werden.

Literatur:

  • Cooperstock, J. R., Multimodal Telepresence Systems, 2011.
  • Heung-Yeung Shum, Image-Based Rendering, 2007.
  • http://openkinect.org/

Telepräsenzsysteme mit haptischer Führung

Die Rückführung von haptischer Information (Kräften) ermöglicht dem Benutzer das Fühlen und die Interaktion mit Objekten in der Zielumgebung. Das System soll möglichst transparent sein, sodass der Benutzer, im Idealfall, keinen Unterschied zwischen dem realen Befinden in der Zielumgebung und der Telepräsenz bemerkt. Telepräsenzsysteme mit haptischer Führung zielen darauf, die Transparenz des Systems zu verbessern und gleichzeitig, den Benutzer bei der Durchführung einer Aufgabe in der Zielumgebung zu unterstützen. Dafür werden intelligente lokale Regler verwendet, welche die ausgetauschten Kraft- und Positionsdaten augmentieren. Bei diesem Seminarthema sollen die neuesten Arbeiten über haptische Führung vorgestellt und miteinander verglichen werden.

Literatur:

  • C. Passenberg, A. Peer, and M. Buss. A Survey of Environment-, Operator-, and Task-Adapted Controllers for Teleoperation Systems. Journal of Mechatronics (Spec. Iss. on Design & Control Meth. in Telerobotics), 20(7):787–801, 2010.
  • J. J. Abbott, P. Marayong, and A. M. Okamura. Haptic Virtual Fixtures for Robot–Assisted Manipulation. In Proceedings of the 12th International Symposium Robotics Research, pages 49–64, 2005.
  • S. Ekvall, D. Aarno, and D. Kragic. Online Task Recognition and Real-Time Adaptive Assistance for Computer-Aided Machine Control. IEEE Transactions on Robotics, 22:1029–1033, 2006.

Implizite Mensch-Maschine Kommunikation

Für viele Anwendungen, z.B. Computer-Spiele oder Mensch-Roboter Kooperation, ist es notwendig, dass der Mensch mit einem technischen System intuitiv interagiert. Um diese intuitive Kommunikation zu erreichen ist es notwendig die non-verbale, implizite Intention und für längere Zeiträume den Plan eines Menschen auf Basis von Beobachtungen zu erkennen. Die Schwierigkeit besteht in der großen Anzahl möglicher Aktionen und Aktionskombinationen, die ein Mensch durchführen kann, sowie verrauschter, fehlerbehafteter und fehlender Beobachtungen des menschlichen Verhaltens. In diesem Seminarthema sollen aktuelle Forschungsarbeiten behandelt und vorgestellt werden.

Literatur:

  • R. Goldman, F. Kabanza, & P. Bellefeuille; Plan Libraries for Plan Recognition: Do We Really Know What They Model?; In Workshop Plan, Activity, and Intent Recognition (PAIR) 2010, colocated with National Conference on Artificial Intelligence 2010 (AAAI 2010).
  • C. Geib, R. Goldman; Handling Looping and Optional Actions in YAPPR; In Workshop Plan, Activity, and Intent Recognition (PAIR) 2010, colocated with National Conference on Artificial Intelligence 2010 (AAAI 2010).
  • M. Ramirez, H. Geffner; Probabilistic Plan Recognition using off-the-shelf Classical Planners; Proceedings of the National Conference on Artificial Intelligence 2010 (AAAI 2010).

Fußgängersimulationen, Techniken und Anwendungen

Fußgängersimulationen sind ein wichtiges Werkzeug der Gebäude- und Städteplanung. Mit ihrer Hilfe können beispielsweise die Effizienz von Fluchtwegen oder die optimale Lage von Geschäften bestimmt werden. Darüber hinaus werden sie in der Unterhaltungsindustrie eingesetzt um Menschenmassen in Filmen oder Computerspielen darzustellen. Je nach Anwendungsbereich kommen verschiedene Techniken zum Einsatz um möglichst realistisches Verhalten oder effiziente Berechenbarkeit zu erreichen. Das Ziel dieses Vortrages ist es einen strukturierten Überblick über die verschiedenen Methoden zu geben und Vor- und Nachteile herauszustellen.

Literatur:

  • Multi-agent Systems in Pedestrian Dynamics Modeling -- Was, Kulakowski -- Computational Collective Intelligence. Semantic Web, Social Networks and Multiagent Systems.
  • A Synthetic-Vision Based Steering Approach for Crowd Simulation -- Ondrej, Pettré, Olivier, Donikian -- ACM Transactions on Graphics (TOG).
  • Modeling Stop-and-Go Waves in Pedestrian Dynamics -- Portz, Seyfried -- Parallel Processing and Applied Mathematics.

Tracking von ausgedehnten Objekten

Dieses Seminarthema beschäftigt sich mit dem Lokalisieren von ausgedehnten Objekten. Dieses Problem tritt auf, wenn ein unbekanntes Objekt mit einem hochauflösenden Sensor lokalisiert werden soll. Ein Beispiel hierfür ist ein Avatar, der mit einem Laser-Scanner Objekte in seiner Umgebung verfolgt.

Literatur:

  • K. Gilholm & D. Salmond, Spatial Distribution Model for Tracking Extended Objects Radar, Sonar and Navigation, IEE Proceedings , 2005.
  • K. Gilholm, S. Godsill, S. Maskell, and D. Salmond. Poisson models for extended target and group tracking. Proc. SPIE 5913, 2005.
  • Waxman, M. J. & Drummond, O. E. Drummond, O. E. (ed.) A Bibliography of Cluster (Group) Tracking Signal and Data Processing of Small Targets 2004, SPIE, 2004.

Verteilte Multisensor-Datenfusion: Fusionsmodelle und Algorithmen

Bei der Entwicklung von Telepräsenzsystemen ist die Nutzung und Zusammenführung einer Vielzahl heterogener Sensordaten und Informationen, z.B. visueller und akustischer Daten, notwendig. Es existieren mehrere unterschiedliche Ansätze, geeignete Fusionsarchitekturen aufzubauen und verrauschte oder sich sogar widersprechende Daten zu verarbeiten.

Literatur:

  • Liggins, Hall, Llinas, "Handbook of Multisensor Data Fusion", CRC Press, 2009.
  • Chong, "Distributed Architectures for Data Fusion", Proceedings of First International Conference on Multisource Multisensor Information Fusion, 1998.

Registrierung und Rekonstruktion von 3D-Punktwolken

Die virtuelle Telepräsenz ermöglicht es, zuvor aufgenommene Objekte aus neuen Perspektiven wahrzunehmen. Eine Möglichkeit dies zu erreichen besteht darin, zunächst ein Tiefenbild dieser Objekte aus unterschiedlichen Blickwinkeln aufzunehmen. Die so gewonnenen 3D-Punktwolken sollen daraufhin zu einer gemeinsamen Punktwolke verschmolzen werden, wobei die relativen Positionen der einzelnen Kameras rekonstruiert werden müssen (Registrierung).

In dieser Seminararbeit sollen die Grundlagen der Registrierung von 3D-Punktwolken erarbeitet werden und verschiedene Algorithmen mit ihren Vor- und Nachteilen verglichen werden.

Literatur:

  • Besl, McKay "A method for registration of 3-d shapes", IEEE Transactions on pattern analysis and machine intelligence, 1992.
  • Mitra, Gelfand, Pottmann, Guibas "Registration of Point Cloud Data from a Geometric Optimization Perspective", Proceedings of the 2004 Eurographics/ACM SIGGRAPH symposium on Geometry processing, 2004.
  • Huang, Adams, Wand "Bayesian surface reconstruction via iterative scan alignment to an optimized prototype", Proceedings of the fifth Eurographics symposium on Geometry processing, 2007.

Akustische Quellenlokalisierung und immersive Audiowiedergabe

Die auditorische räumliche Wahrnehmung des Menschen ist sehr ausgeprägt, weshalb der Immersionseindruck in die entfernte/virtuelle Umgebung neben dem visuellen Feedback um eine Audiokomponente ergänzt werden soll. Dabei geht es einerseits darum, Sprecher oder andere Sound-Emitter zu lokalisieren und diese "Quellen" daraufhin in der 3D-Umgebung zu platzieren. Das horizontale Richtungshören kann bereits mit Stereokopfhörern ermöglicht werden, es sollen aber auch Ansätze mit einer größeren Zahl von Lautsprechern verfolgt werden, um die Vielschichtigkeit zu erhöhen. Andererseits gilt es, raumspezifische ungewünschte Hall- und Echoeffekte zu erkennen und ggf. zu eliminieren, und dafür diese bereinigten Geräusche an die Akustik des virtuellen Raums anzupassen. In dieser Seminararbeit sollen die verschiedenen Ansätze aufgezeigt und miteinander verglichen werden.

Literatur:

  • H.F. Silverman et al., A real-time srp-phat source location implementation using stochastic region contraction (src) on a large-aperture microphone array.
  • Zhang et al., Maximum Likelyhood sound source localization fo multiple directional microphones", ICASSP2007.
  • M. Brandstein und D. Ward, Microphone Arrays: Signal Processing Techniques and Applications", Springer 2001.
  • W.-G. Chen und Z. Zhang, "Highly realistic audio spatialization for multiparty conferencing using headphones", Itl. Workshop on Multimedia Signal Processing, 2009.
Meine Werkzeuge