Vortrag: Stand und Entwicklung von Serious Games

Fakultät für Informatik

Stand und Entwicklung von Serious Games im Bereich Prävention und Gesundheit Prof. Dr. Daniel Görlich

STAATLICH ANERKANNTE FACHHOCHSCHULE

Kurzvita

› › › › ›

›

1979 geboren

1999 Studium Informatik & Psychologie 2005 (Senior) Consultant und Teamleiter, Zentrum für Mensch-Maschine-Interaktion (ZMMI) am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) parallel Promotion (2009) 2010 Manager am Fraunhofer-Institut für Experimentelles Software Engineering (IESE)

2011 Berufung an die SRH Hochschule Heidelberg: Fakultät für Informatik  Studiendekan „Virtuelle Realitäten“

Virtuelle Realitäten für Serious Games

› ›

voll-immersive VR kaum möglich

Fokus auf Bildprojektion und Bewegungserkennung

› › ›

Druck, Vibration, Temperatur?

Hindernisse, Bodenunebenheiten?

Gerüche und Geschmack?

Konzept einer hochgradig immersiven VR

Virtuelle Realitäten für Serious Games

› › › ›

geringer Realismus genügt für Therapie-Zwecke

menschliche Vorstellungskraft ergänzt VR  Immersion Virtual Reality (Immersion / Exposure) Therapy Arachnophobie

›

seit 1999

Projekt „Arachnophobia Therapy Through Virtual Reality“ (1999)

Virtuelle Realitäten für Serious Games

› › › ›

geringer Realismus genügt für Therapie-Zwecke

menschliche Vorstellungskraft ergänzt VR  Immersion Virtual Reality (Immersion / Exposure) Therapy „Telemental Health VR Project“

› › › ›

„Virtual Iraq“ seit 2005 5 Mio. US-$ Erfolgsrate >70%

Das Telemental Health VR Project konfrontiert Irak-Veteranen mit Post-traumatic Stress Disorder (PTSD) mit der Software „Virtual Iraq“

Virtuelle Realitäten für Serious Games

›

Fokusverschiebung: Rehabilitation  Prävention, Fitness, …

›

›

Anforderungen:

› › ›

›

Spaßfaktor / Motivation erhöht Erfolg

Privatnutzer & Krankenkassen suchen kostengünstige Lösungen Anwendbarkeit erfordert „Natural User Interfaces“ (NUI) gezielter Einsatz erfordert Personalisierung (z.B. Trainingspläne)

Implikationen:

› › ›

Verzicht auf Spezialkleidung & Zusatzgeräte

Trend zu kamerabasierten Systemen + Augmented Reality / Virtuality Allrounder statt Spezialgeräte  Spielekonsolen?

Sony

›

2003 EyeToy für PS2, 2007 Eye für PS3

›

primär Bild- und Videoaufnahme

 in-game (z.B. für Tanzspiele)  Bewegungs- & Gestenerkennung  nur in hell erleuchteten Räumen

›

›

eher Kult als gut

2005: Exergame „EyeToy: Kinetic“

› › ›

entwickelt von Sony & Nike Motionsworks Zonen: Cardio, Combat, Toning, Mind & Body Personal Trainer Mode: 12 Wochen, Stufen

Sony

› ›

2010: PlayStation Move Controller hauptsächlich Fitness

Nintendo Wii

› › ›

2006  1 Woche nach PS3, 1 Jahr nach Xbox 360

Wiimote + Balance Board Spiele: Wii Sports (2006), Wii Fit (2008), Wii Fit Plus (2009)

› ›

›

bessere intrinsische Motivation

Spiele kaum individualisierbar

› ›

›

Fitness spielerisch – statt medizinisch

Trainingspläne?

Systeme leicht überlistbar

Deutschland-Start Wii U: 30.11.

Microsoft Kinect

› › ›

Release: Nov. 2010

500 Mio. US-$ Marketingkampagne neue Zielgruppen:

› › ›

›

Oprah Winfrey Show Dancing with the Stars

8 Mio. Geräte in 60 Tagen

›

›

People und InStyle

Guinness-Buch-Eintrag als „fastest selling consumer electronics device“

Februar 2011: Kinect SDK für Windows

Microsoft Kinect

› › ›

Fakultäten für Informatik & Therapiewissenschaften

Evaluation für Therapiezwecke Balance-Training mit Kinect:

› › ›

Leistungsverbesserung lokaler Stabilisatoren Sprunggelenk- & Hüftgelenkstrategien Wiederholung & Geschwindigkeit

Jan Löhr

Microsoft Kinect

›

Sichtfeld der Kinect beschränkt Bewegungsfeld:

› ›

theoretisch: 0,8 bis 4,0 Meter praktikabel: 1,2 bis 3,5 Meter

Microsoft Kinect

› › ›

Tiefensensor

Tracking States verfolgen verdeckte Joints Messungenauigkeiten

Microsoft Kinect

› ›

Skeleton frame streams

20 Joints pro Person für maximal 2 verfolgbare Personen

Microsoft Kinect

› ›

Skeleton frame streams

20 Joints pro Person für maximal 2 verfolgbare Personen

› › ›

RAMSIS: 53 Joints, 104 Freiheitsgrade (DoF) Human Builder: 99 Joints, 148 DoF Jack: 68 Joints, 135 DoF

Zwischenfazit

›

Fazit:

› › ›

›

Messungenauigkeiten  Feintuning, Einlernen, Algorithmen vereinzelte Spiele statt umfassende individuelle Trainingsprogramme

Empfehlung:

› ›

›

beschränkte Wahrnehmung (20 joints, Verdeckung, keine Objekte)

Reiz-Reaktions-Training, wiederholte Übungen, Sport ungeeignet für präzise Bewegungen (lokale Stabilisatoren, Feinmotorik, …)

Bedarf:

› › ›

zusätzliche Sensorik Autorenwerkzeuge, Trainingsplan-Generierung Datenerfassung und -übermittlung

Weiterführende Projekte

›

Motivotion60+ (09/2009 – 08/2012 mit 4,1 Mio. €)

› ›

BMBF-gefördertes AAL-Verbundprojekt Anbindung verschiedenster Vitaldaten-Sensoren

 basierend auf Projekten wie HugMe oder Sierra

›

Trainingspläne mittels Autorenwerkzeug StoryTec (für Lernspiele)

Weiterführende Projekte

›

Fraunhofer FIRST: Projekt MyRehab (08/2009 – 07/2012)

›

Kinect zur Datenerfassung  zusätzliche Box „Reha@Home“

 Auswertung zusätzlicher Sensoren: Herzfrequenz, …  Daten-Speicherung & ggfs. Weiterleitung an Therapeut oder Arzt

VIELEN DANK FÜR IHRE AUFMERKSAMKEIT!

ZUSATZFOLIEN

Virtuelle Realität

› › ›

virtuelle, augmentierte und gemischte Realitäten

breite Anwendung technische Hilfsmittel: Head-Mounted Displays und Retinal Displays

Das große Sarah Wiener Kochspiel

› › ›

Entwicklung unterstützt von der TK

nominiert als Bestes Serious Game (Dt. Computerspielpreis 2010) Lernspiel für gesunde & abwechslungsreiche Ernährung

Microsoft Kinect

›

Kinect als 3D-Scanner

› ›

Microsoft Research: Projekt „Kinect Fusion“ Software „ReconstructMe“ der PROFACTOR GmbH:

XaviX® Port

› › › › ›

2004 Newcomer: SSD COMPANY LIMITED, www.xavix.com Datenhandschuhe, Bewegungserkennung virtuelle Repräsentation der Spielerbewegungen  Immersion sehr schnell  Fokus auf Sportspiele

›

Tennis- & Baseballschläger, Boxhandschuhe, Golfschläger, Angeln u.v.a.