Scene modelling for vision-based interactive systems in rehabilitation contexts

Author

Moyà Alcover, Gabriel

Director

Varona Gómez, Javier

Codirector

Jaume-i-Capó, Antoni

Date of defense

2016-09-22

Pages

105 p.



Department/Institute

Universitat de les Illes Balears. Departament de Ciències Matemàtiques i Informàtica

Abstract

The aim of this thesis is to improve vision-based interaction in rehabilitation systems. We defined and evaluated a new method of modelling scenes in the RGBD space in order to generalize the use of this kind of systems in real environments. This process has been conducted through the design and development of a vision-based interactive system in a context of rehabilitation application. We first defined a vision-based interaction system, then we developed a motivational video game. After first testing, therapists concluded that the system implemented the balance rehabilitation therapy. Preliminary results showed that users performed the rehabilitation activity in 13.5 % less time. Using the presented video game, no users have abandoned and they showed interested in continuing the rehabilitation process. We also designed an experiment in order to test the feasibility and benefit of including the mirror feedback mechanism in vision-based rehabilitation systems, because during the system development we noticed that users could not match their movements with what they saw on the screen. We define mirror feedback as the visual representation of the users inside the application as the interaction feedback. Results confirmed that in case of people with disabilities the mirror feedback facilitates the interaction. Finally, we clinically evaluate the designed system. The evaluation consisted on a 24-week physiotherapy intervention program conducted with 9 adults from a cerebral palsy center who exercised weekly in 20-minute sessions. Findings demonstrated a significant increase in balance and gait function scores resulting in indicators of greater independence for our participating adults. Scores improved from 16 to 21 points in a scale of 28, according to the Tinetti Scale for risk of falls, moving from high fall risk to moderate fall risk. From obtained results we can conclude that our experimental system is feasible for balance rehabilitation therapy. During this process we noticed that environmental conditions had a big influence in the video game performance so we have developed a scene modelling algorithm using RGBD information in order to segment the user from scene. We constructed our background model using a Kernel Density Estimation (KDE) process with a Gaussian Kernel. We used a three dimensional kernel, one dimension to model depth information and two for normalised chromaticity coordinates. We modelled sensor absent depth observations using a probabilistic strategy in order to distinguish which belongs to the background model and which are provoked by foreground objects in order to detected those ones that are induced by foreground objects. That pixels cannot be classified as background or foreground so we used a third classification class, we called undefined, in order to classify that pixels. In addition, we developed an algorithm to detect changing background objects in the same frame they move based on the cdf of the pixel model. Two strategies are described in order to adapt the update phase to the different nature of the color and depth information, considering color information as short-term model and depth as long-term one. After evaluating the proposed scene modelling approach with two datasets, results showed that it can handle several practical situations and obtain good results in all cases.


L’objectiu d’aquesta tesi és millorar la interacció basada en visió en sistemes de rehabilitació. Per aquest motiu hem construït i avaluat un nou mètode de modelat d’escenes en l’espai RGBD, per tal de generalitzar l’ús d’aquests sistemes en entorns reals. Aquest procés s’ha dut a terme mitjançant el disseny i desenvolupament d’un sistema interactiu basat en visió per computador en el context d’una aplicació de rehabilitació. En primer lloc, hem definit un sistema d’interacció basat en visió, en segon lloc hem desenvolupat un videojoc motivacional. Després d’una primera fase de proves, els terapeutes varen concloure que el sistema implementa la teràpia de rehabilitació de l’equilibri que es volia transferir. Els resultats preliminars també varen mostrar que els usuaris duien a terme l’activitat de rehabilitació amb un 13,5 % menys de temps. Amb l’ús el videojoc presentat, cap dels usuaris va abandonar la teràpia i tots es mostraren interessats a continuar el procés de rehabilitació amb el nostre sistema. A continuació, es va dissenyar un experiment per posar a prova la viabilitat i el benefici d’incloure el mecanisme de retroalimentació de mirall en els sistemes de rehabilitació basats en visió. Aquest experiment, va ser motivat per què durant el desenvolupament del sistema abans descrit, ens adonarem que els usuaris no podien equiparar els seus moviments amb el que succeïa a la pantalla. Definim retroalimentació de mirall com la representació visual dels usuaris dins l’aplicació. Els resultats d’aquest experiment varen confirmar que en cas de persones amb discapacitat, la retroalimentació de mirall facilita la interacció. Finalment, es va avaluar clínicament el sistema proposat. L’avaluació va consistir en un programa d’intervenció de fisioteràpia durant 24 setmanes. Va ser realitzat amb 9 adults d’un centre de paràlisi cerebral, realitzant sessions setmanals de 20 minuts. Els resultats varen demostrar un augment significatiu en les puntuacions d’equilibri i funció de la marxa indicant una major independència per als pacients. Les puntuacions varen millorar de 16 a 21 punts en una escala de 28, d’acord amb l’Escala de Tinetti per al risc de caigudes, passant de risc alt de caiguda a risc moderat de caiguda. Dels resultats obtinguts es pot concloure que el nostre sistema experimental és viable per a la teràpia de rehabilitació de la marxa i l’equilibri. Durant el procés abans descrit, ens adonarem que les condicions ambientals tenen una gran influència en el rendiment del videojoc, per aquest motiu, hem desenvolupat un algoritme de modelatge d’escenes utilitzant informació RGBD per tal de segmentar l’usuari de l’escena. Hem desenvolupat un nou enfocament no paramètric que unifica els diversos canals d’informació del dispositiu. També s’ha desenvolupat un model probabilístic que permet manejar aquella informació inexistent en la imatge de profunditat. Finalment s’ha creat un algorisme per detectar aquelles zones de la imatge en les que un objecte de l’escena és mogut i d’aquesta manera evitar errors de classificació. Després d’avaluar l’algorisme proposat utilitzant dos conjunts de dades, els resultats mostraren que l’algorisme pot manejar un gran ventall de situacions pràctiques i obté bons resultats en tots els casos provats.

Subjects

51 - Mathematics

Knowledge Area

Informació i Tecnologia de les comunicacions

Documents

tgmat1de1.pdf

2.436Mb

 

Rights

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)