Region-based particle filter leveraged with a hierarchical co-clustering

Autor/a

Varas González, David

Director/a

Marqués, Ferran

Data de defensa

2016-11-14

Pàgines

134 p.



Departament/Institut

Universitat Politècnica de Catalunya. Departament de Teoria del Senyal i Comunicacions

Resum

In this thesis, we exploit the hierarchical information associated with images to tackle two fundamental problems of computer vision: video object segmentation and video segmentation. In the first part of the thesis, we present a video object segmentation approach that extends the well knonw particle filter algorithm to a region-based image representation. Image partition is considered part of the particle filter measurement, which enriches the available information and leads to a reformulation of the particle filter theory. We define particles as unions of regions in the current image partition and their propagation is computed through a single optimization process. During this propoagation, the prediction step is performed using a co-clustering between the previous image object partition and a partition of the current one, which allows us to tackle the evolution of non-rigid structures. The second part of the thesis is devoted to the exploration of a co-clustering technique for video segmentation. This technique, given a collection of images and their associated hierarchies, clusters nodes from these hierarchies to obtain a coherent multiresolution representation of the image collection. We formalize the co-clustering as a Quadratic Semi-Assignment Problem and solve it with a linear programming relaxation approach that makes effective use of information from hierarchies. Initially, we address the problem of generating an optimal, coherent partition per image and, afterwards, we extend this method to a multiresolution framework. Finally, we particularize this framework to an iterative multiresolution video segmentation algorithm in sequences with small variations. Finally, in the last part of the thesis we validate the presented techniques for object and video segmentation using the proposed algorithms as tools to tackle problems in a context for which they were not initially thought.


En aquesta tesi, utilitzem la informació jeràrquica associada a les imatges per explorar dos problemes fonamentals de la visió per ordinador: segmentació d'objectes en vídeos i segmentació de vídeos. A la primera part de la tesi, presentem un enfoc per a la segmentació d'objectes en vídeos que estén l'algoritme de filtres de partícules a una representació basada en regions de la imatge. La partició de la imatge es considera part de la mesura del filtre de partícules, enriquint la informació disponible i permetent una reformulació de la teoria dels filtres de partícules. Definim les partícules com a unions de regions de la partició i la propagació es calcula utilitzant únicament un procés d'optimització. En aquesta propagació, la etapa de predicció es realitza mitjançant un co-clustering entres la partició de l'objecte a l'instant de temps anterior i la partició actual, permetent el seguiment d'estructures no rígides. La segona part de la tesi està dedicada al desenvolupament d'una tècnica de co-clustering per segmentació de vídeo. Donada una col·lecció d'imatges i les seves jerarquies associades, aquesta tècnica agrupa nodes de les jerarquies per obtenir una representació de la col·lecció d'imatges coherent en diferents resolucions. Formalitzem el co-clustering com un problema d'optimització linial i el resolem utilitzant unes restriccions que permeten utilitzar de manera efectiva la informació de les jerarquies. Inicialment, afrontem el problema generant una partició òptima coherent per imatge per, posteriorment, estendre aquest mètode a un context de multi-resolució. Finalment, particularitzem aquesta tècnica com a algoritme iteratiu de segmentació de vídeo a diferents resolucions en seqüències amb poc moviment. Finalment, a la darrera part de la tesi, validem les tècniques presentades per segmentació d'objectes en vídeo i segmentació de vídeo utilitzant els algoritmes proposats com a eines per resoldre problemes pels quals no havien estat pensats inicialment.

Matèries

004 - Informàtica; 311 - Estadística; 621.3 - Enginyeria elèctrica. Electrotècnia. Telecomunicacions

Àrea de coneixement

Àrees temàtiques de la UPC::Enginyeria de la telecomunicació

Documents

TDVG1de1 .pdf

29.50Mb

 

Drets

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

Aquest element apareix en la col·lecció o col·leccions següent(s)