Aprendizaje con máquinas núcleo en entornos de multiclasificación

Author

Angulo Bahón, Cecilio

Director

Català, Andreu

Date of defense

2001-05-23

ISBN

8469955136

Legal Deposit

B.37606-2001



Department/Institute

Universitat Politècnica de Catalunya. Departament d'Enginyeria de Sistemes, Automàtica i Informàtica Industrial

Abstract

La propiedad de generalización de una máquina de aprendizaje, es decir su capacidad para emitir una respuesta correcta ante una nueva entrada semejante a aquellas con las que ha sido entrenada, es la característica principal que se busca en los sistemas conexionistas supervisados y sirve de justificación en la elección de los principios inductivos y el tipo de estructuras de aprendizaje para elaborar el presente estudio.<br/>La regularización o penalización es uno de estos principios que favorecen a nivel teórico la generalización, sobre el cual se ha desarrollado un método de cálculo directo de la matriz de regularización cuando se utiliza como estabilizador un operador diferencial de segundo grado, precisamente aquel que minimiza el grado de convexidad de la función solución, evitando así y el proceso iterativo de cálculo de la matriz hessiana y fijando el tipo de núcleo a ser utilizado.<br/>Los nexos de unión entre la regularización y el principio de minimización del riesgo estructural así como las excelentes características teóricas mostradas por este ´ ultimo principio trabajando, por definición, sobre conjuntos finitos de datos y expandiendo su solución sobre un número pequeño de núcleos, han llevado a desplazar el foco de trabajo de numerosos investigadores<br/>hacia las máquinas de soporte vectorial, su materialización procedimental. En este contexto, se ha desarrollado una máquina que permite extender de forma natural el comportamiento binario de estas máquinas núcleo de margen máximo sobre problemas de clasificación hacia una solución ternaria m´asacorde con la estructura geométrica de los datos, en especial en las situaciones habituales de espacios de salida que poseen más de dos clases. El uso de la nueva arquitectura, bautizada K-SVCR,<br/>en problemas de multiclasificación resulta más adecuado que las reducciones estándares de problemas multiclase sobre máquinas biclasificadoras en estructuras en paralelo o arbóreas puesto que cada nodo de dicotomía considera todo el espacio de entrenamiento y se fuerza al hiperplano de separación a considerar la estructura geométrica de los patrones de entrenamiento. En especial, se demuestra la robustez del nuevo método ante fallos en las predicciones de algunos de sus nodos de trabajo cuando se considera un tipo especial de combinación de estas respuestas. La nueva arquitectura de multiclasificación ha sido modificada con posterioridad para ser implementada sobre un problema de clasificación con características independientes, la ordenación o problema de aprendizaje de preferencias. Sus prestaciones son evaluadas sobre una aplicación financiera en la determinación de riesgos crediticios. Finalmente, una aplicación de categorización o discriminación de escenarios de depuración donde incide el efecto de la temporalidad sirve también como ejemplo de funcionamiento.


The property of generalization of a learning machine, i.e. its capacity to emit a correct answer on a new similar input to those with wich it has been trained, is the basic behavior looked for in the supervised connexionists systems and it serves as justification in the selection of the inductive principles and the type of learning structures to ellaborate the present study.<br/>The penalty is one of these principles that favor at theoretical level the generalization, on which a method of direct calculation of the regularization matrix when a second degree differential operator is used like stabilizer, indeed that diminishing the convexity degree of the solution function, avoiding therefore the iterative process of calculation of the Hessian matrix, has been developed and fixing the type of kernel to be used. <br/>Links between regularization and the structural risk minimization principle as well as the excellent theoretical characteristics shown by this last principle working, by definition, on finite data sets and expanding their solution on a small number of kernels, have taken to move the center of study of numerous investigators towards the support vector machines, their procedural materialization. In this context, a machine that allows to extend of natural form the binary behavior of these maximum margin ker-nel machines on classification problems towards an agreed ternary solution with the geometric structure of the data has been developed, in special in the habitual situations of output spaces having more than two classes.<br/>The use of the new architecture, named K-SVCR, in multiclassification problems is more suitable than the standard reductions from multiclass problems on biclass machines in tree or parallel structures, since each di-chotomie node considers all the training space and force to the hyperplane of separation to consider the geometric structure of the training patterns.<br/>In special, the robustness of the new method is demostrated on failures in the predictions of some of its working nodes when a special type of combination of these answers is considered.<br/>The new architecture of multiclassification has been modified later to be implemented on a classification problem with independent characteristics, the ordenation or learning of preferences problem. Their benefits are evaluated on a financial application in the determination of credit risks. <br/>Finally, an application of categorization in waste water plant scenes, where the temporality affects, also serves like operation example.

Keywords

Multiclassificació; Aprenentatge; Automatismes

Subjects

68 - Industries, crafts and trades for finished or assembled articles

Knowledge Area

1203. Ciència dels ordinadors

Documents

01Presentacion.pdf

336.9Kb

02Capitulo1.pdf

457.2Kb

03Capitulo2.pdf

385.0Kb

04Capitulo3.pdf

365.8Kb

05Capitulo4.pdf

453.9Kb

06Capitulo5.pdf

1.803Mb

07Capitulo6.pdf

436.9Kb

08Capitulo7.pdf

483.2Kb

09Capitulo8.pdf

356.2Kb

10Conclusiones.pdf

288.1Kb

11Bibliografia.pdf

273.5Kb

 

Rights

ADVERTIMENT. L'accés als continguts d'aquesta tesi doctoral i la seva utilització ha de respectar els drets de la persona autora. Pot ser utilitzada per a consulta o estudi personal, així com en activitats o materials d'investigació i docència en els termes establerts a l'art. 32 del Text Refós de la Llei de Propietat Intel·lectual (RDL 1/1996). Per altres utilitzacions es requereix l'autorització prèvia i expressa de la persona autora. En qualsevol cas, en la utilització dels seus continguts caldrà indicar de forma clara el nom i cognoms de la persona autora i el títol de la tesi doctoral. No s'autoritza la seva reproducció o altres formes d'explotació efectuades amb finalitats de lucre ni la seva comunicació pública des d'un lloc aliè al servei TDX. Tampoc s'autoritza la presentació del seu contingut en una finestra o marc aliè a TDX (framing). Aquesta reserva de drets afecta tant als continguts de la tesi com als seus resums i índexs.

This item appears in the following Collection(s)