A framework to operationalize and automate the data integration lifecycle

Abstract

(English) Data plays a key role in today’s world. Many organizations collect and store massive amounts of data from many different data sources. As a result, these data collections show a diversity in structure and semantics that grows as the data sources expand and evolve. These factors challenge traditional data management methods, which depend on fixed structures and stable conditions. There is a mismatch between old assumptions and new realities, where it is not enough to just collect data and run conventional tools. Instead, we must rethink how we integrate data to support high variety, handle large-scale collections, and accommodate new available data. This PhD thesis proposes innovative and advanced techniques to support and automate the data integration lifecycle. First, we describe how to represent and standardize data sources using graph-based schemas. These schemas provide a solid foundation for all steps of the data integration lifecycle. Next, we introduce an integration method that leverages graph-based schemas to add new data incrementally without disrupting existing integration structures. This approach ensures that data integration remains flexible and scalable as organizations grow. We also help users find the right datasets to integrate. By focusing on data discovery, we reduce the time spent exploring irrelevant data sources and suggest relevant ones for integration. To this end, we focus first on facilitating the discovery of joinable attributes among datasets. We propose a new qualitative metric and use data profiles and learning models to decide which attributes are worth joining. To further enhance data discovery, we introduce contextual pre-filtering. Using data profiles and graph-based schemas, we can focus on promising datasets before applying data discovery tools. This pre-filtering step not only boosts the accuracy of existing data discovery tools but also optimizes their performance by narrowing the search space. In summary, this thesis helps bridge the gap between conventional data methods and modern, diverse data ecosystems. The results contribute to the field of data integration by offering scalable and automated solutions that match the changing needs of data integration today.

(Català) Les dades tenen un paper fonamental en el món actual. Moltes organitzacions recopilen i emmagatzemen grans volums de dades procedents de diverses fonts. Aquestes fonts poden variar tant en l’estructura com en la modelització de conceptes i van creixent i evolucionant a mesura que s’hi afegeixen noves fonts de dades. Això posa a prova els mètodes clàssics de gestió de dades, que depenen d’estructures fixes i condicions estables. Avui, ja no n’hi ha prou de reunir dades i emprar eines convencionals. Cal replantejar la manera d’integrar les dades per gestionar-ne la gran varietat, tractar grans volums i incorporar noves fonts a mesura que s’integren. Aquesta tesi proposa tècniques per automatitzar el cicle de vida de la integració de dades. Primer, mostrem com representar i estandarditzar les fonts mitjançant esquemes basats en graf. Aquests esquemes serveixen de fonament sòlid per a cada pas de la integració. Tot seguit, presentem un mètode que aprofita aquests esquemes per afegir noves fonts de manera incremental sense alterar les estructures existents, tot mantenint flexibilitat i escalabilitat a mesura que les organitzacions creixen. També fem més àgil la cerca de conjunts de dades que valgui la pena integrar. En centrar-nos en el descobriment de dades, reduïm el temps destinat a explorar fonts irrellevants i proposem les més adequades. Per fer-ho, introduïm una mètrica qualitativa i fem servir perfils de dades i models d’aprenentatge per decidir quins atributs cal unir. A més, incorporem un prefiltrat contextual que detecta els conjunts de dades més prometedors abans d’aplicar eines de descobriment, cosa que millora la precisió i redueix la càrrega computacional. En resum, aquesta tesi escurça la distància entre els mètodes tradicionals i els entorns moderns de dades. Ofereix solucions escalables i automatitzades que s’adapten a les necessitats canviants de la integració de dades.

(Español) Los datos desempeñan un papel fundamental en el mundo actual. Muchas organizaciones recopilan y almacenan grandes volúmenes de datos desde diversas fuentes. Estas fuentes pueden variar en estructura y modelado de conceptos que van creciendo y evolucionando a medida que más fuentes de datos son integradas. Esto pone a prueba los métodos clásicos de gestión de datos, que dependen de estructuras fijas y condiciones estables. Hoy en día, no basta con reunir datos y usar herramientas convencionales. En su lugar, debemos replantearnos cómo integrar datos para manejar una alta variedad, gestionar grandes volúmenes y acomodar nuevas fuentes a medida que se integran. Esta tesis propone técnicas para automatizar el ciclo de vida de la integración de datos. Primero, mostramos cómo representar y estandarizar las fuentes con esquemas basados en grafos. Estos esquemas sirven de base sólida para cada paso de la integración. Luego, presentamos un método que emplea dichos esquemas para añadir nuevas fuentes de forma incremental sin afectar las estructuras existentes, manteniendo flexibilidad y escalabilidad a medida que las organizaciones crecen. También agilizamos la búsqueda de conjuntos de datos que valga la pena integrar. Al centrarnos en el descubrimiento de datos, reducimos el tiempo dedicado a explorar fuentes irrelevantes y sugerimos las más adecuadas. Para ello, introducimos una métrica cualitativa y usamos perfiles de datos y modelos de aprendizaje para decidir qué atributos se deben unir. Además, aportamos un prefiltrado contextual que identifica los conjuntos de datos más prometedores antes de aplicar herramientas de descubrimiento, lo que mejora la precisión y reduce la carga computacional. En resumen, esta tesis acorta la brecha entre los métodos tradicionales y los entornos modernos de datos. Ofrece soluciones escalables y automatizadas que se adaptan a las cambiantes necesidades de la integración de datos.