AI-enabled network slicing and resource management for open and programmable next-generation (6G) networks

Abstract

(English) This thesis addresses the emerging challenges in resource management for 6G networks by proposing intelligent, scalable, and explainable solutions using Deep Reinforcement Learning (DRL) and related AI techniques. With the evolution from 5G to 6G, the increasing heterogeneity of applications and services introduces complex requirements in terms of latency, bandwidth, computational efficiency, and end-to-end quality of service (QoS). The research presents a suite of AI-driven solutions for dynamic and adaptive resource allocation tailored to network slicing scenarios in Open and Programmable architectures. The work begins by developing a DRL-based, QoS-aware slice resource allocation framework, integrating user association parameterization for beyond-5G O-RAN environments. A hierarchical DRL model is introduced to manage global-local resource trade-offs efficiently. This is extended by proposing a multi-time scale resource management framework under an AI-as-a-Service (AIaaS) paradigm to serve heterogeneous 6G services. To improve interpretability and trust in automated network operations, the thesis incorporates Explainable Reinforcement Learning (XRL) techniques into RAN slicing and management strategies. Finally, the use of transfer learning in DRL is explored to enhance policy adaptation in intra- and inter-slice domains, accelerating learning and improving performance in diverse and dynamic network conditions. The thesis includes extensive simulations and experimental validation to demonstrate the superiority of the proposed methods in terms of scalability, efficiency, and generalization over state-of-the-art (SOTA) baselines. The overall contributions provide a technically innovative and practically applicable roadmap for intelligent, trustworthy, and adaptive resource management in future 6G wireless systems.

(Català) Aquesta tesi aborda els reptes emergents en la gestió de recursos per a les xarxes 6G mitjançant la proposta de solucions intel·ligents, escalables i explicables basades en tècniques d’aprenentatge per reforç profund (Deep Reinforcement Learning, DRL) i altres enfocaments d’intel·ligència artificial. Amb l’evolució de les xarxes de 5G a 6G, la creixent heterogeneïtat d’aplicacions i serveis introdueix requisits complexos pel que fa a latència, amplada de banda, eficiència computacional i qualitat de servei (QoS) d’extrem a extrem. Aquesta recerca presenta un conjunt de solucions impulsades per IA per a l’assignació dinàmica i adaptativa de recursos, orientades a l’ús de segmentació de xarxa (network slicing) en arquitectures obertes i programables. El treball comença amb el desenvolupament d’un marc d’assignació de recursos basada en DRL i conscient de la QoS, que integra una parametrització de l’associació d’usuaris per a entorns O-RAN més enllà del 5G. Es presenta un model jeràrquic de DRL que permet gestionar eficaçment les compensacions entre les necessitats globals i locals de recursos. Aquest model es complementa amb un marc de gestió de recursos a múltiples escales temporals, dins del paradigma d’Intel·ligència Artificial com a Servei (AI-as-a-Service, AIaaS), per atendre les demandes heterogènies dels serveis 6G. Per millorar la interpretabilitat i la confiança en les decisions automatitzades de la xarxa, la tesi incorpora tècniques d’aprenentatge per reforç explicable (XRL) en les estratègies de segmentació i gestió de la RAN. Finalment, s’explora l’ús de l’aprenentatge per transferència (transfer learning) en models DRL per millorar l’adaptació de les polítiques en dominis intra i inter-slice, accelerant l’aprenentatge i millorant el rendiment en condicions de xarxa dinàmiques. La tesi inclou simulacions exhaustives i validacions experimentals que demostren la superioritat dels mètodes proposats en termes d’escalabilitat, eficiència i generalització respecte als enfocaments existents. En conjunt, aquestes contribucions ofereixen una ruta innovadora i pràctica per a la gestió intel·ligent, fiable i adaptable de recursos en els futurs sistemes de comunicacions sense fils 6G.

(Español) Esta tesis aborda los desafíos emergentes en la gestión de recursos para redes 6G mediante la propuesta de soluciones inteligentes, escalables y explicables basadas en técnicas de Aprendizaje por Refuerzo Profundo (Deep Reinforcement Learning, DRL) y otros enfoques de inteligencia artificial. Con la evolución de las redes de 5G a 6G, la creciente heterogeneidad de aplicaciones y servicios introduce requisitos complejos en cuanto a latencia, ancho de banda, eficiencia computacional y calidad de servicio (QoS) extremo a extremo. Esta investigación presenta un conjunto de soluciones impulsadas por IA para la asignación dinámica y adaptativa de recursos, orientadas al uso de segmentación de red (network slicing) en arquitecturas abiertas y programables. El trabajo comienza con el desarrollo de un marco de asignación de recursos por segmentos (slicing) basado en DRL y consciente de la QoS, que integra una parametrización de asociación de usuarios para entornos O-RAN más allá de 5G. Se introduce un modelo jerárquico de DRL que permite gestionar eficazmente las compensaciones entre los requisitos globales y locales de recursos. Este modelo se amplía mediante un marco de gestión de recursos a múltiples escalas temporales, dentro del paradigma de Inteligencia Artificial como Servicio (AI-as-a-Service, AIaaS), para atender las demandas heterogéneas de los servicios 6G. Para mejorar la interpretabilidad y la confianza en las decisiones automatizadas de red, la tesis incorpora técnicas de Aprendizaje por Refuerzo Explicable (XRL) en las estrategias de segmentación y gestión de RAN. Finalmente, se explora el uso del aprendizaje por transferencia (transfer learning) en modelos DRL para mejorar la adaptación de políticas en dominios intra e inter-slice, acelerando el aprendizaje y mejorando el rendimiento en condiciones de red dinámicas. La tesis incluye simulaciones extensas y validaciones experimentales que demuestran la superioridad de los métodos propuestos en términos de escalabilidad, eficiencia y capacidad de generalización frente a enfoques del estado del arte. En conjunto, estas contribuciones ofrecen una hoja de ruta innovadora y práctica para la gestión inteligente, confiable y adaptable de recursos en los futuros sistemas de comunicaciones inalámbricas 6G.