AI-driven multi-antenna designs for next generations of wireless communication systems

Abstract

(English) As wireless networks evolve toward sixth-generation (6G) systems, the integration of advanced technologies like massive MIMO, millimeter-wave communication, intelligent reflecting surfaces, and massive multiple access schemes has led to significant increases in system complexity. Traditional signal processing and optimization techniques are grounded in explicit modeling and mathematical tractability. They increasingly fall short in addressing the high-dimensional, dynamic, and often non-linear behaviors of these systems. To bridge this gap, Artificial Intelligence and Machine Learning (AI/ML) methods have emerged as powerful alternatives, capable of learning directly from data and adapting to complex and uncertain environments. Rather than relying solely on conventional models or pure data-driven solutions, this dissertation advocates for hybrid approaches that combine model-based structures with learning-based flexibility. Hybrid methods mitigate the high data demands and limited interpretability of black-box models while overcoming the rigidity and assumptions of traditional schemes. This balance makes them particularly well-suited for the complex, imperfectly modeled conditions encountered in wireless systems. This PhD dissertation focuses on applying such hybrid methods to four key tasks in the wireless signal processing chain: channel estimation, symbol detection, digital precoding, and hybrid beamforming. Though each task poses unique technical challenges, they collectively contribute to the overarching goal of enabling robust, efficient, and scalable communication in next-generation systems. The first objective addresses channel estimation, a foundational task in massive MIMO systems where performance hinges on accurate knowledge of the channel state. In highly dynamic or non-linear environments, traditional estimators like LS or MMSE are often inaccurate. This work proposes low-complexity neural network architectures, specifically 1D-CNNs and Graph Neural Networks (GNNs), that serve as hybrid estimators by embedding structural insights while learning to compensate for model mismatches, showing strong performance across varying MIMO configurations. The second objective explores symbol detection in Rate-Splitting Multiple Access (RSMA), where receivers must decode a common message followed by private streams. The conventional RSMA receivers use successive interference cancellation (SIC) or joint detection schemes, that are capable of detecting all streams simultaneously. These are theoretically superior, but computationally infeasible in large-scale systems. To balance performance and complexity, this work introduces deep receiver architectures such as RS-Net+, which combine the interpretability of SIC with the adaptability of neural networks. These hybrid designs exhibit robustness to channel impairments and outperform both purely model-based and black-box neural schemes under linear and non-linear channel conditions. The third and fourth objectives focus on designing precoding techniques for RSMA, both in fully digital and hybrid analog-digital beamforming settings. Standard approaches like WMMSE, though effective, are iterative and computationally intensive. This thesis proposes self-supervised learning frameworks, based on GNN and MLP architectures, that learn precoding policies directly from channel data while respecting underlying model structures. These methods are then extended to hybrid beamforming scenarios, where learned digital precoders work in tandem with fixed analog beamformers to provide scalable and energy-efficient solutions. In summary, this dissertation advances the design of hybrid AI/ML solutions for core signal processing tasks in wireless communication systems. By combining domain knowledge with learning, it delivers architectures that are robust, interpretable, and well-suited to the challenges of future 6G networks.

(Català) A mesura que les xarxes sense fils avancen cap a la sisena generació (6G), la integració de tecnologies com el MIMO massiu, la comunicació en bandes mil·limètriques, les superfícies reflectants intel·ligents i els esquemes d'accés múltiple massiu ha incrementat significativament la complexitat del sistema. Les tècniques tradicionals de processament del senyal i optimització, basades en models explícits i tractables matemàticament, esdevenen insuficients per afrontar entorns dinàmics, d’alta dimensió i sovint no lineals. Per superar aquesta limitació, els mètodes d’Intel·ligència Artificial i Aprenentatge Automàtic (AI/ML) emergeixen com a eines clau, capaces d’aprendre directament de les dades i adaptar-se a condicions incertes i complexes. Lluny de basar-se únicament en models clàssics o en solucions totalment orientades a dades, aquesta tesi defensa l’ús d’enfocs híbrids que combinen estructures modelitzades amb la flexibilitat de l’aprenentatge automàtic. Aquests mètodes permeten reduir la dependència de grans volums de dades, superar limitacions estructurals i millorar la robustesa en condicions reals difícils de modelitzar amb precisió. Aquest treball aplica aquests enfocaments híbrids a quatre tasques fonamentals en el processament de senyals sense fils: l’estimació de canal, la detecció de símbols, la precodificació digital i la formació híbrida de feixos. Tot i que cada una planteja reptes específics, totes contribueixen a un objectiu comú: fer possible comunicacions eficients, escalables i robustes en futures xarxes. L’estimació de canal és crítica en sistemes MIMO massius, on el rendiment depèn d’una informació precisa del canal. En entorns no lineals o d’alta mobilitat, els estimadors clàssics com LS o MMSE presenten limitacions. Aquesta tesi proposa arquitectures neuronals de baixa complexitat, com ara 1D-CNN i xarxes neuronals gràfiques (GNN), que actuen com a estimadors híbrids combinant estructures modelades amb capacitats d’aprenentatge, mostrant bons resultats en diversos escenaris. En sistemes RSMA (Rate-Splitting Multiple Access), la detecció de símbols requereix decodificar primer un missatge comú i després fluxos privats. Tot i que els receptors convencionals utilitzen cancel·lació successiva d’interferències (SIC), hi ha esquemes de detecció conjunta més precisos però inviables a gran escala pel seu alt cost computacional. Per equilibrar rendiment i complexitat, es proposen arquitectures profundes com RS-Net+, que combinen la lògica SIC amb la flexibilitat de les xarxes neuronals. Aquestes solucions híbrides mostren robustesa davant imperfeccions del canal i superen tant mètodes clàssics com enfocaments purament neuronals en diversos entorns. Els següents objectius se centren en la precodificació per a RSMA, tant en configuracions digitals com híbrides. Mètodes estàndard com WMMSE són efectius però intensius computacionalment. Aquesta tesi proposa marcs d’aprenentatge auto-supervisat, basats en arquitectures GNN i MLP, que aprenen directament de les dades del canal respectant l’estructura del sistema. Aquestes solucions s’estenen a configuracions híbrides, on els precodificadors digitals apresos operen junt amb xarxes analògiques fixes, aconseguint eficiència energètica i bona escalabilitat. En resum, aquesta tesi aposta pel desenvolupament de solucions híbrides basades en AI/ML per a tasques clau del processament de senyal en comunicacions sense fils. Combinant coneixement expert amb capacitats d’aprenentatge, es proposen arquitectures robustes, interpretables i preparades per als reptes de les xarxes 6G.

(Español) A medida que las redes inalámbricas avanzan hacia la sexta generación (6G), la integración de tecnologías como MIMO masivo, comunicación en ondas milimétricas, superficies reflectantes inteligentes y esquemas de acceso múltiple masivo ha aumentado significativamente la complejidad del sistema. Las técnicas tradicionales de procesado de señal y optimización, basadas en modelos explícitos y matemáticamente tratables, se vuelven insuficientes para afrontar entornos dinámicos, de alta dimensión y frecuentemente no lineales. Para salvar esta brecha, los métodos de Inteligencia Artificial y Aprendizaje Automático (AI/ML) emergen como herramientas clave, capaces de aprender directamente de los datos y adaptarse a condiciones inciertas y complejas. Lejos de apoyarse únicamente en modelos clásicos o en soluciones completamente basadas en datos, esta tesis defiende el uso de enfoques híbridos que combinan estructuras modeladas con la flexibilidad del aprendizaje automático. Estos métodos permiten reducir la dependencia de grandes volúmenes de datos, mitigar limitaciones estructurales y aumentar la robustez frente a condiciones del mundo real que no pueden modelarse con precisión. Este trabajo aplica dichos enfoques híbridos a cuatro tareas fundamentales en el procesado de señales inalámbricas: la estimación de canal, la detección de símbolos, la precodificación digital y la conformación de haz híbrido. Aunque cada una plantea retos específicos, todas contribuyen a un objetivo común: permitir comunicaciones eficientes, escalables y robustas en dichas futuras redes. La estimación de canal es crítica en sistemas MIMO masivos, donde el rendimiento depende de información precisa del canal. En entornos no lineales o de alta movilidad, los estimadores clásicos como LS o MMSE presentan limitaciones. Esta tesis propone arquitecturas neuronales de baja complejidad, como 1D-CNN y redes neuronales gráficas (GNN), que actúan como estimadores híbridos al combinar estructuras modeladas con capacidades de aprendizaje, mostrando un buen rendimiento en distintos escenarios. En sistemas RSMA (Rate-Splitting Multiple Access), la detección de símbolos requiere decodificar primero un mensaje común y luego flujos privados. Aunque los receptores convencionales usan cancelación sucesiva de interferencias (SIC), existen esquemas de detección conjunta más precisos pero computacionalmente inviables a gran escala. Para equilibrar rendimiento y complejidad, se proponen arquitecturas profundas como RS-Net+, que combinan la lógica SIC con la adaptabilidad de redes neuronales. Estas soluciones híbridas muestran robustez ante imperfecciones del canal y superan a métodos tradicionales y modelos puramente neuronales en distintos entornos. Los objetivos siguientes se centran en la precodificación para RSMA, tanto en esquemas digitales como híbridos. Métodos estándar como WMMSE son efectivos pero computacionalmente intensos. Esta tesis propone marcos de aprendizaje auto-supervisado, basados en arquitecturas GNN y MLP, que aprenden directamente de los datos del canal respetando la estructura del sistema. Estas soluciones se extienden a configuraciones híbridas, donde los precodificadores digitales aprendidos operan junto a redes analógicas fijas, logrando eficiencia energética y buena escalabilidad. En resumen, esta tesis impulsa el desarrollo de soluciones híbridas basadas en AI/ML para tareas clave del procesado de señal en comunicaciones inalámbricas. Al combinar conocimiento experto con capacidades de aprendizaje, se proponen arquitecturas robustas, interpretables y adaptadas a los desafíos de las redes 6G.