Leveraging graph neural networks for optimization and traffic compression in network digital twins

Abstract

(English) In recent years, several industry sectors have adapted the Digital Twin (DT) paradigm to improve the performance of physical systems. This paradigm consists of leveraging computational methods to build high-fidelity virtual representations of a physical system or entity. The virtual replica accurately simulates or models the behavior of the physical system without altering its behavior in the real world. Since its inception, the DT has attracted the interest of both academia and industry which can be observed by the growing number of publications, processes, standards and concepts.

The networking community has adapted the DT paradigm with the objective of achieving efficient control and management in modern communication networks. In this context, the Network Digital Twin (NDT) is a renovated concept of classical network modeling tools whose goal is to build accurate data-driven network models. NDTs can be applied to many fundamental networking applications. For example, the NDT allows network operators to design novel network optimization solutions, to perform troubleshooting, what-if analysis, or to plan network upgrades taking into account the network’s expected user growth. Since the interaction between the network operator with the NDT does not require access to the real-world network, the aforementioned processes can be carried out in real-time, without jeopardizing the physical network.

This dissertation aims to develop new efficient real-time optimization mechanisms leveraging NDTs. Existing network optimization techniques can be generally divided among optimizer-based solutions (e.g., CP, ILP), heuristics and Machine Learning-based (ML) solutions. Optimizer-based solutions are computationally intensive and they suffer from scalability issues where the optimization time and the problem instance size scale at different speeds. The methods based on heuristics are solutions designed by human experts, making strong assumptions and simplifications on the original problem to reduce its complexity and to make the problem tractable by humans. This is a lengthy process that makes solutions be far-from-optimal, achieving poor network performance at a high cost for the network operator. Finally, existing ML-based solutions need to re-train the ML model every time there is a change in the optimization scenario (e.g., link failure). However, training ML models is a costly process which impedes the application of such methods on real-time network optimization.

The first part of this dissertation proposes an optimization architecture that integrates Graph Neural Networks (GNN) into Deep Reinforcement Learning (DRL). This architecture leverages the planning strategies of DRL and the generalization capabilities of GNNs to optimize over arbitrary network topologies in real-time without the need of re-training the DRL agent. The experimental results show that the DRL+GNN architecture is robust to operate in real-world topologies that largely differ from the scenarios seen during training. In our work, we evaluate the proposed architecture on two real-world network optimization scenarios. The first scenario is in optical transport networks and the second scenario is in IP networks.

Training DRL agents and building NDTs requires storing large datasets that include a wide range of network states and configurations. However, the network size has been growing both in traffic volume and number of connected devices. Boosted by the deployment of 5G networks and the adaptation of new industry paradigms (e.g., Internet of things), the growing trend is expected to continue for several years. Consequently, storing such large volumes of network-related information can be challenging. The second part of this thesis proposes a new data compression method based on GNNs capable of exploiting spatial and temporal correlations naturally present in network traffic traces, outperforming widely used compression methods such as GZIP.

(Català) En els últims anys, diversos sectors industrials han adaptat el paradigma del "Digital Twin" (DT) per millorar el rendiment dels sistemes físics. Aquest paradigma consisteix en aprofitar mètodes computacionals per construir representacions virtuals d'alta fidelitat d'un sistema o entitat física. La rèplica virtual simula o modela amb precisió el comportament del sistema físic sense alterar el seu comportament en el món real. Des de la seva creació, el DT ha suscitat l'interès tant de l'acadèmia com de la indústria, el que es pot observar pel creixent nombre de publicacions, processos, estàndards i conceptes.

La comunitat de xarxes ha adaptat el paradigma del DT amb l'objectiu d'aconseguir un control i una gestió eficients en les xarxes de comunicació modernes. En aquest context, el "Network Digital Twin" (NDT) és un concepte renovat de les eines de modelatge de xarxes clàssiques que té com a objectiu construir models de xarxes precisos basats en dades. Els NDT es poden aplicar a moltes aplicacions fonamentals de xarxes. Per exemple, els NDT permeten als operadors de xarxes dissenyar noves solucions d'optimització de xarxes, realitzar resolució de problemes, anàlisi de supòsits o planificar actualitzacions de xarxa tenint en compte el creixement esperat dels usuaris de la xarxa. A més, els processos esmentats es poden dur a terme en temps real sense posar en perill la xarxa física.

Aquesta dissertació té com a objectiu desenvolupar nous mecanismes d'optimització en temps real eficients aprofitant els NDTs. Les tècniques d'optimització de xarxa existents es poden dividir en solucions basades en optimitzadors, solucions basades en heurístiques i solucions basades en aprenentatge automàtic (ML). Les solucions basades en optimitzadors són intensives computacionalment i pateixen problemes d'escalabilitat, on el temps d'optimització i la mida de la instància del problema escalen a diferents velocitats. Els mètodes basats en heurístiques són solucions dissenyades per experts humans, un procés molt costós que aconsegueix baixos nivells de rendiment. Finalment, les solucions basades en ML existents necessiten reentrenar el model ML cada vegada que hi ha un canvi en l'escenari d'optimització. No obstant això, el procés de formació dels models ML és costós i dificulta l'aplicació d'aquests mètodes en l'optimització de xarxes en temps real.

La primera part d'aquesta dissertació proposa una arquitectura d'optimització que integra les xarxes neuronals basades en grafs (GNN) en el reforçament profund de l'aprenentatge (DRL). Aquesta arquitectura aprofita les estratègies de planificació del DRL i les capacitats de generalització de les GNN per optimitzar topologies de xarxa arbitràries en temps real sense necessitat de reentrenar l'agent DRL. Els resultats experimentals demostren que l'arquitectura DRL+GNN és robusta per operar en topologies del món real que difereixen considerablement dels escenaris vistos durant la formació. En el nostre treball, avaluem la proposta d'arquitectura en dos escenaris d'optimització de xarxes del món real.

L'entrenament d'agents DRL i la construcció de NDTs requereixen l'emmagatzematge de grans conjunts de dades que inclouen una àmplia gamma d'estats i configuracions de xarxa. No obstant això, la mida de la xarxa ha anat creixent tant en volum de tràfic com en nombre de dispositius connectats. Impulsat per la implementació de les xarxes 5G i l'adaptació de nous paradigmes industrials (per exemple, Internet de les coses), es preveu que la tendència de creixement continuï durant diversos anys. En conseqüència, l'emmagatzematge d'aquestes grans quantitats d'informació relacionada amb la xarxa pot ser un repte. La segona part d'aquesta tesi proposa un nou mètode de compressió de dades basat en les GNN capaç d'aprofitar les correlacions espacials i temporals presents de forma natural en les traces de tràfic de la xarxa, superant els mètodes de compressió àmpliament utilitzats com GZIP.