Des scientifiques étudient un algorithme de réseau laser distribué en grappe de satellites avec une architecture Markov DRL à double couche

Avec le développement des réseaux satellitaires, des réseaux intégrés espace-air-sol et de l’Internet des objets, les futures constellations géantes, l’observation de la Terre à haute résolution, les engins spatiaux à équipage humain, les stations spatiales et autres systèmes d’information spatiaux ont mis en avant un demande de plus en plus urgente de réseaux spatiaux et de transmission d’informations de grande capacité.

Le cluster de satellites distribués dans l’espace (DSC) surmonte les contraintes de ressources et les goulots d’étranglement techniques des plates-formes monosatellites en utilisant plusieurs satellites hétérogènes sur la même orbite pour coopérer avec des charges utiles distribuées afin de réaliser un réseau à grande capacité et à haut débit ainsi que la transmission et l’échange d’informations dans l’espace. , apportant une solution efficace aux besoins mentionnés ci-dessus.

La variation à grande vitesse des positions relatives de plusieurs satellites sur la même orbite et les contraintes d’état visible des antennes réseau optiques à commande de phase embarquées par satellite font que la topologie du DSC est constituée d’interruptions de liaison dynamiques et intermittentes. Il est nécessaire de résoudre les problèmes de reconstruction topologique rapide et de mise en réseau continue et dynamique dans ces deux situations.

Dans un document de recherche récemment publié dans Espace : science et technologiedes chercheurs de l’École de science et d’ingénierie des systèmes de l’Université Sun Yat-Sen et de l’Institut d’ingénierie des systèmes de l’AMS, développent ensemble un modèle d’optimisation multi-objectifs pour les réseaux laser de DSC et proposent un réseau laser DSC basé sur l’architecture Markov DRL à double couche. algorithme.

Cet algorithme permet une reconstruction topologique rapide et une mise en réseau continue et dynamique dans des conditions de topologie dynamique variable dans le temps et d’interruption intermittente de liaison de DSC, maximise la connectivité réseau et la durée du réseau, et minimise la perturbation de la matrice de connexion réseau.

Tout d’abord, les auteurs donnent le modèle du système et la description du problème. On suppose que le DSC est constitué de N nœuds satellite GEO. Chaque satellite du DSC est chargé de deux paires d’antennes optiques multifaisceaux situées respectivement sur les côtés nord et sud du satellite. Lorsque l’antenne k du satellite i et l’antenne l du satellite j sont toutes deux mutuellement visibles et respectent la contrainte de taux d’erreur sur les bits, on considère qu’il existe un lien disponible entre elles.

En analysant tous les nœuds satellites, les liaisons disponibles de l’ensemble du DSC peuvent être obtenues, ce qui est noté comme une matrice Link avec les éléments 0 ou 1. Selon la matrice Link, la matrice de connectivité Ant des antennes portées par chaque satellite peut être obtenue. , et en outre la matrice de connexion Tp de l’ensemble du DSC peut être obtenue.

Dans le processus de mise en réseau DSC, avec comme objectifs la connectivité du réseau, la durée du réseau et la perturbation de la matrice de connexion du réseau, un modèle d’optimisation multi-objectifs pour la reconstruction de la topologie du réseau et la mise en réseau continue est construit. La complexité informatique de ce problème d’optimisation multi-objectifs est O(2NsatNant). Il s’agit d’un problème de programmation en nombres entiers mixtes qui est un problème NP-difficile typique.

Ensuite, les auteurs proposent un algorithme d’apprentissage par renforcement profond DLM-DRL basé sur un modèle de décision Markov double couche pour résoudre le problème.

Le processus d’optimisation suit en permanence l’état opérationnel du DSC pour obtenir les positions de chaque satellite et l’état des liaisons laser ; calculer les liens disponibles de l’ensemble du DSC ; vérifiez si le réseau DSC est connecté ; si oui, le système continue de suivre l’état de fonctionnement du DSC ; sinon, l’algorithme DLM-DRL sera appelé pour reconstruire les liaisons laser entre satellites, et le réseau de DSC sera reconstruit en fonction du résultat de l’algorithme.

Dans l’algorithme DLM-DRL, les événements de changement de topologie du réseau DSC sont modélisés sous forme de nœuds de décision, et le processus complet d’optimisation de topologie de plusieurs événements de changement de topologie est modélisé sous forme de processus de décision de Markov ; la décision d’optimisation de chaque événement de changement de topologie est composée d’une série d’actions de sélection de liaison laser, qui peuvent également être décrites par un processus de décision de Markov.

Par conséquent, pour le processus d’optimisation de la topologie de DSC, un modèle de décision markovien à double couche avec des processus de décision markoviens internes et externes est établi.

La couche interne est le processus de sélection des liaisons laser disponibles dans DSC, où chaque état indique s’il faut ou non connecter une liaison laser ; la couche externe est constituée de différents événements de changement de topologie de réseau dans DSC, où chaque événement prend le résultat du processus de décision de Markov de la couche interne comme action et l’optimise. Sur la base de ce modèle de processus markovien à double couche, une architecture hiérarchique d’apprentissage par renforcement profond est proposée.

Enfin, les auteurs simulent DLM-DRL dans un scénario d’application DSC typique et résument les résultats de la simulation. Les simulations sont principalement divisées en deux parties : l’une consiste à créer un environnement spatial pour simuler le processus de fonctionnement du DSC par le logiciel STK11.2, et l’autre consiste à entraîner et à vérifier l’algorithme DLM-DRL dans l’environnement.

Les résultats montrent qu’en termes de convergence de l’algorithme, l’algorithme DLM-DRL proposé peut achever la convergence dans un temps relativement court et que la vitesse de convergence est rapide. En termes de résultats d’optimisation, l’algorithme peut terminer rapidement et efficacement la reconstruction de la topologie du réseau et assurer pleinement la connectivité des réseaux DSC avec une topologie dynamique variable dans le temps et des pannes de liaison intermittentes tout au long du cycle de simulation.

Parallèlement, en définissant différents objectifs de tâche d’optimisation, l’algorithme DLM-DRL peut fournir des résultats d’optimisation avec différents objectifs, tels qu’une connectivité plus élevée, moins de changements de topologie ou un temps de maintenance de topologie plus long, pour répondre aux différentes exigences de réseau de constellation distribuée.

De plus, la comparaison de l’algorithme DLM-DRL avec les algorithmes NSGA-II et PSO montre que tout en conservant les mêmes résultats d’optimisation que les algorithmes NSGA-II et PSO, l’algorithme DLM-DRL peut réduire considérablement le temps d’optimisation de la topologie du réseau et s’adapter aux exigences. de reconstruction topologique rapide et de mise en réseau continue et dynamique de DSC.