Wissenschaftler untersuchen verteilte Lasernetzwerkalgorithmen für Satellitencluster mit doppelschichtiger Markov-DRL-Architektur

Mit der Entwicklung von Satellitennetzwerken, integrierten Weltraum-Luft-Boden-Netzwerken und dem Internet der Dinge haben die künftigen Riesenkonstellationen, hochauflösende Erdbeobachtung, von Menschen bemannte Raumfahrzeuge, Raumstationen und andere weltraumgestützte Informationssysteme eine Vorreiterrolle gespielt zunehmend dringender Bedarf an großräumiger Weltraumvernetzung und Informationsübertragung.

Der Space Distributed Satellite Cluster (DSC) überwindet die Ressourcenbeschränkungen und technischen Engpässe von Einzelsatellitenplattformen, indem er mehrere heterogene Satelliten in derselben Umlaufbahn nutzt, um mit verteilten Nutzlasten zusammenzuarbeiten und so eine Hochgeschwindigkeitsvernetzung mit großer Kapazität sowie Informationsübertragung und -austausch im Weltraum zu erreichen und bietet eine effektive Lösung für die oben genannten Anforderungen.

Die schnelle Variation der relativen Positionen mehrerer Satelliten in derselben Umlaufbahn und die Einschränkungen des sichtbaren Zustands satellitengestützter optischer Phased-Array-Antennen führen dazu, dass die Topologie von DSC sich zeitlich dynamisch ändert und intermittierende Verbindungsunterbrechungen aufweist. In diesen beiden Situationen müssen die Probleme der schnellen Topologierekonstruktion und der dynamischen kontinuierlichen Vernetzung gelöst werden.

In einer kürzlich veröffentlichten Forschungsarbeit in Weltraum: Wissenschaft und TechnologieWissenschaftler der School of Systems Science and Engineering der Sun Yat-Sen University und des Institute of Systems Engineering, AMS, entwickeln gemeinsam ein mehrobjektives Optimierungsmodell für die Laservernetzung von DSC und schlagen eine auf der Doppelschicht-Markov-DRL-Architektur basierende DSC-Laservernetzung vor Algorithmus.

Dieser Algorithmus ermöglicht eine schnelle Topologierekonstruktion und eine dynamische kontinuierliche Vernetzung unter den Bedingungen einer dynamischen, zeitlich variierenden Topologie und einer intermittierenden Verbindungsunterbrechung von DSC, maximiert die Netzwerkkonnektivität und Netzwerkdauer und minimiert die Störung der Netzwerkverbindungsmatrix.

Zunächst geben die Autoren das Systemmodell und die Problembeschreibung. Es wird davon ausgegangen, dass der DSC aus N GEO-Satellitenknoten besteht. Jeder Satellit im DSC ist mit zwei Paaren optischer Multibeam-Antennen ausgestattet, die sich jeweils auf der Nord- und Südseite des Satelliten befinden. Wenn Antenne k von Satellit i und Antenne l von Satellit j beide gegenseitig sichtbar sind und die Bitfehlerratenbeschränkung erfüllen, wird davon ausgegangen, dass zwischen ihnen eine verfügbare Verbindung besteht.

Durch die Analyse aller Satellitenknoten können die verfügbaren Verbindungen des gesamten DSC ermittelt werden, was als Matrix-Link mit den Elementen 0 oder 1 bezeichnet wird. Gemäß der Matrix-Link kann die Konnektivitätsmatrix Ant der von jedem Satelliten getragenen Antennen ermittelt werden , und außerdem kann die Verbindungsmatrix Tp des gesamten DSC erhalten werden.

Im DSC-Netzwerkprozess wird mit den Zielen Netzwerkkonnektivität, Netzwerkdauer und Netzwerkverbindungsmatrixstörung ein Optimierungsmodell mit mehreren Zielen für die Rekonstruktion der Netzwerktopologie und die kontinuierliche Vernetzung erstellt. Die Rechenkomplexität dieses mehrobjektiven Optimierungsproblems beträgt O(2NsatNant). Es handelt sich um ein gemischt-ganzzahliges Programmierproblem, das ein typisches NP-schweres Problem ist.

Anschließend schlagen die Autoren einen Deep Reinforcement Learning-Algorithmus DLM-DRL vor, der auf einem zweischichtigen Markov-Entscheidungsmodell basiert, um das Problem zu lösen.

Der Optimierungsprozess verfolgt kontinuierlich den Betriebsstatus des DSC, um die Positionen jedes Satelliten und den Status der Laserverbindungen zu ermitteln. Berechnen Sie die verfügbaren Links des gesamten DSC. Überprüfen Sie, ob das DSC-Netzwerk angeschlossen ist. Wenn ja, verfolgt das System weiterhin den Betriebsstatus des DSC. Andernfalls wird der DLM-DRL-Algorithmus aufgerufen, um die Laserverbindungen zwischen Satelliten wiederherzustellen, und das DSC-Netzwerk wird entsprechend dem Algorithmusergebnis wiederhergestellt.

Im DLM-DRL-Algorithmus werden die Topologieänderungsereignisse des DSC-Netzwerks als Entscheidungsknoten modelliert, und der umfassende Topologieoptimierungsprozess mehrerer Topologieänderungsereignisse wird als Markov-Entscheidungsprozess modelliert. Die Optimierungsentscheidung jedes Topologieänderungsereignisses besteht aus einer Reihe von Laserverbindungsauswahlaktionen, die auch durch einen Markov-Entscheidungsprozess beschrieben werden können.

Daher wird für den Topologieoptimierungsprozess von DSC ein zweischichtiges Markov-Entscheidungsmodell mit internen und externen Markov-Entscheidungsprozessen erstellt.

Die innere Ebene ist der Auswahlprozess der verfügbaren Laserverbindungen in DSC, wobei jeder Zustand angibt, ob eine Laserverbindung angeschlossen werden soll oder nicht; Die äußere Schicht besteht aus verschiedenen Netzwerktopologie-Änderungsereignissen in DSC, wobei jedes Ereignis das Ergebnis des Markov-Entscheidungsprozesses der inneren Schicht als Aktion übernimmt und es optimiert. Basierend auf diesem zweischichtigen Markov-Prozessmodell wird eine hierarchische Deep-Reinforcement-Learning-Architektur vorgeschlagen.

Abschließend simulieren die Autoren DLM-DRL in einem typischen DSC-Anwendungsszenario und fassen die Simulationsergebnisse zusammen. Die Simulationen sind hauptsächlich in zwei Teile unterteilt: Der erste besteht darin, eine Weltraumumgebung zu erstellen, um den Betriebsprozess von DSC mithilfe der STK11.2-Software zu simulieren, und der andere besteht darin, den DLM-DRL-Algorithmus in der Umgebung zu trainieren und zu überprüfen.

Die Ergebnisse zeigen, dass der vorgeschlagene DLM-DRL-Algorithmus im Hinblick auf die Algorithmuskonvergenz die Konvergenz in relativ kurzer Zeit abschließen kann und die Konvergenzgeschwindigkeit hoch ist. Was die Optimierungsergebnisse betrifft, kann der Algorithmus die Rekonstruktion der Netzwerktopologie schnell und effizient abschließen und die Konnektivität von DSC-Netzwerken mit dynamischer, zeitlich variierender Topologie und zeitweiligen Verbindungsausfällen während des gesamten Simulationszyklus vollständig sicherstellen.

Durch die Festlegung unterschiedlicher Optimierungsaufgabenziele kann der DLM-DRL-Algorithmus Optimierungsergebnisse mit unterschiedlichen Zielen liefern, z. B. höhere Konnektivität, weniger Topologieänderungen oder längere Topologiewartungszeit, um unterschiedliche Netzwerkanforderungen verteilter Konstellationen zu erfüllen.

Darüber hinaus zeigt der Vergleich des DLM-DRL-Algorithmus mit den NSGA-II- und PSO-Algorithmen, dass der DLM-DRL-Algorithmus unter Beibehaltung der gleichen Optimierungsergebnisse wie die NSGA-II- und PSO-Algorithmen die Optimierungszeit für die Netzwerktopologie erheblich verkürzen und sich an die Anforderungen anpassen kann der schnellen Topologierekonstruktion und der dynamischen kontinuierlichen Vernetzung von DSC.