Synthesizing SAR Images with Generative AI: Expanding to Large-Scale Imagery
Synthèse d'images SAR avec l'IA générative : Extension à l'imagerie à grande échelle
Résumé
This paper investigates the application of generative models in simulating radar images, highlighting their capacity in generating realistic images from text description. To overcome the usual limitation of image size constraint, we propose a model operating through a series of blocks to progressively enhance the image’s resolution and details by leveraging a pre-trained latent diffusion model. This cascading architecture, structured into three levels, is augmented by integrating a latent scaling technique, enabling a gradual improvement in the scale of the image, thus allowing the generation of larger images. Our method also stands out for incorporating the ControlNet model, maintaining content consistency during the multi-resolution process. After training on aerial SAR images from the ONERA SETHI sensor, we compare our architecture with alternative methods for large-scale image generation using larger pre-trained models and outpainting methods. The results demonstrate a clear enhancement in the scale of simulated radar images while maintaining alignment with the contexts described by the text descriptions.
Cet article explore l'application des modèles génératifs pour la simulation d'images radar, en mettant en évidence leur capacité à générer des images réalistes à partir de descriptions textuelles. Pour surmonter la contrainte habituelle de la taille des images, nous proposons un modèle fonctionnant par une série de blocs pour améliorer progressivement la résolution et les détails de l'image en utilisant un modèle de diffusion latente pré-entraîné. Cette architecture en cascade, structurée en trois niveaux, est augmentée par l'intégration d'une technique de mise à l'échelle latente, permettant une amélioration progressive de l'échelle de l'image, permettant ainsi la génération d'images plus grandes. Notre méthode se distingue également par l'incorporation du modèle ControlNet, qui maintient la cohérence du contenu pendant le processus multi-résolution. Après un entraînement sur des images SAR aériennes du capteur ONERA SETHI, nous comparons notre architecture avec des méthodes alternatives pour la génération d'images à grande échelle en utilisant des modèles pré-entraînés plus grands et des méthodes d'extension d'image (outpainting). Les résultats démontrent une amélioration claire de l'échelle des images radar simulées tout en maintenant l'alignement avec les contextes décrits par les descriptions textuelles.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|