Générer un monde 3D qui ne s'arrête jamais à partir d'une seule image : LingBot-World 2.0 open source aujourd'hui, interaction sans limite à 60 fps

Sur la piste des modèles mondiaux, quelqu'un vient encore de jeter une bombe à retardement. Le 9 juillet, l'équipe Robbyant d'Ant (Robbyant) a officiellement publié en open source LingBot-World 2.0 (nom de code LingBot-World-Infinity), avec la triade complète : article, code et poids du modèle. Cette fois, ils ont venus à bout des deux os les plus durs des modèles mondiaux : la « durée infinie » et le « monde aux variations aléatoires ».

Commençons par les chiffres les plus impressionnants : 720p, 60 fps, durée infinie. Pas « presque infinie » : une véritable interaction sans limite dans le cadre du paradigme d'entraînement causal — tant que votre GPU reste alimenté, le modèle peut continuer à générer indéfiniment, sans que la qualité de sortie ne se dégrade avec le temps. Comparé à la version 1.0 qui ne tenait qu'environ 10 minutes de génération stable, cette génération pousse tout à fond.

Quatre améliorations majeures : de « utilisable » à « ludique »

LingBot-World 2.0 apporte des sauts de qualité sur quatre dimensions, chacune ciblant un point douloureux des modèles mondiaux.

① Durée d'interaction sans limite

C'est la percée la plus solide. La version 1.0 soutenait certes près de 10 minutes de génération stable, mais avec un plafond. La 2.0 adopte un paradigme d'entraînement causal soigneusement conçu (causal pretraining paradigm) : le modèle peut offrir une durée d'interaction sans plafond tout en maintenant une qualité de sortie constante. En clair : votre personnage peut courir sans fin dans le monde, l'image ne devient pas de plus en plus floue et la logique physique ne part pas en vrille.

La clé technique réside dans la conception à fenêtre glissante du KV Cache. Le modèle ne stocke pas toutes les images historiques en mémoire vidéo : il conserve le KV cache des images d'ancrage (sink) plus les N dernières, et avance comme un fleuve qui coule. Cohérence à long terme garantie, consommation de VRAM maîtrisée.

② Réponse en temps réel à 60 fps

La version 1.0 tournait à 16 FPS avec une latence inférieure à la seconde. La 2.0 distille sa version temps réel directement en 720p 60 fps. Ce n'est pas une vidéo pré-rendue, c'est une véritable génération en temps réel — vous appuyez sur une touche, l'image réagit instantanément. Grâce à la distillation de modèle, l'équipe a extrait du modèle de base 14B une variante légère temps réel qui réduit fortement la latence d'inférence tout en préservant la qualité d'image.

③ Des éléments d'interaction plus riches

La version 1.0 se limitait au contrôle de la caméra (translation, rotation) et aux actions de base (avancer, sauter). La 2.0 élargit considérablement le répertoire : attaque, tir à l'arc, sorts, tir, tout est pris en charge. Surtout, elle introduit un système d'événements piloté par le texte — vous décrivez par écrit un changement d'état du monde, par exemple « faire apparaître une chaise » ou « faire éclore une fleur », et le modèle génère le contenu correspondant en temps réel et l'intègre à la scène.

④ Agentic Harness : l'IA prend elle-même le rôle du réalisateur

C'est la tentative la plus avant-gardiste. L'équipe a intégré dans le modèle mondial un cadre d'agents comprenant deux rôles :

• Pilot Agent (agent pilote) : chargé de planifier et d'exécuter les comportements du personnage, il décide où aller et quelles actions entreprendre
• Director Agent (agent réalisateur) : chargé de synthétiser de nouveaux éléments d'environnement, il génère dynamiquement du contenu au fil de la scène

Autrement dit, le modèle peut jouer à lui seul le rôle de moteur de jeu + game designer : donnez-lui une image et une description textuelle, et il fait émerger de lui-même un monde en constante évolution.

Spécifications du modèle : 14B flagship + 1.3B léger

Deux tailles de modèle sont publiées :

• Version flagship 14B : trois variantes proposées — causal-fast (inférence causale rapide), causal-pretrain (pré-entraînement causal) et bidirectional (bidirectionnelle), performances pleines
• Version légère 1.3B : deux variantes, causal-fast et causal-pretrain, déployable sur un seul GPU

La version 14B exige 8 GPU en inférence parallèle multi-carte, la 1.3B tourne sur une seule carte. Les deux sont déjà en ligne sur HuggingFace et ModelScope. La 1.0 était sous licence permissive Apache 2.0 ; la 2.0 passe en CC BY-NC-SA 4.0 (non commercial).

Comment la faire tourner

Le code est construit sur Wan2.2, l'installation est très standard :

git clone https://github.com/robbyant/lingbot-world-v2.git
cd lingbot-world-v2
pip install -r requirements.txt
pip install flash-attn –no-build-isolation

Télécharger les poids du modèle (exemple avec le 14B causal-fast) :

huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast –local-dir ./lingbot-world-v2-14b-causal-fast

Lancer une inférence causale en 480P :

torchrun –nproc_per_node=8 generate.py \
–task i2v-A14B –size 480*832 \
–ckpt_dir lingbot-world-v2-14b-causal-fast \
–image examples/03/image.jpg \
–action_path examples/03 \
–dit_fsdp –t5_fsdp –ulysses_size 8 \
–frame_num 361 –local_attn_size 18 –sink_size 6 \
–prompt “A serene lakeside scene with a lone tree standing in calm water…”

Explication des paramètres clés :
– frame_num : nombre d'images générées ; 361 images ≈ 22 s @ 16 fps, mais en inférence causale on peut fixer une valeur plus grande
– local_attn_size : taille de la fenêtre d'attention locale, contrôle le nombre d'images historiques consultées à chaque pas
– sink_size : nombre d'images d'ancrage, conserve les toutes premières images comme contexte global

Où l'essayer en ligne

Pas 8 A100 sous la main ? Aucun souci, l'équipe propose deux plateformes d'essai en ligne :

• International (Reactor) : reactor.inc/lingbot-world-v2, jouable directement dans le navigateur
• En Chine (Lingguang) : lingguang.com/support, à essayer sur mobile

Par ailleurs, un stand officiel avec la démo complète sera présent fin juillet au WAIC 2026 (Conférence mondiale sur l'intelligence artificielle) ; ceux qui veulent tester la version pleine puissance pourront s'y rendre sur place.

Déploiement : SGLang le prend déjà en charge nativement

Si vous comptez déployer vous-même, SGLang prend déjà en charge nativement le chemin d'inférence temps réel de LingBot-World 2.0. Il passe par le protocole WebSocket + MessagePack : le serveur maintient une session active, génère les images vidéo chunk par chunk, et accepte dynamiquement en cours d'exécution des événements de contrôle (actions caméra, modification du prompt textuel, etc.).

L'API centrale est un /v1/realtime_video/generate endpoint WebSocket : après connexion, le client envoie d'abord un message init (contenant l'image de la première frame, le prompt, les dimensions, le FPS, etc.), puis peut envoyer en continu des messages event pour mettre à jour la scène. Trois types d'événements sont pris en charge : mise à jour du prompt, actions caméra et entrée composite.

Comment se compare-t-il au Google Genie 3 ?

Dès la sortie de la 1.0, l'équipe se positionnait explicitement face au Google Genie 3. De la 1.0 à la 2.0, l'écart n'a pas seulement été comblé : sur certains plans, LingBot passe devant :

• Durée : durée limitée chez Genie 3 vs sans limite chez LingBot 2.0
• Résolution / FPS : Genie 3 ne publie pas de spécifications détaillées vs 720p@60fps clairement affiché pour LingBot 2.0
• Degré d'ouverture : Genie 3 fermé vs LingBot 2.0 entièrement open source (article + code + poids)
• Richesse des interactions : l'Agentic Harness de LingBot 2.0 est une première dans le domaine des modèles mondiaux

Limites et points faibles

Quelques limites, objectivement :

• la version 14B exige 8 GPU, la barrière d'entrée est haute (la 1.3B atténue ce problème)
• la licence de la 2.0 passe en CC BY-NC-SA 4.0 : toute utilisation commerciale exige une autorisation distincte
• l'équipe indique clairement qu'elle ne publiera pas le code de déploiement : il faudra vous débrouiller à partir de SGLang ou de flashdreams
• la version temps réel 60 fps est une variante légère obtenue par distillation : sa qualité d'image est théoriquement inférieure à celle du 14B pleine puissance

Qu'est-ce que cela signifie

Les modèles mondiaux passent de la « démo de laboratoire » au « produit utilisable ». Les trois percées clés de LingBot-World 2.0 — durée infinie, réponse temps réel, pilotage par agents — répondent précisément aux besoins fondamentaux de trois grands scénarios d'application : le jeu vidéo, les mondes virtuels et l'entraînement de la robotique.

Imaginez : une image plus une phrase de texte, et l'IA génère un monde 3D que vous pouvez explorer librement et qui ne s'arrête jamais, peuplé de personnages capables de lancer des sorts, d'objets nouveaux apparaissant au hasard, d'un environnement en évolution continue. Ce n'est plus de la science-fiction : c'est du code qui tourne dès aujourd'hui.

De LingBot-Depth (perception spatiale) à LingBot-VLA (décision incarnée) puis LingBot-World (simulation du monde), sans oublier le LingBot-Map (cartographie temps réel) nouvellement open source, l'équipe Robbyant d'Ant a déjà assemblé une pile technologique complète d'intelligence incarnée. Le modèle mondial en est la pièce maîtresse : il permet à l'IA non seulement de « comprendre » le monde, mais aussi de le « créer ».

Une image, une phrase, un monde infini. Voilà l'année 2026 des modèles mondiaux.

Adresse du projet : github.com/Robbyant/lingbot-world-v2
Article : arxiv.org/abs/2607.07534
Essai en ligne : reactor.inc/lingbot-world-v2