Ein Bild genügt für eine endlose 3D-Welt: LingBot-World 2.0 heute als Open Source veröffentlicht – grenzenlose Interaktion mit 60 fps

Im Rennen der World Models fällt wieder jemand eine Tiefseebombe. Am 9. Juli hat das Robbyant-Team von Ant Lingbo LingBot-World 2.0 (Codename LingBot-World-Infinity) offiziell als Open Source veröffentlicht – Paper, Code und Modellgewichte, alle drei komplett öffentlich. Diesmal haben sie sich die zwei härtesten Nüsse der World-Model-Forschung vorgenommen – „unbegrenzte Dauer“ und „eine Welt mit zufälligen Veränderungen“ – und sie geknackt.

Zuerst die umwerfendsten Zahlen: 720p, 60 fps, unbegrenzte Dauer. Nicht „nahezu unbegrenzt“, sondern echte grenzenlose Interaktion im kausalen Pretraining-Paradigma – solange deine GPUs mit Strom versorgt werden, generiert das Modell endlos weiter, ohne dass die Ausgabequalität über die Zeit einbricht. Im Vergleich zur Version 1.0, die nur knapp 10 Minuten stabile Generierung schaffte, ist diese Generation voll ausgereizt.

Vier große Kern-Upgrades: von „nutzbar“ zu „spannend“

LingBot-World 2.0 bringt qualitative Sprünge in vier Dimensionen, und jeder davon trifft genau die Schwachpunkte von World Models.

① Unbegrenzte Interaktionsdauer

Das ist der härteste Durchbruch. Version 1.0 unterstützte zwar knapp 10 Minuten stabile Generierung, aber eben mit Obergrenze. 2.0 setzt auf ein sorgfältig entworfenes kausales Pretraining-Paradigma (causal pretraining paradigm), mit dem das Modell unbegrenzte Interaktionsdauer bei gleichbleibender Ausgabequalität erreicht. Kurz gesagt: Dein Charakter kann in der Welt endlos weiterlaufen, das Bild wird nicht zunehmend verschwommen, die Physik-Logik nicht zunehmend chaotisch.

Technisch liegt der Schlüssel im Sliding-Window-Design des KV-Cache. Das Modell stopft nicht alle historischen Frames in den Grafikspeicher, sondern behält die KV-Caches von Sink-Frames (Anker-Frames) plus der letzten N Frames – wie ein fließender Fluss geht es vorwärts. So bleibt sowohl die Langzeitkonsistenz gewahrt als auch der Speicherverbrauch kontrolliert.

② 60-fps-Echtzeitreaktion

Version 1.0 lief mit 16 FPS und einer Latenz unter einer Sekunde. 2.0 destilliert die Echtzeitversion direkt auf 720p 60 fps. Das ist keine vorgerenderte Video-Wiedergabe, sondern echte Echtzeitgenerierung – du drückst eine Taste, das Bild reagiert sofort. Per Modell-Destillation hat das Team aus dem 14B-Basismodell eine leichtgewichtige Echtzeitvariante extrahiert, die die Bildqualität hält und die Inferenzlatenz drastisch reduziert.

③ Reichhaltigere Interaktionselemente

Version 1.0 unterstützte hauptsächlich Kamerasteuerung (Schwenken, Drehen) und Basisaktionen (Vorwärts, Springen). 2.0 erweitert das Aktionsset enorm: Angriff, Bogenschießen, Zaubern, Schießen – alles unterstützt. Wichtiger noch ist das textgesteuerte Ereignissystem: Du kannst den Weltzustand per Textbeschreibung verändern, etwa „Beschwöre einen Stuhl“ oder „Erschaffe eine Blume“ – das Modell generiert die entsprechenden Inhalte in Echtzeit und integriert sie in die Szene.

④ Agentic Harness: Die KI übernimmt selbst die Regie

Das ist der fortschrittlichste Versuch. Das Team hat ein Agenten-Framework in das World Model integriert, mit zwei Rollen:

• Pilot Agent: ist für die Planung und Ausführung des Charakterverhaltens zuständig und entscheidet, wohin der Charakter geht und welche Aktionen er ausführt
• Director Agent: erzeugt neue Umgebungselemente und generiert mit fortschreitender Szene dynamisch neue Inhalte

Das Modell funktioniert damit praktisch selbst als Game Engine plus Game Designer: Du gibst ihm nur ein Bild und eine Textbeschreibung, und es lässt eine sich ständig weiterentwickelnde Welt entstehen.

Modellspezifikationen: 14B-Flaggschiff + 1.3B-Leichtgewicht

Diesmal wurden zwei Modellgrößen veröffentlicht:

• 14B-Flaggschiffversion: bietet die drei Varianten causal-fast (kausale Schnellinferenz), causal-pretrain (kausales Pretraining) und bidirectional (bidirektional) mit voller Leistung
• 1.3B-Leichtversion: bietet die Varianten causal-fast und causal-pretrain und unterstützt den Einsatz auf einer einzelnen GPU

Die 14B-Version benötigt 8 GPUs für parallele Inferenz über mehrere Karten, die 1.3B-Version läuft auf einer einzelnen Karte. Beide Versionen sind bereits auf HuggingFace und ModelScope hochgeladen. 1.0 steht unter der großzügigen Apache-2.0-Lizenz, 2.0 wechselt zu CC BY-NC-SA 4.0 (nicht-kommerziell).

So bringst du es zum Laufen

Der Code basiert auf Wan2.2, die Installation ist völlig Standard:

git clone https://github.com/robbyant/lingbot-world-v2.git
cd lingbot-world-v2
pip install -r requirements.txt
pip install flash-attn –no-build-isolation

Modellgewichte herunterladen (Beispiel: 14B causal-fast):

huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast –local-dir ./lingbot-world-v2-14b-causal-fast

Eine kausale Inferenz in 480P ausführen:

torchrun –nproc_per_node=8 generate.py \
–task i2v-A14B –size 480*832 \
–ckpt_dir lingbot-world-v2-14b-causal-fast \
–image examples/03/image.jpg \
–action_path examples/03 \
–dit_fsdp –t5_fsdp –ulysses_size 8 \
–frame_num 361 –local_attn_size 18 –sink_size 6 \
–prompt “A serene lakeside scene with a lone tree standing in calm water…”

Erklärung der wichtigsten Parameter:
– frame_num: Anzahl der zu generierenden Frames; 361 Frames entsprechen etwa 22 Sekunden bei 16 fps, im kausalen Inferenzmodus sind aber größere Werte möglich
– local_attn_size: Größe des lokalen Aufmerksamkeitsfensters; steuert, wie viele historische Frames pro Schritt betrachtet werden
– sink_size: Anzahl der Anker-Frames; die ersten Frames werden als globaler Kontext bewahrt

Online ausprobieren

Keine 8×A100? Kein Problem – das Team stellt zwei Online-Plattformen bereit:

• International (Reactor): reactor.inc/lingbot-world-v2 – direkt im Browser spielbar
• China (Lingguang): lingguang.com/support – auf dem Smartphone erlebbar

Außerdem gibt es Ende Juli auf der WAIC 2026 (World Artificial Intelligence Conference) einen offiziellen Stand mit vollständigem Demo – wer die Vollversion erleben möchte, kann dann vor Ort vorbeischauen.

Deployment: SGLang bereits nativ unterstützt

Wenn du selbst deployen willst: SGLang unterstützt den Echtzeit-Inferenzpfad von LingBot-World 2.0 bereits nativ. Es setzt auf WebSocket plus MessagePack-Protokoll; der Server hält eine aktive Sitzung, generiert Videoframes chunkweise und unterstützt das dynamische Empfangen von Steuerungsereignissen zur Laufzeit (Kamerabewegungen, Text-Prompt-Änderungen usw.).

Die zentrale API ist ein /v1/realtime_video/generate WebSocket-Endpunkt: Nach dem Verbinden sendet der Client zuerst eine init-Nachricht (mit Erstframe-Bild, Prompt, Größe, FPS und weiteren Parametern) und kann danach kontinuierlich event-Nachrichten senden, um die Szene zu aktualisieren. Unterstützte Ereignistypen sind Prompt-Updates, Kamerabewegungen und kombinierte Eingaben.

Wie schlägt es sich im Vergleich zu Google Genie 3?

Schon beim Release von Version 1.0 nahm das Team explizit Google Genie 3 als Maßstab. Von 1.0 auf 2.0 wurde der Abstand nicht nur aufgeholt – in einigen Dimensionen wurde er sogar übertroffen:

• Dauer: Genie 3 mit begrenzter Dauer vs. LingBot 2.0 unbegrenzt
• Auflösung/FPS: Genie 3 ohne offiziell bekannte Details vs. LingBot 2.0 klar mit 720p@60fps
• Open-Source-Grad: Genie 3 geschlossen vs. LingBot 2.0 vollständig offen (Paper + Code + Gewichte)
• Interaktionsreichtum: Der Agentic Harness von LingBot 2.0 ist ein Novum im Bereich der World Models

Grenzen und Schwächen

Objektiv ein paar Einschränkungen:

• Die 14B-Version braucht 8 GPUs – die Hürde ist hoch (die 1.3B-Version mildert dieses Problem)
• Die Lizenz von 2.0 wurde auf CC BY-NC-SA 4.0 geändert; kommerzielle Nutzung erfordert eine separate Lizenzierung
• Das Team hat klargemacht, dass es keinen Deployment-Code veröffentlichen wird – man muss sich selbst an SGLang oder flashdreams orientieren
• Die Echtzeit-60-fps-Version ist eine destillierte Leichtgewichtvariante; die Bildqualität ist theoretisch schwächer als beim vollwertigen 14B

Was das bedeutet

World Models entwickeln sich vom „Lab-Demo“ hin zu „brauchbaren Produkten“. Die drei Kern-Durchbrüche von LingBot-World 2.0 – unbegrenzte Dauer, Echtzeitreaktion, Agenten-Antrieb – entsprechen exakt den Kernanforderungen der drei großen Anwendungsfelder Gaming, virtuelle Welten und Robotik-Training.

Stell dir vor: Ein Bild plus ein Satz Text – die KI generiert daraus eine 3D-Welt, die du frei erkunden kannst und die niemals stillsteht, mit zaubernden Charakteren, zufällig auftauchenden neuen Objekten und einer sich ständig weiterentwickelnden Umgebung. Das ist keine Science-Fiction mehr, das ist Code, der heute schon läuft.

Vom LingBot-Depth (Raumwahrnehmung) über LingBot-VLA (verkörperte Entscheidungen) bis LingBot-World (Welt-Simulation) – zusammen mit dem neu open-source-gestellten LingBot-Map (Echtzeit-Mapping) hat das Robbyant-Team bereits einen kompletten Tech-Stack für Embodied AI aufgebaut. Das World Model ist dabei das entscheidende Puzzleteil: Es lässt KI die Welt nicht nur „verstehen“, sondern auch „erschaffen“.

Ein Bild, ein Satz, eine unbegrenzte Welt. Das sind die World Models im Jahr 2026.

Projekt: github.com/Robbyant/lingbot-world-v2
Paper: arxiv.org/abs/2607.07534
Online ausprobieren: reactor.inc/lingbot-world-v2