Ét billede genererer en 3D-verden, der aldrig stopper: LingBot-World 2.0 open sources i dag med grænseløs interaktion ved 60 fps

Der er igen blevet smidt en dybvandsbombe i kapløbet om world models. Den 9. juli udgav Robbyant-teamet officielt LingBot-World 2.0 (kodenavn LingBot-World-Infinity) som open source – artikel, kode og modelvægte, hele pakken er offentliggjort. Denne gang har de bidt sig fast i de to sværeste knuder ved world models: ”ubegrænset varighed” og ”en verden med tilfældige variationer”.

Lad os først tage de vildeste tal: 720p, 60 fps, ubegrænset varighed. Ikke ”næsten ubegrænset”, men ægte grænseløs interaktion under det kausale fortræningsparadigme – så længe din GPU har strøm, kan modellen generere i al evighed, og outputkvaliteten forringes ikke over tid. Sammenlignet med version 1.0, som kun kunne holde stabil generering i knap 10 minutter, er denne generation skruet helt op.

Fire store kerneopgraderinger: fra ”brugbart” til ”sjovt”

LingBot-World 2.0 bringer kvalitative spring på fire dimensioner, og hver enkelt rammer world-modellernes ømme punkt.

① Grænseløs interaktionsvarighed

Dette er det mest solide gennembrud. Version 1.0 understøttede godt nok stabil generering i knap 10 minutter, men der var en øvre grænse. 2.0 bruger et omhyggeligt designet kausalt fortræningsparadigme (causal pretraining paradigm), så modellen kan levere interaktion uden tidsgrænse, mens outputkvaliteten forbliver konsistent. Kort sagt: Din karakter kan løbe videre i verden for evigt – billedet bliver ikke mere sløret, og fysikken ikke mere kaotisk.

Nøglen teknisk set er et glidende vindue til KV-cachen. Modellen propper ikke alle historiske frames i hukommelsen; i stedet bevares KV-cache for sink-frames (ankerframes) plus de seneste N frames, og den bevæger sig fremad som en strømmende flod. Det sikrer både langvarig konsistens og kontrolleret hukommelsesforbrug.

② Realtidssvar ved 60 fps

Version 1.0 kørte 16 fps med en latenstid under ét sekund. 2.0 har destilleret realtidsversionen direkte op til 720p ved 60 fps. Dette er ikke forudrendret videoafspilning, men ægte generering i realtid – du trykker på en tast, og billedet reagerer med det samme. Via modeldestillation har teamet udtrukket en letvægts realtidsvariant af 14B-basismodellen, som kraftigt reducerer inferenslatenstiden, samtidig med at billedkvaliteten bevares.

③ Flere interaktionselementer

Version 1.0 understøttede primært kamerastyring (panorering, rotation) og grundlæggende bevægelser (fremad, hop). 2.0 udvider handlingsrummet markant: angreb, bueskydning, trylleformularer og skydning er alle understøttet. Mere vigtigt er introduktionen af et tekstdrevet begivenhedssystem – du kan beskrive ændringer af verdens tilstand med tekst, f.eks. ”fremkald en stol” eller ”skab en blomst”, og modellen genererer det tilsvarende indhold i realtid og integrerer det i scenen.

④ Agentic Harness: AI'en selv som instruktør

Dette er det mest nyskabende forsøg. Teamet har integreret et agent-framework i verdensmodellen med to roller:

• Pilot Agent: er ansvarlig for at planlægge og udføre karakterens adfærd og beslutter, hvor karakteren går hen, og hvilke handlinger den udfører
• Director Agent: er ansvarlig for at syntetisere nye miljøelementer og generere nyt indhold dynamisk, efterhånden som scenen skrider frem

Det betyder, at modellen selv kan fungere som spilmotor + spildesigner: Giv den blot et billede og en tekstbeskrivelse, så producerer den selv en verden i konstant udvikling.

Modelspecifikationer: 14B flagsskib + 1.3B letvægt

Denne gang udgives modeller i to størrelser:

• 14B flagsskibsversion: findes i tre varianter – causal-fast (kausal hurtig inferens), causal-pretrain (kausal fortræning) og bidirectional (todirectional) – med fuld ydeevne
• 1.3B letvægtsversion: findes i varianterne causal-fast og causal-pretrain og kan køre på en enkelt GPU

14B-versionen kræver 8 GPU'er til parallel inferens på flere kort, mens 1.3B-versionen kan køre på ét enkelt kort. Begge versioner er allerede uploadet til HuggingFace og ModelScope. 1.0 brugte den liberale Apache 2.0-licens; 2.0 skifter til CC BY-NC-SA 4.0 (ikke-kommerciel).

Sådan kommer du i gang

Koden er bygget på Wan2.2, og installationsprocessen er helt standard:

git clone https://github.com/robbyant/lingbot-world-v2.git
cd lingbot-world-v2
pip install -r requirements.txt
pip install flash-attn –no-build-isolation

Download modelvægtene (her med 14B causal-fast som eksempel):

huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast –local-dir ./lingbot-world-v2-14b-causal-fast

Kør en kausal inferens i 480p:

torchrun –nproc_per_node=8 generate.py \
–task i2v-A14B –size 480*832 \
–ckpt_dir lingbot-world-v2-14b-causal-fast \
–image examples/03/image.jpg \
–action_path examples/03 \
–dit_fsdp –t5_fsdp –ulysses_size 8 \
–frame_num 361 –local_attn_size 18 –sink_size 6 \
–prompt “A serene lakeside scene with a lone tree standing in calm water…”

Forklaring af nøgleparametre:
– frame_num: antal frames, der genereres; 361 frames svarer til ca. 22 sekunder ved 16 fps, men under kausal inferens kan der sættes større værdier
– local_attn_size: størrelsen af det lokale opmærksomhedsvindue, som styrer, hvor mange historiske frames der ses pr. trin
– sink_size: antallet af ankerframes; de første par frames bevares som global kontekst

Prøv det online

Har du ikke otte A100'er? Intet problem – teamet stiller to onlineplatforme til rådighed:

• Internationalt (Reactor): reactor.inc/lingbot-world-v2 – spil direkte i browseren
• I Kina (Lingguang): lingguang.com/support – kan opleves på mobilen

Desuden vil der være en officiel fuld demo-stand på WAIC 2026 (World AI Conference) i slutningen af juli – dem, der vil opleve den fulde version, kan tage derud.

Deployering: SGLang understøtter det indbygget

Hvis du vil deployere selv, understøtter SGLang allerede LingBot-World 2.0's realtidsinferenssti indbygget. Den bruger WebSocket + MessagePack-protokollen; serveren holder en aktiv session ved lige og genererer videoframes chunk for chunk med dynamisk modtagelse af kontrolbegivenheder ved kørsel (kamerahandlinger, ændringer af tekstprompt osv.).

Kerne-API'en er en /v1/realtime_video/generate WebSocket-endpoint. Når klienten forbinder, sender den først en init-besked (med billede af første frame, prompt, størrelse, fps osv.), og derefter kan den løbende sende event-beskeder for at opdatere scenen. Understøttede begivenhedstyper omfatter prompt-opdatering, kamerahandling og sammensat input.

Hvordan klarer den sig mod Google Genie 3?

Ved udgivelsen af 1.0 målte teamet sig direkte op mod Google Genie 3. Fra 1.0 til 2.0 er forskellen ikke blot indhentet – på flere dimensioner er den overhalet:

• Varighed: Genie 3 har begrænset varighed vs. LingBot 2.0 er grænseløs
• Opløsning/fps: Genie 3 har ikke offentliggjort detaljerede specifikationer vs. LingBot 2.0 klarerer 720p ved 60 fps
• Grad af åbenhed: Genie 3 er lukket vs. LingBot 2.0 er fuldt open source (artikel + kode + vægte)
• Interaktionsrigdom: LingBot 2.0's Agentic Harness er en verdenspremiere inden for world models

Begrænsninger og mangler

Objektivt set et par begrænsninger:

• 14B-versionen kræver otte GPU'er, så adgangsbarrieren er ikke lav (1.3B-versionen afhjælper problemet)
• 2.0-licensen er skiftet til CC BY-NC-SA 4.0; kommerciel brug kræver separat licens
• Teamet har oplyst, at de ikke udgiver deploymentskode – man må selv kigge efter hos SGLang eller flashdreams
• Realtidsversionen ved 60 fps er en destilleret letvægtsvariant, hvis billedkvalitet teoretisk set er ringere end den fulde 14B

Hvad betyder det?

World models er på vej fra ”laboratoriedemo” til ”anvendelige produkter”. LingBot-World 2.0's tre nøglegennembrud – ubegrænset varighed, realtidssvar og agent-drevet styring – svarer præcist til kernebehovene i tre store anvendelsesscenarier: spil, virtuelle verdener og robottræning.

Forestil dig: ét billede plus en tekst, og AI'en genererer en 3D-verden, du frit kan udforske, og som aldrig stopper – med karakterer, der kan trylle, nye objekter, der dukker op tilfældigt, og miljøer i konstant udvikling. Det er ikke længere science fiction; det er kode, der kan køre i dag.

Robbyant-teamet har fra LingBot-Depth (rumlig perception) til LingBot-VLA (indlejret beslutningstagning) og videre til LingBot-World (verdenssimulering) – plus den nyopen sourcede LingBot-Map (realtidskortlægning) – allerede bygget et komplet teknologistack til embodied AI. Verdensmodellen er den vigtigste puslespilsbrik: Den gør, at AI ikke blot kan ”forstå” verden, men også ”skabe” den.

Ét billede, én sætning, én uendelig verden. Sådan ser 2026 ud for world models.

Projektadresse: github.com/Robbyant/lingbot-world-v2
Artikel: arxiv.org/abs/2607.07534
Prøv online: reactor.inc/lingbot-world-v2