한국어

← 목록으로

한 장의 이미지로 끝없이 이어지는 3D 세계 생성: LingBot-World 2.0 오늘 오픈소스 공개, 60fps 무한 인터랙션

itadol5j

월드 모델이라는 트랙에 또 한 발의 수중 폭탄이 투하되었다. 7월 9일, 앤트 링보 팀(Robbyant)이 LingBot-World 2.0(코드명 LingBot-World-Infinity)을 정식 오픈소스로 공개했으며, 논문·코드·모델 가중치 세 가지를 모두 공개했다. 이번에는 그들이 무한 길이와 무작위 변화의 세계라는, 월드 모델 분야에서 가장 어려운 두 고지를 정복했다.

LingBot World 2.0 월드 모델

먼저 가장 인상적인 숫자들부터: 720p, 60fps, 무한 길이. '무한에 가까운' 정도가 아니라 인과 사전학습 패러다임 기반의 진정한 무한 인터랙션이다. GPU에 전원이 공급되는 한 모델은 계속 생성해 나갈 수 있고, 출력 품질도 시간이 지나도 무너지지 않는다. 1.0 버전이 약 10분의 안정적 생성에 그친 것과 비교하면, 이번 세대는 한계를 완전히 끌어올렸다.

4대 핵심 업그레이드: '쓸 수 있는' 수준에서 '재미있는' 수준으로

LingBot-World 2.0은 네 가지 차원의 질적 변화를 가져왔으며, 그 하나하나가 월드 모델의 고질적인 문제를 정면으로 겨냥한다.

① 무한 인터랙션 길이

가장 핵심적인 돌파구다. 1.0 버전은 약 10분의 안정적 생성을 지원했지만 결국 상한이 있었다. 2.0은 정교하게 설계된 인과 사전학습(causal pretraining paradigm) 패러다임을 채택해, 출력 품질을 일관되게 유지하면서 무제한 인터랙션 길이를 구현했다. 쉽게 말해 캐릭터가 세계 안에서 끝없이 달려 나갈 수 있고, 화면이 점점 흐려지지도 물리 법칙이 어긋나지도 않는다.

기술의 핵심은 KV Cache의 슬라이딩 윈도우 설계에 있다. 모델은 모든 과거 프레임을 VRAM에 밀어 넣는 대신 sink 프레임(앵커 프레임) + 최근 N개 프레임의 KV 캐시를 유지하며, 흐르는 강처럼 앞으로 나아간다. 장기 일관성을 보장하는 동시에 VRAM 소비도 제어한다.

무한 길이 월드 생성

② 60fps 실시간 응답

1.0 버전은 16FPS, 지연 1초 이내였다. 2.0은 실시간 버전을 바로 720p 60fps로 증류했다. 이것은 미리 렌더링해 둔 비디오 재생이 아니라 진짜 실시간 생성이다. 키를 누르면 화면이 즉시 반응한다. 팀은 모델 증류 기술로 14B 기반 모델에서 경량 실시간 변형을 추출해 화질을 유지하면서 추론 지연을 크게 줄였다.

③ 더 풍부한 인터랙션 요소

1.0 버전은 주로 카메라 제어(이동, 회전)와 기본 동작(전진, 점프)을 지원했다. 2.0은 동작 집합을 크게 확장해 공격, 활 쏘기, 주문 시전, 사격을 모두 지원한다. 더 중요한 것은 텍스트 기반 이벤트 시스템의 도입이다. 텍스트로 세계의 상태를 바꿀 수 있는데, 예를 들어 '의자 하나 소환해 줘', '꽃 한 송이 만들어 줘'라고 하면 모델이 실시간으로 해당 콘텐츠를 생성해 장면에 자연스럽게 녹여낸다.

④ Agentic Harness: AI가 직접 감독관이 되다

가장 앞선 시도다. 팀은 월드 모델 안에 두 개의 역할을 포함하는 에이전트 프레임워크를 통합했다:

  • Pilot Agent(파일럿 에이전트): 캐릭터의 행동을 계획·실행하며, 캐릭터가 어디로 가고 어떤 동작을 할지 결정한다
  • Director Agent(디렉터 에이전트): 새로운 환경 요소를 합성하며, 장면이 진행됨에 따라 동적으로 새 콘텐츠를 생성한다

요컨대 모델 스스로가 게임 엔진 + 게임 기획자 역할을 할 수 있다는 뜻이다. 이미지 한 장과 텍스트 설명만 주면, 모델이 끊임없이 진화하는 세계를 스스로 만들어 낸다.

Agentic Harness 에이전트 프레임워크

모델 사양: 14B 플래그십 + 1.3B 경량

이번에는 두 가지 크기의 모델이 공개되었다:

  • 14B 플래그십 버전: causal-fast(인과 빠른 추론), causal-pretrain(인과 사전학습), bidirectional(양방향) 세 가지 변형을 제공하며 풀 성능
  • 1.3B 경량 버전: causal-fast와 causal-pretrain 두 가지 변형을 제공하며 단일 GPU 배포를 지원

14B 버전은 8장의 GPU로 멀티카드 병렬 추론이 필요하고, 1.3B 버전은 단일 카드로도 구동된다. 두 버전 모두 HuggingFace와 ModelScope에 업로드되어 있다. 1.0은 Apache 2.0이라는 관대한 라이선스였지만, 2.0은 CC BY-NC-SA 4.0(비상업용)으로 변경되었다.

실행 방법

코드는 Wan2.2를 기반으로 구축되었으며 설치 절차는 표준적이다:

git clone https://github.com/robbyant/lingbot-world-v2.git
cd lingbot-world-v2
pip install -r requirements.txt
pip install flash-attn –no-build-isolation

모델 가중치 다운로드(14B causal-fast 기준):

huggingface-cli download robbyant/lingbot-world-v2-14b-causal-fast –local-dir ./lingbot-world-v2-14b-causal-fast

480P 인과 추론 실행:

torchrun –nproc_per_node=8 generate.py \
–task i2v-A14B –size 480*832 \
–ckpt_dir lingbot-world-v2-14b-causal-fast \
–image examples/03/image.jpg \
–action_path examples/03 \
–dit_fsdp –t5_fsdp –ulysses_size 8 \
–frame_num 361 –local_attn_size 18 –sink_size 6 \
–prompt “A serene lakeside scene with a lone tree standing in calm water…”

주요 파라미터 설명:
-- frame_num: 생성 프레임 수. 361프레임은 16fps 기준 약 22초이지만, 인과 추론에서는 더 크게 설정할 수 있다
-- local_attn_size: 로컬 어텐션 윈도우 크기. 각 스텝에서 몇 개의 과거 프레임을 볼지 제어한다
-- sink_size: 앵커 프레임 수. 처음 몇 프레임을 전역 컨텍스트로 유지한다

온라인 체험 채널

A100 8장이 없어도 괜찮다. 팀이 두 가지 온라인 체험 플랫폼을 제공한다:

  • 해외(Reactor): reactor.inc/lingbot-world-v2, 웹에서 바로 플레이 가능
  • 중국(Lingguang): lingguang.com/support, 모바일에서 체험 가능

또한 7월 말 WAIC 2026(세계인공지능대회)에서 공식 풀 버전 데모 부스가 운영될 예정이니, 풀 성능 버전을 체험하고 싶다면 그때 현장을 찾으면 된다.

배포 방안: SGLang 네이티브 지원

직접 배포할 계획이라면, SGLang이 이미 LingBot-World 2.0의 실시간 추론 경로를 네이티브로 지원한다는 점이 유용하다. WebSocket + MessagePack 프로토콜을 사용하며, 서버는 활성 세션을 유지하고 chunk 단위로 비디오 프레임을 생성하며, 실행 중에도 카메라 동작, 텍스트 프롬프트 변경 등 제어 이벤트를 동적으로 수신할 수 있다.

핵심 API는 /v1/realtime_video/generate WebSocket 엔드포인트다. 클라이언트는 연결 후 먼저 init 메시지(첫 프레임 이미지, 프롬프트, 크기, FPS 등 파라미터 포함)를 보내고, 이후 event 메시지를 계속 전송해 장면을 업데이트할 수 있다. 지원되는 이벤트 유형은 프롬프트 업데이트, 카메라 동작, 복합 입력 세 가지다.

Google Genie 3와 비교하면 어떨까?

1.0 버전 발표 때부터 팀은 Google Genie 3를 명확한 경쟁 대상으로 삼았다. 1.0에서 2.0으로 오면서 격차를 따라잡는 데 그치지 않고 일부 차원에서는 앞서 나갔다:

  • 길이: Genie 3는 제한된 길이 vs LingBot 2.0은 무한
  • 해상도/FPS: Genie 3는 상세 사양 미공개 vs LingBot 2.0은 명확히 720p@60fps
  • 오픈소스 수준: Genie 3는 클로즈드 소스 vs LingBot 2.0은 완전 오픈소스(논문+코드+가중치)
  • 인터랙션 풍부도: LingBot 2.0의 Agentic Harness는 월드 모델 분야 최초

한계와 아쉬운 점

객관적으로 몇 가지 제약을 짚어보면:

  • 14B 버전은 8장의 GPU가 필요해 진입 장벽이 낮지 않다(1.3B 버전이 이 문제를 완화)
  • 2.0 라이선스는 CC BY-NC-SA 4.0으로 변경되어 상업적 사용 시 별도 허가가 필요
  • 팀은 배포 코드를 공개하지 않겠다고 명확히 밝혔으며, SGLang이나 flashdreams를 참고해 직접 구현해야 한다
  • 실시간 60fps 버전은 증류된 경량 변형으로, 화질은 이론상 풀 성능 14B에 미치지 못한다

이것이 의미하는 것

월드 모델이 '연구실 데모'에서 '실제 사용 가능한 제품'으로 나아가고 있다. LingBot-World 2.0의 세 가지 핵심 돌파구(무한 길이, 실시간 응답, 에이전트 구동)는 게임, 가상 세계, 로봇 훈련이라는 세 대 응용 시나리오의 핵심 요구와 정확히 맞닿아 있다.

상상해 보라. 이미지 한 장 + 텍스트 몇 마디만으로 AI가 자유롭게 탐험할 수 있는 끝없는 3D 세계를 생성한다. 주문을 쓰는 캐릭터, 무작위로 나타나는 새로운 오브젝트, 끊임없이 진화하는 환경까지. 이것은 더 이상 공상과학이 아니라 오늘 바로 구동할 수 있는 코드다.

앤트 링보 팀은 LingBot-Depth(공간 인지)에서 LingBot-VLA(구체적 의사결정), LingBot-World(세계 시뮬레이션)를 거쳐 새로 오픈소스로 공개한 LingBot-Map(실시간 매핑)까지, 이미 완전한 구체적 지능 기술 스택을 갖췄다. 월드 모델은 그중 가장 핵심적인 퍼즐 조각이다. AI가 세계를 '이해'할 수 있을 뿐만 아니라 '창조'할 수 있게 해주니까.

이미지 한 장, 문장 한 줄, 무한한 세계. 이것이 월드 모델의 2026년이다.

프로젝트 주소: github.com/Robbyant/lingbot-world-v2
논문: arxiv.org/abs/2607.07534
온라인 체험: reactor.inc/lingbot-world-v2