Google DeepMind 的 Genie 4 是即時互動世界模型。輸入一段場景描述或一張 16:9 圖片,約 5 到 9 秒後,就能用 WASD 與方向鍵探索一個有同步立體聲的世界。走到一半輸入「讓村莊下雪」,下一段畫面就會接著下雪。影片生成工具交付一段成片,Genie 4 則會隨你的下一個動作改變畫面。
想直接體驗,可從 Project Genie 查看 Google AI Ultra 帳戶是否已開放。想把世界接進應用程式,可用付費 Gemini API。Genie 4 的 API 畫面為 720p、每秒 24 幀,單次最長 120 秒;依 2026 年 11 月牌價,生成 60 秒的影片與同步音訊約 6.05 美元,輸入費另計。
Genie 4 怎麼把鍵盤與文字指令變成畫面?
Genie 4 把世界當成一條持續回應輸入的串流來生成,畫面上每一幀都是收到你的最新操控後即時算出來的。送出一個 world_setup 事件後,模型先花 5 到 9 秒規劃世界並吐出第一幀,接著以 1280×720 的 16:9 畫面、每秒 24 幀持續串流,音訊是 48 kHz 的 16 位元立體聲,環境音、音效與角色對白都跟畫面同步生成。鍵盤操控在 0.2 到 0.5 秒內反映到畫面,中途打入的文字事件約 1 到 2 秒生效,時間差來自世界規劃的取樣節奏。
官方文件的 quickstart 用一個油畫場景把這套機制演示得很完整。prompt 描述你站在厚塗後印象派油畫村莊的運河石橋上,鈷藍夜空與金色街燈隨微風起伏,連音訊都一併指定,石階水聲、晚風落葉與鵝卵石上的腳步聲都寫進場景設定。第一幀出現後按住 W 鍵往前走,這些聲音隨畫面同步響起。接著送出一句讓大雪落滿村莊,約一到兩秒後雪勢降臨,再一句讓金色煙火炸開屋頂上空,這些變化不經任何剪接,全部發生在同一條串流裡,這份 prompt 也收在官方文件裡,可以直接複製當起點。

理解它運作機制的關鍵,在於 Genie 4 維持的是滾動式的視覺地平線,而非一張持久的 3D 場景圖。模型以每 4 幀為一個規劃步階取樣輸入,畫面背後沒有一份你轉頭回去就保證分毫不差的地圖,這個特性決定了它擅長的任務形態:短時程、高互動、需要世界即興回應的原型與模擬。與遊戲引擎的差異也在此。引擎的世界是預先建模的場景圖,網格與碰撞體都是工程產物。Genie 4 的世界則是一連串預測出來的畫面,物理表現是模型從訓練資料學到的直覺。這是它幾秒內能變出任意世界的原因,也是細節會隨時間飄移的原因。
| 項目 | 規格 |
|---|---|
| 輸出畫面 | 1280×720(720p)、16:9、每秒 24 幀 |
| 音訊 | 48 kHz、16 位元立體聲,與影片同步生成 |
| 啟動輸入 | 文字 prompt、單張 16:9 參考圖,或兩者並用 |
| 初始生成時間 | 約 5 至 9 秒出第一幀 |
| 操控延遲 | 鍵盤約 0.2 至 0.5 秒。文字事件約 1 至 2 秒 |
| 單次 session 上限 | 120 秒硬上限(官方建議 45 至 90 秒) |
| 傳輸方式 | WebRTC(瀏覽器)、WebSocket(Python 與 Node.js) |
| 伺服機房 | 美國、西歐、日本 |
| 浮水印 | SynthID,所有影片與音訊皆嵌 |
Genie 4 何時開放?研究預覽、Project Genie 與 API 時間線
2026 年 10 月 27 日,DeepMind 以研究總覽公布模型,先交給受邀測試者試用。11 月 18 日,官方再以消費端公告開放新版 Project Genie,符合資格的 Google AI Ultra 訂閱者首次玩到 Genie 4,Google AI Pro 會員只能加入候補名單。
11 月 19 日,Google 的開發者公告確認 Genie 4 已登上 Gemini API 與 Google AI Studio。開發者可從 AI Studio 的互動畫布開始,或在應用程式透過 Interactions API 串接。
查模型如何運作與已知限制,可讀 11 月 18 日發布的 DeepMind 模型卡。要實際串接,則以 AI Studio 的 Genie 4 型號頁確認輸入、輸出格式與工作階段限制。
Google DeepMind 示範如何在同一次模擬裡改變場景,並讓環境音與角色對白隨之變化。
Gemini Omni 與 Gemini 如何參與世界生成?
Genie 4 的世界感由 Gemini 家族分工撐起,單靠一個模型做不到這件事。官方研究總覽載明,Gemini Omni 負責把模擬錨定在真實世界的外觀與行為上,其他 Gemini 模型提供推理能力,維持模擬的連貫與延續。你設定一個事件,Genie 4 接手模擬接下來會發生什麼:世界怎麼回應、聽起來如何、裡面的人怎麼動作與說話。
這條技術路線把世界模型和大型語言模型放在互補的位置,語言模型預測下一個 Token,世界模型預測下一幀畫面,兩者的原理差異可對照先前整理過的LLM 完整教學。一邊處理符號序列,一邊處理時空連續體,訓練目標與資料形態從源頭就分道。
Google 的 Gemini 家族也包含 Gemini 4 Carbon 與 Gemini 4 Neon 等型號。要讓使用者控制鏡頭、探索空間,API 中應選的是 models/genie-4。
DeepMind 的研究展示還有一層代理設計:Gemini 3.8 Flash 在 session 中擔任導引,觀察畫面上發生的事、拆解你的目標、驗證步驟是否完成。研究前緣則更遠一步,DeepMind 已在實驗 Gemini 4 Argon 與 Genie 4 的組合供 Gemini Robotics 使用,示範影片裡 Argon 把使用者交辦的任務拆成步驟、以文字字幕交錯餵給 Genie 4,即時渲染 Apptronik Apollo 人形機器人下西洋跳棋(checkers)的過程。
官方也把下一步的方向寫進了研究總覽:混合式世界模型,把程式與語言模型的結構化推理,和像素級模擬的豐富感官表現結合。這句話對評估者是一個誠實的訊號,目前的 Genie 4 是研究里程碑,還不是成品規格的終局,投入時把介面假設留在可替換的抽象層會更安全。
Genie 4、Genie 3 與 Gemini Omni 1.2 Flash 怎麼選?
Genie 4 在 Google 的生成矩陣裡占了即時互動這一格,Genie 3 與 Omni 各守其他位置。11 月 18 日的更新同時給了 Genie 3 三項升級:單次生成延長到 3 分鐘(原為 60 秒)、支援 360 度全景照片 seeding、世界鏈結把多個世界串成連續旅程。官方把它留在 Project Genie 的 model picker,並明講回頭用它的時機:要拉長單次探索,或要用全景照片當種子時,官方示範就用一張全景照把佩特拉峽谷的立面帶進世界。
想拉長同一次探索,可以選 Genie 3。11 月更新後,它每次可生成最長 3 分鐘,也支援串連多個世界。Genie 4 API 的 120 秒是單次連線硬上限;兩個數字分別適用於不同模型與入口。
與 Omni 1.2 Flash 的界線同樣清楚,兩者都用 Interactions API,輸出形式不同。Omni 做離線片段生成,單段 3 到 15 秒、可延長至 30 秒,支援多輪編輯、1080p 與 4K 上採樣、最多 6 張參考圖,適合交付剪好的影片。Genie 4 犧牲解析度換即時性,適合需要走進去、邊走邊改的場景。MiniMax H3 的影片生成與編輯也以完成一段影片為目標。
做故事板時,可以在 Omni 生成指定運鏡的高畫質片段。如果測的是「觀眾走進場景後能看到什麼」,就把同一段場景描述交給 Genie 4,實際改變路線或光線。選型時先看交付物是影片,還是一段可操控的體驗。
| 模型 | 形態 | 單次長度 | 即時操控 | 初始種子 |
|---|---|---|---|---|
| Genie 4 | 即時互動世界串流 | 120 秒硬上限 | WASD 與方向鍵,加上 mid-session 文字 | 文字加單張 16:9 圖 |
| Genie 3 | 即時互動世界串流 | 最長 3 分鐘,支援世界鏈結 | 即時文字事件 | 360 度全景圖 |
| Gemini Omni 1.2 Flash | 離線影片片段生成 | 3 至 15 秒,可延長至 30 秒 | 無,採多輪編輯 | 最多 6 張參考圖 |
如何透過 Project Genie 探索、編輯與分享世界?
Project Genie 是 Genie 4 的官方遊樂場,入口在 labs.google 的專案頁,訂閱門檻從 Google AI Ultra 起跳,Pro 會員排候補,各層級的台灣費用與功能差異可直接換算成使用成本,它適合想直接從瀏覽器探索或分享作品的人。Genie 4 在這裡的三個賣點是 mid-session 即時編輯、原生音訊與新的創作代理:導航途中直接打字,天氣、光線、角色與事件當場改,音訊從環境音到角色對白都隨劇情自適應。
Project Genie agent 把蓋世界變成一段對話。你用自然語言描述願景,代理負責編排 Google 的多模態模型套組,先產出定調世界視覺的初始畫面與專屬配樂,再交給你探索。這種代理工作形態與AI Agent 的基本原理同源,只是把它套上世界生成的外衣。
想分別製作視覺參考與配樂,可參考 Nano Banana 的圖片生成與 Lyria 的音樂生成。在 Project Genie 裡,探索途中還能讓 Gemini 觀察當下畫面,給出下一步建議,或自動觸發世界事件。

畫廊(gallery)承擔社群擴散的角色。官方策展的「Living Memory」把個人照片變成可走進的空間,「Dino Field Guide」以 360 度全景為底重現史前棲地,「Rock Paper Scissors」讓 Gemini 在桌面上當即時裁判。創作者合作案包括 BLVCKL!GHT 的哥德宅邸解謎「Villa Giallo」與導演 Anand Gandhi 的「The Life of Ants」,後者從螞蟻視角走進蟻窩,可以從貼近地面的角度看蟻群如何移動。其他人可以從畫廊進入作品,也能以現有世界為起點重新創作。
Genie 4 is now available in Project Genie.
— Google DeepMind (@GoogleDeepMind) November 18, 2026
It brings native audio, real-time editing, and a new agent to help you create interactive, virtual worlds. pic.twitter.com/CipplkOuMP
如何用 Gemini API 建立並結束 Genie 4 工作階段?
開發者拿到的是 Interactions API 上的 models/genie-4,一個 session 走完四步生命週期。第一步在你的伺服器上呼叫 interactions.create 建立互動。第二步鑄造單次有效的 ephemeral auth_token,讓長效 API 金鑰永遠不進瀏覽器。第三步以 WebRTC 或 WebSocket 連線並送出恰好一個 world_setup 事件。第四步在過程中連發 user_action 與文字 input 事件,結束時呼叫 complete()。

Genie 4 lets you step inside interactive environments and reshape them mid-session: shifting the weather, summoning characters, and generating adaptive native audio on the fly
— Google AI Studio (@GoogleAIStudio) November 19, 2026
try it today via the Gemini API and in AI Studio: https://t.co/Ibb5f95BKP pic.twitter.com/isJWbyDqmt
傳輸層的選擇取決於客戶端形態。瀏覽器應用走 WebRTC,RTP 影音軌直接餵給 video 元素,延遲最低。Python 與 Node.js 後端走 WebSocket,收到的是 base64 編碼的 JPEG 幀與 PCM 音訊區塊,適合錄製與自訂管線,base64 的膨脹率約三成,錄製管線要先預留頻寬與磁碟空間。WebRTC 的 SCTP 資料通道有 64 KB 訊息上限,參考圖先縮到 1280×720、以 JPEG 壓到 48 KB 以下再送,更大的 PNG 種子改走 WebSocket。
事件語義有兩處最容易被誤解。schema 雖然接受 key_e 與 space,Genie 4 並沒有為它們內建跳躍或互動行為,自訂按鍵要在客戶端攔截,改送描述性的文字事件。文字事件的生效路徑經過世界規劃,官方建議以 150 毫秒間隔重複發送約 10 次,讓下一個規劃間隔穩定接到它,再強制 2 秒冷卻,避免相互衝突的指令打架。對白要加引號,編輯內容描述畫面內的連續物理變化,要求鏡頭硬切會破壞空間連續性。
計費與連線是兩條獨立的線,斷線不等於停止。關掉分頁或本地端離開只會送出 disconnect,伺服器端的世界生成與 Token 計費照跑,Genie 4 又不支援 session 續接,所以永遠以 complete() 或 cancel() 收尾,把這個呼叫寫進前端卸載邏輯與後端逾時保護裡。官方prompt 與控制指南另收錄五種實測過的世界設計模式,從因果世界規則、綁鍵動作動詞到鎖定視線的短劇場都附完整範例。
官方 Python 範例給了一個具體的時間標尺。世界建立後,程式在第 1 幀存下 JPEG 起始幀,第 48 幀(約 2 秒處)送出下雪的文字突發,第 144 幀(約 6 秒處)放開 W 鍵,音訊側把收到的 PCM 區塊直接寫成 48 kHz 的雙聲道 WAV 檔。整個流程不含任何渲染引擎,一支非同步 Python 腳本就跑完生成、操控與收錄。
- 確認 API 金鑰已開通付費層,免費層呼叫
models/genie-4會被拒。 - 安裝最新版 SDK:Python 用 google-genai,JavaScript 與 TypeScript 用 @google/genai。
- 瀏覽器端選 WebRTC、後端與錄製管線選 WebSocket,別在伺服器環境硬架瀏覽器連線。
- WebRTC 種子圖先縮到 1280×720、JPEG 壓縮到 48 KB 以下再 base64 編碼。
- 長效金鑰只留在後端,瀏覽器一律用單次 auth_token 連線。
- 所有離開路徑都接上 complete(),並在後端加一道強制逾時。
若要把原型交給其他人試用,先從實際使用地區測鍵盤反應,再檢查關閉分頁後,後端有沒有收到工作階段結束事件。
Genie 4 價格與速率限制:每秒、每次與每月怎麼算?
Genie 4 的計費單位是影片輸出 Token,每幀 240 個、每秒 5,760 個,官方牌價換算後每秒約 0.10 美元。音訊打包在影片 Token 裡不另計,輸入側的文字與參考圖以每百萬 1.50 美元計,實際帳單還要加上該次輸入用量。
| 計費項 | 牌價 |
|---|---|
| 輸入(文字與 16:9 參考圖) | 1.50 |
| 輸出(文字) | 9.00 |
| 輸出(影片,含立體聲音訊) | 17.50 |
| 免費層、Batch、Flex、Priority、context caching | 全部不支援 |
| 付費層資料用於改善產品 | 否 |
把牌價換算成 session 成本只要一條算式:每秒 5,760 個 Token 乘以每百萬 17.50 美元,等於每秒 0.1008 美元,一個跑滿 60 秒的世界約 6.05 美元。下表用四種 session 長度試算單次與月成本,月成本以每日 10 次、每月 30 日計,僅列影片輸出 Token。
| 單次長度 | 影片輸出 Token | 單次成本(美元) | 月成本(美元) |
|---|---|---|---|
| 45 秒 | 259,200 | 4.536 | 1,360.80 |
| 60 秒 | 345,600 | 6.048 | 1,814.40 |
| 90 秒 | 518,400 | 9.072 | 2,721.60 |
| 120 秒 | 691,200 | 12.096 | 3,628.80 |
如果每天測 10 次,把每次工作階段從 90 秒縮到 45 秒,30 天的影片輸出費用就從 2,721.60 美元降到 1,360.80 美元。這裡按實際生成秒數算;切成多個短工作階段,總生成時間相同,輸出費用也相同。Genie 4 目前沒有 Batch 或 Flex 折扣。
| 用量層級 | 併發 session | 每日請求數 |
|---|---|---|
| Tier 1 | 2 | 50 |
| Tier 2 | 5 | 250 |
| Tier 3 | 10 | 1,000 |
依 Genie 4 的專案速率限制,Tier 1 只有 2 個併發 session 與每日 50 次請求,做多人同時上線的產品前要先算清楚同時在線人數。表中的每日請求數以 session 為單位,每一次 interactions.create 都算一個請求,Tier 1 等於每天最多開 50 個世界。唯一的寬鬆處在 session 內部,鍵盤與文字事件不耗用 RPM 或 RPD 額度,單一 session 裡可以盡量密集操控。
120 秒之外,Genie 4 還有哪些限制?
Genie 4 的現階段邊界都寫在官方限制清單,120 秒是最硬的一條。API 文件標明 hard cap 120 秒、最佳體驗落在 45 至 90 秒,超過 60 到 90 秒後視覺穩定性開始下降,屆期就終止生成,沒有展延選項。DeepMind 模型頁以約一分鐘的連續互動描述現況,規劃長體驗時以 60 秒為心理基準最穩。
物體恆存是第二條邊界。轉開視線超過 8 秒再回頭,或連續轉滿 360 度,地標、門與按鈕可能移位或重置。告示牌與儀表上的文字會變形,精確的物件計數在鏡頭平移間會飄移。輸出固定 16:9 與 24fps,不支援直式 9:16,也不可調整幀率。

連線品質由機房位置決定。Genie 4 從美國、西歐與日本的資料中心供應,官方把北美、西歐與中歐、東亞列為往返延遲低於 150 毫秒的最佳區,這是區域性參考值,台灣使用者的實際往返時間取決於網路路由。區外的連線會感受到轉向延遲變高與幀率下降,部署即時操作型應用前,先從目標地區實測 WebRTC 延遲,必要時把後端中繼放在服務區旁。
輸入與安全邊界同樣明確。Genie 4 不接受麥克風與攝影機的即時輸入,不支援 function calling、Google Search grounding、structured output,也不支援跨完成的 session 續接。含可辨識真實人物、公眾人物或版權品牌 IP 的 prompt 與參考圖,可能在啟動時被擋下或中途終止串流。所有輸出影片與音訊都嵌 SynthID 浮水印,輸入輸出均經安全篩檢。
不支援續接這一條對產品設計的影響最容易被低估。使用者斷線重連後拿不回同一個世界,每個 session 都要當成一次完整體驗來設計,進度、成就與狀態要存在你自己的後端,而不是指望模型幫你記住場景。產品端的紀錄粒度要自己設計,模型只交付當下的串流。
哪些工作適合先用 Genie 4 做原型?
DeepMind 公布的早期測試涵蓋影視、新聞、教育與遊戲。影視前期是最直覺的一塊,導演與創意總監把 Genie 4 當快速預視化工具,走進場景即時多拍幾個 take,攝影機角度、燈光、對白與動作當場調,讓團隊在搭景前先比較鏡位。新聞與教育端則把單張 2D 檔案照變成可走進的模擬空間,山洪或野火這類短時環境事件也能動態可視化,教育端的 trusted testers 同步在測歷史空間的沉浸式重現。
遊戲開發拿到的是寫引擎程式碼之前的那一段。用自然語言先試視覺風格、材質美學與互動機制,先看場景是否值得投入建模。對照站上記錄的 Claude Opus 5.5 與 Blender 花 16 天做出 3D 遊戲的案例,Genie 4 走的是另一個極端,一句 prompt 換一個能走的世界,代價是畫質與持久度。另一個研究方向是機器人與代理訓練。研究人員可以改寫提示詞,產生同一場景的多種變化,觀察代理如何回應罕見情境。
想評估是否適合自己的專案,可以在 AI Studio 的 Genie 4 互動畫布先跑一次短場景,觀察輸入延遲、角色是否連貫,再用實際生成秒數估算費用。若需求是讓代理產生表單或按鈕,可參考 A2UI 的代理介面生成方式。
Genie 4 常見問題
Genie 4 有免費方案嗎?
Genie 4 的 Gemini API 不支援免費層。Project Genie 則向符合資格的 Google AI Ultra 訂閱者開放,AI Pro 會員可加入候補。按 2026 年 11 月 API 牌價,45 秒的影片與同步音訊輸出約 4.54 美元,另計輸入費。
一次 session 最長可以連續跑多久?
Genie 4 API 單次最長 120 秒,Google 建議把體驗設計在 45 至 90 秒。Project Genie 裡另可選 Genie 3,每次最長 3 分鐘,也可串連多個世界。
台灣連線的延遲表現如何?
Google 把東亞列為往返延遲有機會低於 150 毫秒的區域,並列出日本機房。這是網路往返時間,畫面對鍵盤輸入的反應還包含生成時間。要估台灣使用者的手感,應從目標網路分別測 WebRTC 往返延遲與按鍵到畫面變動的時間。
生成內容有浮水印嗎?會被拿去訓練嗎?
Google 表示,Genie 4 生成的影片與音訊都嵌有不可見的 SynthID 浮水印。Gemini API 定價頁列明,付費層資料不會用來改善 Google 產品;輸入與輸出仍會接受安全篩檢。
可以用真實人物或知名角色當題材嗎?
含可辨識真人、公眾人物或受版權保護品牌內容的提示詞或參考圖,可能在啟動時被擋下,也可能讓進行中的串流終止。做原型時,可以先使用原創角色與有權使用的圖片。
關掉瀏覽器分頁就會停止計費嗎?
關閉分頁只會中斷本機連線,無法保證伺服器停止生成與計費。正常結束應呼叫 session.complete(),需要立即中止則呼叫 session.cancel()。後端也要處理使用者突然離線的情況。
Genie 4 會取代遊戲引擎嗎?
需要可重複載入的關卡、碰撞判定或存檔時,仍要依靠遊戲引擎。Genie 4 適合前期預視與互動原型:可以先走進場景試視角、節奏和氣氛,再決定哪些玩法值得正式實作。






討論與提問