來源/億邦動力 

撰文/胡鏷心

當(dāng)主播在直播間講解沖鋒衣時，她可以瞬移般轉(zhuǎn)場到戶外、雪山、漫天風(fēng)雪中，展示沖鋒衣的使用場景；當(dāng)主播在在直播間賣連衣裙時，則可以自然地走進(jìn)不同城市街頭咖啡館，展示日常場景中的穿著效果…… 

這不是魔法，也不是電影特效，而是文生視頻模型與電商直播的結(jié)合。

OpenAI發(fā)布的Sora將視頻生成能力帶到了新的高度，相應(yīng)地也帶來了豐富的應(yīng)用想象空間。

IDC中國研究總監(jiān)盧言霞認(rèn)為，視頻生成將最先應(yīng)用于短視頻、廣告、互娛、影視、媒體等領(lǐng)域。當(dāng)前Sora生成的是1分鐘的視頻，對于行業(yè)已經(jīng)是重大突破，只是下一步何時能生成2分鐘5分鐘以上的視頻，不可預(yù)測。

顯然，視頻營銷的生產(chǎn)方式將徹底重構(gòu)，無論是將主播和商品置于虛擬場景中，還是為商品創(chuàng)作更豐富的營銷素材，品牌方、營銷公司、視頻平臺、消費(fèi)者，將欣喜地迎接抑或無奈地接受一個光怪陸離的新世界。

背后的核心問題是：基于大模型的AI電商到底長什么樣子？

最新消息，Sora已于2月26日開放對外申請。目前有兩種方式能用上官方版的Sora，第一，著名藝術(shù)從業(yè)者優(yōu)先；第二，加入Red Teaming（專家社區(qū)，為OpenAI 提供風(fēng)險(xiǎn)評估）。同時，字節(jié)跳動剪映旗下的AI創(chuàng)作平臺DreaminaAI也即將上線視頻生成能力，目前已開始接收內(nèi)測申請。

從視頻營銷到情感電商，Sora改變了什么？

當(dāng)下的電商營銷視頻主要包括直播切片和商品展示兩類。比如極睿科技的產(chǎn)品iCut，可以自動從直播中識別商品賣點(diǎn)，剪輯片段、保留語音、生成字幕，還能自動增加配樂、轉(zhuǎn)場特效、標(biāo)題、側(cè)幕、品牌Logo等元素供品牌分發(fā)。賣家可以一邊直播一邊實(shí)時獲得海量短視頻素材。

“我們的工作更多是從1到100生產(chǎn)素材，Sora則可以幫助我們從0到1生產(chǎn)素材。”極睿科技CEO武彬說。

武彬介紹，此前電商不能用視頻生成模型，主要原因有三：第一，視頻時長太短，無法進(jìn)行商品講解。第二，清晰度不夠。第三，可控性較差。

從生成效果來說，Sora彌補(bǔ)了電商營銷素材生成的部分短板。

在Sora展示出的demo中，清晰度和完整度很好，一分鐘也是一個常見的視頻長度，適合賣家去制作并發(fā)布到淘寶逛逛、京東種草秀或抖音上。

Sora可以生成吸引眼球的空鏡，比如蝴蝶在海底飛。

來源：Sora 

還可以更換商品背景，配合展示。比如，在直播間講解沖鋒衣的主播，可以流暢地轉(zhuǎn)場到戶外、雪山、漫天風(fēng)雪中，展示沖鋒衣的使用場景。在直播間賣連衣裙的主播，則可以自然地走進(jìn)都市街頭咖啡館，在日常場景中講解商品。

來源：Sora 

極睿科技要做的則是將此前積累的商品、場景、細(xì)節(jié)等行業(yè)知識，組合成合適的Prompt，完成內(nèi)容生產(chǎn)。

同為電商營銷的奧創(chuàng)光年也希望通過AIGC提升原始素材的創(chuàng)建速度，“因?yàn)橛脩艚o的素材可能是不夠的，再加上平臺現(xiàn)在的判重機(jī)制更嚴(yán)格，內(nèi)容是否起量有一定隨機(jī)性，需要我們提高視頻生成的質(zhì)量和效率，加快創(chuàng)意方向的探索和迭代，我們也希望把原始素材生成的比例提高。”奧創(chuàng)光年研發(fā)負(fù)責(zé)人張紅春指出。

他指出，Sora對prompt的遵循能力與理解能力令人驚訝，視頻補(bǔ)全、穿插過渡都非常自然，不管是3D的、多角度的、一鏡到底的，數(shù)據(jù)cover得很全，因此可以生成更多原始素材，實(shí)現(xiàn)單點(diǎn)突破。

從成本角度，AI比攝影師和模特的成本更低。按DALL·E-3生成單張圖片的價格來初步估算（DALL·E-3生成一張1024×1024的照片收費(fèi)0.04美元），Sora生成1分鐘視頻的成本大約500多元。但因Sora參數(shù)規(guī)模增大，推理效率的優(yōu)化也需要時間，現(xiàn)階段應(yīng)高于這個預(yù)估價。對于大B商家來說，找人實(shí)拍1分鐘視頻的成本在1000-2000元，隨著模型可控能力、推理能力的迭代提升，在效果滿足的情況下，成本降低至預(yù)估價范圍，AI應(yīng)用可以更加普及。

但電商營銷要求“貨對版”，不管是細(xì)微的色差，還是裝飾品1厘米的誤差，對電商來說都算虛假宣傳。為此，奧創(chuàng)光年通過商品實(shí)拍和背景生成分開的方式來生產(chǎn)視頻。“一部分實(shí)拍、一部分合成。在商品已固定，展示環(huán)節(jié)已固定的情況下，圍繞商品的所有的元素都可以通過Sora生成。”張紅春說。

“Sora解決不了貨不對板的問題，意味著它并不真的理解物理世界，需要人的邏輯來彌補(bǔ)它的短板。”凌迪科技Style3D首席科學(xué)家王華民認(rèn)為，“很多人夸大了Sora所代表的智能，它其實(shí)用海量數(shù)據(jù)，達(dá)到了很淺的智能，而且它的邏輯性和對物理世界底層的理解是有瑕疵的，最好由3D和物理仿真技術(shù)來提供整個邏輯關(guān)系，由AI來潤色。現(xiàn)在的AI更適合扮演Copilot的角色。”

凌迪科技Style3D的思路是，提供從產(chǎn)品設(shè)計(jì)到銷售展示的全鏈路3D+AI工具。

在設(shè)計(jì)階段，凌迪科技Style3D提供的Style3D iCreate，幫助設(shè)計(jì)師或建模師以AI的發(fā)散性快速獲取創(chuàng)意靈感；

確定款式后，使用Style3D Studio制作成精準(zhǔn)的、可用于生產(chǎn)的3D虛擬樣衣；

在上身展示環(huán)節(jié)，可以調(diào)用Style3D Studio資源庫中的數(shù)字人模特，模特的表情、姿勢、發(fā)型、配飾及背景都可進(jìn)行調(diào)整；

基于3D虛擬樣衣，結(jié)合AI優(yōu)化，還可以一鍵生成電商上新圖及詳情頁。整個過程最快僅需24小時。

“我們更偏向于做AI Agent，輔助從業(yè)者做好每一步。至于Sora所代表的視頻生成，對我們肯定有幫助，但目前我想不出視頻生成對設(shè)計(jì)師作用有多大。”王華民莞爾。

圖片來源：Style3D

武彬認(rèn)為，Sora更多是能力上的補(bǔ)充，并不能改變to B的產(chǎn)品邏輯。

電商營銷素材的制作包括三個環(huán)節(jié)：素材整理，智能生成，多渠道分發(fā)。Sora在視頻生成環(huán)節(jié)起作用，但在素材整理和渠道分發(fā)上，還是使用原有工具。“對于我們來說，模型是什么樣，智能到什么程度不重要，重要的是能夠?qū)崿F(xiàn)目標(biāo)，那就是一個好的AI。”武彬表示。

Sora剛發(fā)布了demo，硅基智能已經(jīng)開始訓(xùn)練demo中的數(shù)字人開口說話。

來源：硅基智能 

硅基智能的業(yè)務(wù)是為大V制造數(shù)字人分身直播，并且為MCN機(jī)構(gòu)提供數(shù)字人主播帶貨。那么Sora將如何改變直播帶貨？

在硅基智能CEO司馬華鵬看來，下一代電商不一定是貨架電商形式，“不能因?yàn)槟憬o馬車加了一盞電燈，就認(rèn)為這是電氣化。”

他提到一家以情感、陪伴、信任為中心的AI企業(yè)——Character AI，使用方式類似于鋼鐵俠的智能助手Javis，鋼鐵俠問Javis：“今天跟女朋友第一次約會，給我推薦一套西裝。”Javis提供備選產(chǎn)品，確定后就安排送貨上門。在溝通中完成購買，相當(dāng)于“情感電商”。

“我有一個非常中立、非常愛我、非常替我考慮的AI助理，我今天問他晚上吃什么，它會基于我的個人信息、喜好、體質(zhì)進(jìn)行推薦，我覺得這有可能是新的電商，每個人接下來都會有個助理，這個事情會會對所有商業(yè)產(chǎn)生非常大的顛覆。”司馬華鵬如是說。

而數(shù)字人就是這個AI助理的載體，目前，硅基智能不僅將數(shù)字人克隆技術(shù)從8000元降到4元，而且Sora能生成場景和數(shù)字人原型，結(jié)合硅基的數(shù)字人訓(xùn)練技術(shù)，給內(nèi)容產(chǎn)業(yè)帶來的沖擊是巨大的。此外硅基智能試水?dāng)?shù)字人短劇拍攝，通過數(shù)字人+AI工具，成本降低10倍。

視頻生成群雄競出，Open AI緣何一枝獨(dú)秀？

2024年的視頻生成領(lǐng)域熱鬧非凡。1月4日，阿里云的“全民舞王”（Animate Anyone模型）橫掃社交媒體。1月11日，字節(jié)跳動發(fā)布文生視頻模型MagicVideo-V2，支持生成4K、8K分辨率，以及不同繪畫風(fēng)格的視頻。1月17日，騰訊AI實(shí)驗(yàn)室發(fā)布了視頻生成模型VideoCrafter2。同一天，來自百度的團(tuán)隊(duì)發(fā)布了視頻生成模型UniVG。

在技術(shù)架構(gòu)上，Sora相較于當(dāng)下的視頻生成模型，至少領(lǐng)先一代。

張紅春介紹，像Pika、Runway，animatediff系列等視頻生成模型，為充分地利用image diffusion的預(yù)訓(xùn)練權(quán)重和知識，都是在單幀圖片的spatial模塊后面，加一個時序(temporal)模塊，來學(xué)習(xí)幀與幀之間的連貫性。這種通過空間和時間解耦的方式來建模，并非最優(yōu)的視頻表征和建模方法。

相比之下，不論是Google的W.A.L.T和Sroa，都在整個pipeline各模塊上對空間(spatiotemporal)統(tǒng)一建模，同時借鑒DiT的思想，把unet替換為transformer，提升模型scaling up的能力；相對W.A.L.T，Sora在數(shù)據(jù)質(zhì)量、數(shù)據(jù)多樣性、多尺寸多分辨率等方面，又做了很多工作，多因素的累加讓最終效果一騎絕塵。

來源：Sora技術(shù)文檔 

從大語言模型到多模態(tài)大模型，核心難點(diǎn)是把各個模態(tài)轉(zhuǎn)成token喂到語言模型中去。張紅春介紹，文本天然是token化的，圖片和視頻也有壓縮方式進(jìn)行token化，比如谷歌的MAGVIT；音頻領(lǐng)域，谷歌也推出音頻生成技術(shù)做底層的音頻token化。所以谷歌和OpenAI都儲備了音頻、視頻、圖片、文本的token化技術(shù)。

但是國內(nèi)目前談?wù)撦^多的是文本和圖片的token化，音頻、視頻的token化能力還不多見。

來源：Google 

XR創(chuàng)業(yè)者謝明炫認(rèn)為，Sora展示了一種實(shí)時生成數(shù)字內(nèi)容和虛擬世界的可能性，這讓虛擬空間會成為新一代的大眾媒介，取代短視頻平臺。

元宇宙的難點(diǎn)在于數(shù)字內(nèi)容的生產(chǎn)效率太低——先要3D建模、貼圖，再到游戲引擎中去制作，過程復(fù)雜，門檻過高。Sora的機(jī)制則是一種全新渲染引擎的可能性，以后的內(nèi)容制作方式可以基于提示詞創(chuàng)建3D內(nèi)容。基于Sora，數(shù)字內(nèi)容的生產(chǎn)中，腳本是自然語言，而不是編程語言，大幅降低數(shù)字世界的門檻，每個人都可以去很快速的去建造一個數(shù)字世界。

至于Sora自身的發(fā)展方式，大多從業(yè)者的共識還是，Sora還會被塞到大語言模型GPT-5中，形成類似谷歌Videopoet的產(chǎn)品形態(tài)。“理論上Sora應(yīng)該是放到上下文里面去，基于更長的上下文去做理解推理、生成和交互。語言模型最適合做基礎(chǔ)，也最適合做各個模型之間的大一統(tǒng)，放到語言模型中才能更好和人交互。”張紅春總結(jié)。

文字生成領(lǐng)域沒有太成熟的商業(yè)模式，以至于Open AI也不確定GPT生成的文字應(yīng)該如何定價。但是視頻生成有非常成熟的商業(yè)模式，一個短視頻能賣多少錢，一部電影/電視劇多少錢，都有對應(yīng)標(biāo)準(zhǔn)。“Sora開放后，如果測評好，千億美元收入是可以的。按照市銷率幾十倍來估算，很容易做到萬億市值，我覺得這個事情并不難。”司馬華鵬表示。

“視頻生成這個路徑會給OpenAI會帶來非常大的收入，我預(yù)計(jì)會超過千億美元。”司馬華鵬補(bǔ)充。

回到Sora背后的Open AI，為何它的模型能夠一枝獨(dú)秀？

有國內(nèi)AI企業(yè)高管告訴億邦動力，2019年他試圖挖一個OpenAI員工。溝通中他介紹，我們的愿景是幫助人類從碳基走向硅基。OpenAI員工回復(fù)，我們的愿景是創(chuàng)造上帝。

技術(shù)路線見頂，AI之王的盛世隱憂？

另一方面，相當(dāng)數(shù)量的AI從業(yè)者看到Sora背后的技術(shù)隱憂。

OpenA遵循“大數(shù)據(jù)、大模型、大算力”的技術(shù)路線，把Scale當(dāng)作核心價值觀之一：我們相信規(guī)模——在我們的模型、系統(tǒng)、自身、過程以及抱負(fù)中——具有魔力。當(dāng)有疑問時，就擴(kuò)大規(guī)模，Sora就是這一思路的代表。

但王華民認(rèn)為，很多從業(yè)者都看到了這一技術(shù)路徑的上限，震驚于對Sora一邊倒的贊美。

OpenAI的能力突破來自于率先使用了前人沒用過的數(shù)據(jù)，數(shù)據(jù)量可以很快上漲。但大模型需要的數(shù)據(jù)量呈指數(shù)級增長，而全球的高質(zhì)量語言數(shù)據(jù)預(yù)計(jì)將于2024年用盡。“我們對數(shù)據(jù)量太過樂觀，全球數(shù)據(jù)上限會比算力上限更早到來。”王華民分析。

數(shù)據(jù)量達(dá)到上限，暴力美學(xué)的技術(shù)路線也將達(dá)到上限，而機(jī)器合成的數(shù)據(jù)會讓模型效果變差，我們的不少訪談對象都認(rèn)同這一觀點(diǎn)。

高質(zhì)量語言數(shù)據(jù)耗盡速度 ，來源：科技博主Dwarkesh Patel 

Meta首席科學(xué)家楊立昆也認(rèn)為，隨著數(shù)據(jù)量見頂，模型性能會趨于飽和，我們需要其他維度的突破，要依靠科學(xué)研究，而不是追求數(shù)據(jù)量的增長。“現(xiàn)階段沒有這種技術(shù)能讓AI像嬰兒觀察世界一樣來學(xué)習(xí)。我們正在研究這個問題，希望得到突破。”

2023年，楊立昆提出一個新構(gòu)思，即根據(jù)大腦運(yùn)行機(jī)制，建立一個端到端的仿生架構(gòu)，包含6個核心模塊：配置器、感知模塊、世界模型、成本模塊、參與者模塊和短期記憶模塊，他基于該理念設(shè)計(jì)出V-JEPA“非生成模型”。

這至少代表暴力美學(xué)路徑之外的另一條路徑。在王華民看來，“楊立昆在做的事情，我們不敢保證他是不是能做成，但起碼他們團(tuán)隊(duì)對這些事情是有認(rèn)知的，知道現(xiàn)有的問題在哪。如果你連問題是什么都不知道，那就根本不可能去解決它。”

楊立昆的自主智能系統(tǒng)的架構(gòu)示意圖 ，來源《通向自主機(jī)器智能的路徑版本0.9.2, 2022-06-27》 

技術(shù)發(fā)展是非線性的，一個技術(shù)路線走到一定程度就會停止，之后會有新技術(shù)路線冒出來，超越它，達(dá)到更高的程度。“AI也是一樣，Sora這一浪目前看是到不了理解物理，實(shí)現(xiàn)AGI的程度，后面會有新技術(shù)出來把它覆蓋掉，最終我們是可以把AGI或者世界模型做出來的。”王華民總結(jié)。

沒人知道OpenAI在想什么，“Sora發(fā)布前，外界并不知道他們在干什么，做到什么程度。”有創(chuàng)業(yè)者告訴億邦動力，“OpenAI內(nèi)部已經(jīng)軍事化管理，OpenAI的模型不止Sora一種，但大家并不知道有什么，而且他們在深度使用這些模型。”

或許在新一輪技術(shù)浪潮到來之前，我們期待Sora能在更多的場景中落地。