天天微資訊！獨家 | Gen-1——可以改變視頻風格的AI模型

翻譯：吳振東
校對：張睿毅

(資料圖片)
本文約1000字，建議閱讀3分鐘
本文簡單介紹了Runway公司的發展史，以及他們新推出的生成式AI模型Gen-1，可用于通過應用文本提示或者參考圖像所指定的任意風格，將現有視頻轉換為新視頻。

Runway公司新推出了一款名為Gen-1的模型，可以用來改變視頻或電影的現有視覺風格。

生成式AI（AIG）初創公司Runway在去年合作開發了Stable Diffusion，這是具一款有突破意義的文本到圖像模型。該公司現在發布了名為Gen-1的人工智能模型，可以通過應用文本提示或者參考圖像所指定的任意風格，將現有視頻轉換為新視頻。

在其官方網站發布的一段演示視頻中，Runway展示了他們的軟件如何將街道上的行人變成黏土木偶，將桌子上的書變成夜晚的風景。Runway希望Gen-1能夠像Stable Diffusion在圖像領域上的那樣，為視頻領域做出貢獻。Runway公司CEO兼聯合創始人Cristóbal Valenzuela表示：“我們曾見證過圖像生成模型的大爆發，我堅信2023年會是屬于視頻生成模型的一年?！?/p>

Runway成立于2018年，多年來致力于人工智能視頻編輯軟件的研發。抖音和YouTube用戶以及主流電影和電視劇工作室都在使用他們的工具。斯蒂芬-科爾伯特（扣扣熊）主持的《深夜秀》的制作人使用Runway軟件來編輯節目畫面；熱門電影《瞬息全宇宙》的視覺效果團隊利用Runway公司的技術創建了一些場景。

2021年，Runway與慕尼黑大學的研究人員合作開發了第一代Stable Diffusion?？偛课挥谟某鮿摴維tability AI隨后參與該項目，承擔了在更多數據上訓練模型所需的計算費用。2022年，Stability AI使得Stable Diffusion成為主流，將其從一個研究項目轉變成一個全球現象。

然而現在兩家公司已不再合作。Getty公司目前正在對Stability AI采取法律訴訟，聲稱該公司未經允許就在Stable Diffusion的訓練集中使用了Getty的圖片。如此一來Runway選擇和他們保持距離。

視頻下載地址：

https://wp.technologyreview.com/wp-content/uploads/2023/02/2-Storyboard-Mode.mov

Gen-1對于Runway來說是全新的開始。他們在去年發布了一個類似于文本轉視頻的模型，就像Meta的Make-a-Video和谷歌的Phenaki模型一樣，這些種模型都可以從頭生成非常短的視頻片段。該模型也與谷歌在上周發布的生成式AI模型Dreamix有些相似，后者可以通過應用特定的風格從現有視頻中創建出新的視頻。不過根據Runway的實際演示視頻來看，Gen-1的視頻質量似乎有所提升。因為它可以轉換現有的一組鏡頭，也可以制作比之前那些模型所生成的時長長得多的視頻（該公司表示，未來幾天將在官網上發布更多關于Gen-1的細節）。

與Meta和谷歌不同的是，Runway所制作的模型都是以客戶為出發點的。Valenzuela表示：“這是首批與視頻制作者社區密切合作開發的模型之一，得益于多年來對電影制片人和視覺特效剪輯師如何進行后期制作的深入了解?！?/p>

Gen-1模型正在云端運行，通過Runway的網站，現在向少數受邀客戶開放，幾周后將會向等候名單上的用戶開放。

去年生成式AI技術呈爆發式增長，得益于數百萬人第一次接觸到如此強大的創意工具，他們愿意將自己使用的成果分享給他人。Valenzuela希望將Gen-1交到有創造力的專業人士手中，從而很快在視頻界產生類似效果的影響。

Valenzuela說道：“我們已經非常接近制作完整的故事片了。我們即將實現這一目標：到那時候你們在網上看到的大部分內容都是生成式（AIG）的?！?/p>原文標題：The original startup behind Stable Diffusion has launched a generative AI for video原文鏈接：https://www.technologyreview.com/2023/02/06/1067897/runway-stable-diffusion-gen-1-generative-ai-for-video/

封面視頻：

https://wp.technologyreview.com/wp-content/uploads/2023/02/Scuba-Example.mp4

編輯：于騰凱校對：林亦霖

譯者簡介

吳振東，法國洛林大學計算機與決策專業碩士?，F從事人工智能和大數據相關工作，以成為數據科學家為終生奮斗目標。來自山東濟南，不會開挖掘機，但寫得了Java、Python和PPT。

翻譯組招募信息

工作內容：需要一顆細致的心，將選取好的外文文章翻譯成流暢的中文。如果你是數據科學/統計學/計算機類的留學生，或在海外從事相關工作，或對自己外語水平有信心的朋友歡迎加入翻譯小組。

你能得到：定期的翻譯培訓提高志愿者的翻譯水平，提高對于數據科學前沿的認知，海外的朋友可以和國內技術應用發展保持聯系，THU數據派產學研的背景為志愿者帶來好的發展機遇。

其他福利：來自于名企的數據科學工作者，北大清華以及海外等名校學生他們都將成為你在翻譯小組的伙伴。

點擊文末“閱讀原文”加入數據派團隊~

轉載須知

如需轉載，請在開篇顯著位置注明作者和出處（轉自：數據派ID：DatapiTHU），并在文章結尾放置數據派醒目二維碼。有原創標識文章，請發送【文章名稱-待授權公眾號名稱及ID】至聯系郵箱，申請白名單授權并按要求編輯。

發布后請將鏈接反饋至聯系郵箱（見下方）。未經許可的轉載以及改編者，我們將依法追究其法律責任。

點擊“閱讀原文”擁抱組織

關鍵詞： 人工智能 初創公司 視覺風格