創業新聞

AI如何前進娛樂產業?看中國新說唱背後龐大的科技手段

極客公園

播出近一個月的《中國新說唱》繼續創造了新的流行詞,登上了無數次熱搜,再度成為了暑期裡最具話題性的綜藝節目。與其他綜藝不同,今年的《中國新說唱》自啟動開始,就自帶「科技」基因。

幾個月之前,愛奇藝官方宣布通過 AI 選角模型,綜合明星的人氣、熱度、專業程度、音樂類型、粉絲畫像等資料,為潘瑋柏選出了匹配度高達 90% 的明星鄧紫棋作為搭檔,消息一出網路上卻是一片質疑聲。但從節目上線之後,「紫棋說得對」、「我幫你唱 HOOK」洗版社交網路,到新近在製作人公演中,與潘瑋柏成功挑戰高難曲目《死了都要愛》,鄧紫棋在節目中的人氣值一路逆轉飆升。對於鄧紫棋的口碑反轉,在某種程度上是用戶集體對愛奇藝 AI 技術的一次點讚認可。而事實上,對 AI 技術的應用已經貫穿於《中國新說唱》這樣一檔 S+級超級網綜的選角、後期製作、節目分發等多個環節。

要想成為爆款綜藝,精準的用戶洞察、新鮮的表現手法和超強的執行能力缺一不可。AI 技術的加持,則極大拓寬了超級網綜的想像空間。

潘瑋柏和鄧紫棋在全新一季《中國新說唱》合作
極客公園

引進 AI 協助節目製作

大多數觀眾對綜藝的製作流程瞭解甚少,這也是部分綜藝內容常常引起觀眾誤會甚至一些粉絲會為了某些情節而出走憤怒的原因。而口碑爆棚的綜藝節目中,好的剪輯也往往能給節目錦上添花。例如《嚮往的生活》,將一季中日常生活的瑣碎過程,梳理出年輕演員的心境成長歷程,通過適當的場景展示、結構調整讓參與者的性格特徵更清晰地被觀眾注意到,成就了節目和參與者的口碑雙贏。

這樣的例子比比皆是。而這樣精彩的「故事線」背後,其實是需要剪輯團隊從以 TB 級的素材中去挑選參與者們最出眾的部分、最適當的場景來表達。內容越細緻,意味著越繁重的後期製作工作。

正在如火如荼進行的《中國新說唱》這類的大型競技類綜藝這種工作的難度可能還要成倍增加。因為從初選、入圍站、1V1 對決,每一次都是有數十人的選手,再加上明星製作人等,拍攝規模和時間都是遠遠超過一般綜藝節目的。要讓節目精彩好看,節目的剪輯團隊也備受關注。事實上在去年《中國有嘻哈》結束的時候,「中國有嘻哈 剪輯」甚至一度衝上了微博熱搜榜。今年面對更高漲的期待,極客公園瞭解到,愛奇藝將 AI 技術也引入到了後期製作中,輔助剪輯師。率先實現突破的環節就在非常費力的字幕聽打環節和説明剪輯的畫面搜尋功能。

「中國有嘻哈 剪輯」登上微博熱搜榜
極客公園

傳統製作流程中,一期節目錄製完畢後,後期人員需要像速記一樣一個字一個字手敲出字幕,此外還要反覆進行打點、校對的工作,比如在製作人公演中,潘瑋柏、鄧紫棋與熱門選手艾熱三人之間,夾雜著中文、英文的小聲交流,更會對聽打字幕的工作帶來挑戰,通常近完成字幕聽打就需要數個小時。引入智慧字幕功能之後,愛奇藝副總裁葉濤表示,「在聽打字幕方面,原來基本上一個小時的節目,製作人員需要 5 到 10 個小時的先聽打,然後再花 1.5 到 2 個小時的核對,完成這項工作。現在 AI 可以實現智慧聽打字幕,目前這項工作只需要人力花 1.5 到 2 小時的核對,效率大幅提升。」據瞭解,這個智慧聽打字幕功能正是應用了 ASR(語音辨識技術)。

AI技術有助於加快上字幕的工作效率
極客公園

如果說智慧聽打字幕解決了後期的效率問題,上線的基於 AI 演算法的「精彩畫面搜尋功能」則更有力地護航了後期內容的精彩度呈現。

一場競賽節目,是包括前台競演、製作人溝通、其他選手觀賽、後期單人訪談等多時空維度合成的 一種綜合觀看體驗,不同任務的表演、評價、觀眾回饋塑造了不同的人物識別度。例如吳亦凡和那吾克熱的互選糾結,就攪動了網路上數億觀眾的心情。

細緻入微地觀察表演者的感情轉換和推動情節發展,需要大量的素材和精心的編輯。《中國新說唱》的後期團隊需要使用 AI 對影片素材中反映觀眾情感和不同場景中同一反應的影片進行搜尋。通過人臉識別、表情識別、聲紋識別、景別識別與動作識別技術,根據不同的標籤組合尋找定位影片;也可以通過「只看 TA」功能,根據確定標籤僅查看該影片中包含當前標籤的影片內容,比如製作人想尋找張震嶽大笑的片段,可以利用根據關鍵字「張震嶽」、「大笑」的組合,便可以馬上找到所有張震嶽大笑的片段,然後選出部門片段作為節目的一部分。

愛奇藝副總裁謝丹銘表示,愛奇藝在情感識別方面,在全球比較領先,情感識別也被應用在了《中國新說唱》的後期製作中,可直接解決後期製作在尋找無論是導師還是選手的反應類素材。

如果想要尋找「張震嶽大笑」的片段,利用AI 演算法的「精彩畫面搜尋功能」即可快速完成後製工作
極客公園

科技驅動創意

除了以上重點提到的兩個 AI 輔助技術的應用,愛奇藝還為自製綜藝設計了一整套的 AI 輔助系統的落地,包括新的智慧製作系統的設計、新網路部署,新的硬體設施的部署等。更好地實現技術落地需要平台擁有強大的跨界資源整合能力,能夠將軟體、硬體、協力廠商服務三者的有效結合,除了基本的輔助以外,團隊還需要保證後期製作內容的安全性,在製作階段不能出現素材外流的情況。因此,技術團隊還需要實現 AI 演算法的精準度以及提高系統的穩定性,在後期製作的過程中,技術人員一方面需要讓系統能夠完成自動的部署,一方面也要進行必要的遠端協助。

顯然,在 AI 賦能娛樂工業的道路上,愛奇藝並非只侷限於單個技術的應用。以成為一家以科技驅動娛樂公司為願景,愛奇藝早在 2014 年已經開始佈局 AI。其 CTO 劉文峰曾對媒體表示,相較於其他場景,娛樂將是 AI 最容易落地的領域,利用技術手段打造出一個新型平台,而這個平台可以讓內容更有效地被利用,並更容易轉化為「有價值的東西」。

眼下,這種轉化正在逐漸發生。對製作團隊而言,AI 技術的應用一方面可以減輕很多基礎性工作的人員的工作強度,由 AI 將會承擔越來越多後期製作中重複、繁重的工作。但另一方面,對於素材處理效率的提升,將為節目創意創作留出更充裕的時間,最終提升的是節目品質和用戶體驗。在未來,後期製作智慧化的程度將影響大型綜藝節目的創意與市場競爭力。

AI 將改變娛樂產業的型態

在今年五月的愛奇藝世界大會上,愛奇藝創辦人、CEO 龔宇強調了技術對於愛奇藝的重要性。在他看來,愛奇藝不僅僅是一個單純的影片網站,豐富內容的同時,愛奇藝還在通過技術尋求自己定位的延伸。「不同於一般的科技公司,(愛奇藝的)DNA 是一個雙螺旋結構,一個是科技鉸鏈,另外就是娛樂創意,總結成一個詞就是理性科技+感性創意。」龔宇說道,於是,在那次的愛奇藝世界大會上,AI 成了 IP 以外最重要的關鍵字。

人工智慧是怎樣表示知識以及怎樣獲得知識並使用知識的科學。
尼爾遜教授

這個概念延伸到 AI 娛樂的話,可以做出這樣的解釋:AI 娛樂就是一種新的表示娛樂、獲得娛樂,以及享受娛樂的方式。它將提升使用者的觀看體驗,提高內容創作者的工作效率,增強線上影片網站的變現能力,最終推動整個娛樂產業的進步。

在 AI 的幫助下, 基於自研的人臉識別技術,愛奇藝建成全網最大的智慧明星庫,並推出「藝匯」智慧選角系統;在自製綜藝節目的製作過程中,AI 除了具備強大的影片理解和分析能力,還可以在後期製作環節實現快速合版、過濾廢材、有效索引、標籤推薦等繁複的工作;AI ABS 自我調整碼流播放可以根據使用者觀看影片內容時網速的變化調整解析度,減少卡頓現象的發生。

AI 正在讓「人機共創」成為可能。這家影片起家、剛剛走過八年的公司已經成為了影片這個細分行業裡數一數二的核心玩家,借助 AI 技術,愛奇藝也開始邁出產業的邊界,一點一點的向更遠的地方探索。

了解更多關於創業小聚的資訊,歡迎透過以下服務
粉絲交流每月小聚Line@互動訂電子報新創影音發表專欄及新創資料庫

本文授權自《極客公園》,作者:拉風的極客geek