騰訊云音視頻朱紫星：嵌入全制作鏈路，重構漫劇生產效率

新腕兒漫劇大會報道

新腕兒漫劇大會結束后，近期將陸續發布嘉賓們的演講內容。

3月20日，在新腕兒漫劇大會上，騰訊云音視頻產品架構師朱紫星上臺分享關于《智能媒體新引擎：騰訊云音視頻助力漫劇生產與提效》的主題演講。

以下為演講全文：

大家好，我是騰訊云音視頻產品架構師朱紫星，很高興來跟大家分享，我今天的演講主題是《騰訊云音視頻助力漫劇生產跟提效》。

我們正站在內容生產變革的十字路口，漫劇行業向穩定、工程化方向在發展因此，我主要是想探討如何利用騰訊云沉淀多年的音視頻技術，結合最新的AIGC模型，重構漫劇生產力。

主要從漫劇的生產端、運營宣發端的兩個環節，結合媒體處理和云點播能力，助力漫劇生產提效，賦能漫劇的宣發創新。

首先從市場數據看到，目前全球多模態AIGC正在進行爆發，AIGC產出的視頻、圖文素材增速驚人，對漫劇行業來講，為漫劇資產生成、運營帶來顯著增益和提效。面臨各類內容需求的高頻化，對漫劇行業來說也是在制作和生產運營環節面臨效率和成本的瓶頸問題。

比如說在生產時間限制下需要平衡質量跟成本。在運營成本限制下，運營環節面臨著海量劇集高效宣發的需求，體驗、效率和規模存在矛盾。

結合AIGC資產生成模型，我們媒體處理超分降本、音視頻全流程質檢精準切入，助力解決一些生產、運營環節的核心矛盾、難題，助力漫劇行業向更加穩定和流程化的方向發展。

第一塊是助力生產提效。從整個漫劇制作鏈路來看，我們將騰訊云音視頻的原子能力深度嵌入到工作流環節中。比如從劇本生成、角色庫搭建、分鏡生成，到分鏡轉動畫，我們提供AI配音、智能字幕、視頻后處理的轉碼和增強能力，相當于是每個環節都會有相應的AI技術支撐。

在AIGC生成環節，行業頭部AI模型統一接入。以混元大模型為基礎，同時兼容多家頭部AIGC模型能力，提供多樣化模型服務不同畫風、業務、場景的需求。包括文生圖、圖生圖、文生視頻、圖生視頻生成式AI的能力，滿足角色圖、分鏡圖以及后續的視頻生成。

通過騰訊云的能力，可以實現底層能力的平滑遷移以及動態升級。

漫劇垂直場景下，我們可以做一些場景化的調優，比如場景化的模板，幫助創作者快速生產及漫劇轉繪。

這里有一些簡單的示例，這里我們也是把很多AI技術能力做整合，包括智能場景分鏡識別、切分，角色識別、風格遷移等等能力，快速產出和原始視頻音畫同步的動畫視頻。從風格來說，如果已經有一些成熟的真人短劇素材，可以快速產出一個高質量的動漫版本的視頻。

在一站式調用AIGC模型生成出大量素材之后，結合媒體處理能力來覆蓋整個內容制作全流程，比如說音視頻增強能力結合細節增強、超分、視頻插幀，還有一些大模型增強的能力，當然，我們直出4K、60幀的視頻，讓AI生成的內容可以滿足一些頂級素材的要求。再結合媒體智能里的AI配音、智能字幕生成，以及水印去除等能力實現全鏈路AI處理。

我接下來重點介紹媒體處理漫劇生產的三個降本增效方案：

第一，在處理漫劇前期素材時，無論是宮格分鏡圖還是傳統分鏡圖，或者人工拆圖的方式都比較耗時，成本比較高。我們結合拆圖能力，可以一鍵拆成想要的任意單圖，同時疊加質量修圖能力，對于分鏡圖中模糊場景自動增強，人臉細節會更加清晰，對于分鏡中的水印和純色邊界都可以處理。相對于傳統方式，可以降本增效。

第二個方案是AIGC結合超分技術做的生產降本。如果想要生成更高的分辨率，算力成本會對應增加，推理時間增長。如果結合媒體處理的分辨率技術實現降本增效，可以先生成一個低分辨率，結合綜合增強降噪能力轉碼為高品質視頻，比直接生成一個720P或者1080P視頻的降本增效更加明顯。

第三個方案是騰訊云自研的大模型修復，在一些復雜場景、精細元素構建中出現崩壞、抖動，或者光影色彩異常等問題，結合AIGC修復大模型，通過自研的多幀DIT大模型訓練，優化細節抖動、崩壞的區域修復。

通過多模態語義和像素級智能重建技術，生成過程中幀的過渡會更加自然，修復后的畫面整體連貫性明顯提升，這樣可以適用于一些影視劇、短劇、漫劇等高價值場景。

音頻字幕方面，我們支持豐富的人物音色、語調、情感和多語言輸出，同時附有字幕擦除、提取和翻譯功能。

為了方便開發者，我們也跟閱文的漫劇助手聯動，提供專業的漫劇SaaS平臺，開箱即用。

這里也簡單介紹一下閱文的漫劇助手，不僅提供海量正版閱文IP授權，還結合一站式漫劇工作流，還有自定義內容資產庫，輔助IP從劇本到分鏡頭、整體視頻的全流程創作。

第二板塊，聚焦宣發運營時，多模態營銷素材的生和海量劇集高效宣發的需求。

我們在產出大量內容素材后，需要進行高效分發。在分發環節時，需要極速高清轉碼的能力，結合像智能場景的識別，動態編碼匹配，還有像畫質增強等處理能力和視頻編碼內核能力，使得視頻在保持畫質更優的情況下，大幅降低視頻碼率，從而降低媒資、存儲分發的成本。

這是我們比較領先的內核能力，支持所有主流視頻編解碼標準，在近幾年的MSU視頻編解碼大賽都是屬于全球領先的第一梯隊位置。

第二點是漫劇生產過程中，想要工業化發展時，質量監控也是個重要環節。我們提供音視頻全流程質檢能力，從格式檢測到內容畫面檢測，比如你的畫面中是否有模糊、低光照，或者花屏等問題，以綜合性的主觀畫質評分，通過這種全流程質量監控體系可以保證從海量素材中找出高質素材，保證輸出的每一集劇集都是高質量作品。

接下來就是我們有一些媒體AI的工具來助力我們做一些營銷素材的加工，包括像一些智能的擦除，然后視頻的拆條，精彩集錦等這些媒體AI處理的一些能力，它主要是依托一些多模態的大模型來實現多場景視頻智能處理，從而提升我們內容生產的效率和質量。

比如擦除功能，是我們目前比較領先的能力。基于自研的一些多模態視覺大模型，實現字幕、水印自動的無痕擦除。

對于一些比較復雜的場景，像半透明文字、花字、復雜視頻，即便背景紋理比較復雜，也可以做相應的處理。

還有高光集錦生成，都可以幫助大家快速制作宣發物料。比如高光集錦，通過大模型對整個視頻理解定義一些提示詞，提取出主角出場時刻你想要的精彩片段。AI解說劇也可以通過你輸入一個原始視頻，不需要再做其他處理，就能自動生成一個全新的解說版本視頻。

還有像橫轉豎、豎轉橫的能力，是為了靈活復用一些已有的素材，比如已有的橫屏視頻，想要在移動互聯網端再分發一次，我們也支持AIGC生成式的橫轉豎，或者豎轉橫。它可以自動地識別畫面布局和人物構圖等，增加整體劇情連貫性和視覺畫面完整性。

通過這種方式也是能夠靈活的復用已有的內容，降低一些重新制作的成本。

第三部分主要是簡單介紹下我們音視頻PaaS矩陣。

我們音視頻能力具備大規模分發網絡，領先視頻編解碼內核的能力，以及一些深厚AI算法儲備，提供低延時超高清的一站式音視頻解決方案，滿足不同企業在不同場景下的音視頻需求。

像目前我們大部分頭部客戶已經通過騰訊云的音頻方案制作內容，我們也期待音頻技術的驅動實現效率的革新。

時間有限，我講得可能稍微有些倉促，如果大家對我們產品或技術有興趣，歡迎線下交流！

了解短劇，請關注新腕兒。

加入新腕兒社群請掃碼。