單人虛擬工作室HanaX
HanaX是一名虛擬藝術(shù)家,在一個完全沉浸式的世界中通過數(shù)字替身進行現(xiàn)場表演,在這個世界中,體驗不再受現(xiàn)實的束縛。她像她的角色一樣表演,唱歌,移動,并以介于真實和虛擬之間形式進行表演。
她的工作跨越多個平臺。在Twitch上,提供交互式虛擬現(xiàn)場音樂會體驗。在YouTube上,她發(fā)布電影內(nèi)容和音樂驅(qū)動的故事,由虛幻引擎、Blender和動作捕捉等工具驅(qū)動。
看起來完整的制作團隊其實是由一個人建立和執(zhí)行的。在幕后,她一個人運作虛擬工作室,在自己的數(shù)字環(huán)境中創(chuàng)作故事,構(gòu)建角色和世界,制作音樂,并指導(dǎo)電影。
為什么視頻直播成為完美的媒介
HanaX一直既是表演者又是講故事的人。她早期在鏡頭前的音樂表現(xiàn)很好,但在將真實自己帶入直播時,她感覺受到了限制。她想要的不僅僅是在鏡頭前唱歌。她想要自由地講述自己以外的故事。
VTubing解決了這個問題
VTubing使她能夠走進不同的角色,講述他們的故事,并圍繞他們建立整個世界。同時,它消除了傳統(tǒng)的生產(chǎn)限制。不需要物理位置、大量工作人員或昂貴的設(shè)置。相反,她可以按照自己的方式進行創(chuàng)作。
![]()
從零開始,從零開始建立管道
她從零開始,沒有3D或動作捕捉背景。這很有挑戰(zhàn)性,但也給了她一張空白的畫布。根據(jù)公共教程和文檔,她構(gòu)建了自己的方法,并設(shè)計了一個高效、性能優(yōu)先的管道。
動作捕捉很快成為這個過程的核心。
起初,她嘗試了更容易實現(xiàn)的解決方案,包括虛擬現(xiàn)實和手部跟蹤系統(tǒng)。隨著她變得更加認真,她轉(zhuǎn)向了綁帶式慣性動作捕捉設(shè)置。剛開始時,它工作得很好,但是隨著時間的推移,局限性變得很明顯。
在直播過程中,小的技術(shù)問題變得非常明顯。角色會慢慢漂移,身體會扭曲,保持穩(wěn)定的表演需要持續(xù)的關(guān)注。
對于錄制的內(nèi)容,問題轉(zhuǎn)移到后期制作。動畫經(jīng)常需要大量的清理,尤其是手指和身體的對齊。最初的創(chuàng)造性工作變成了技術(shù)修正。
當(dāng)時,她認為這只是動作捕捉的工作方式。
![]()
HanaX的幕后使用Xsens Mocap和Manus手套用于OceanX生產(chǎn)。
當(dāng)她開始使用Xsens時,情況發(fā)生了變化。差別是立竿見影的。一切都變得簡單起來。
有一刻很突出。她可以在同一個位置站幾個小時,沒有漂移,無需校準(zhǔn),不會中斷。她不需要調(diào)整自己的動作來適應(yīng)這個系統(tǒng)。系統(tǒng)會輔助她。她只是負責(zé)表演。
“這是一件很小的事情,但令人難以置信地感到自由。” — HanaX
從解決問題到創(chuàng)建內(nèi)容
切換到Xsens的最大影響不僅僅是更精準(zhǔn)的數(shù)據(jù),而是改變了她的工作流程。之前,她的大部分時間都花在解決問題上。動畫需要修改,錄音需要清理,技術(shù)工作往往先于創(chuàng)造性工作。
使用Xsens系統(tǒng)之后,這種平衡發(fā)生了逆轉(zhuǎn)。以前花在修復(fù)動畫上的時間現(xiàn)在可以用來改進它們。她可以專注于將好的數(shù)據(jù)做得更好,而不是將較差的數(shù)據(jù)提高到可接受的水平。
正如她所描述的,改進是漸進的,但是它們增加得很快,隨著時間的推移,可靠性就成為了重要指標(biāo)。
創(chuàng)新流程
另一個關(guān)鍵變化是捕捉的連續(xù)性。創(chuàng)造性的工作依賴于動力,而干擾,無論是來自跟蹤問題還是電池限制,都會打破這種流動。以前,這是一個反復(fù)出現(xiàn)的問題。傳感器會在中途耗盡能量,迫使她重新拍攝或暫停錄制。
有了Xsens,這種擔(dān)心就消失了。當(dāng)你在一個創(chuàng)造性的流程中,你不想因為一些技術(shù)上的失敗而停止。
這種可靠性使她能夠?qū)W⒂谛阅埽貏e是在較長的錄制會話或直播期間。
隨著創(chuàng)意而擴展的設(shè)置
從基于綁帶的系統(tǒng)轉(zhuǎn)向全套服裝改變了她與動作捕捉的交互方式。她最初期望的不太方便,結(jié)果卻恰恰相反。隨著將傳感器集成到套裝和統(tǒng)一的充電工作流程中,設(shè)置速度變得更快、更一致。
另外Xsens的技術(shù)支持也是良好體驗的一部分。這種組合使得從設(shè)置到生產(chǎn)變得更加容易。
如今,HanaX正在實時捕獲、渲染和交付。
動作捕捉Xsens
手動捕捉Manus手套
虛幻引擎中的實時創(chuàng)建和渲染
Blender中的角色創(chuàng)建
在Premiere Pro和After Effects中編輯
Twitch上的實時互動體驗
附加工具,如Leap Motion和VTubing軟件,如Warudo
這種設(shè)置的獨特之處不僅在于工具,還在于它們是如何一起使用的。
在她的現(xiàn)場直播中,觀眾可以成為表演的一部分。他們可以作為虛擬化身出現(xiàn)在舞臺上,與她一起跳舞,觸發(fā)舞臺效果,或者實時投擲虛擬元素。這種程度的交互性依賴于穩(wěn)定、實時的動作捕捉作為基礎(chǔ)。
![]()
HanaX在一場慈善活動中現(xiàn)場表演,為醫(yī)院里的兒童籌集了9,706.96美元。
展望未來
有了這個基礎(chǔ),HanaX正在將多年的實驗引導(dǎo)到更雄心勃勃、以性能為導(dǎo)向的工作中,擴展到她自己的世界之外。
最近的工作包括與OceanX合作創(chuàng)造他們的吉祥物和開發(fā)一部以知識為導(dǎo)向的短片,以及與其他藝術(shù)家合作進行全樂隊表演。動作捕捉仍然是核心,支持角色驅(qū)動的故事講述和多角色表演。
展望未來,她正在開發(fā)原創(chuàng)音樂、新的合作和更大規(guī)模的虛擬作品,繼續(xù)推動實時表演向前發(fā)展。
對于HanaX來說,切換到Xsens不僅僅是為了提高動作捕捉質(zhì)量。
這改變了她創(chuàng)作的方式。
通過消除技術(shù)摩擦,她可以專注于表演、講故事和持續(xù)改進。最初由變通方法驅(qū)動的流程變成了可靠的、可擴展的工作流。
對于一個人的工作室來說,差異就是一切。
“Xsens很好用。因為一切都非常合理。”— HanaX
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.