HanaX使用Xsens構(gòu)建高質(zhì)量虛擬生產(chǎn)工作流程

單人虛擬工作室HanaX

HanaX是一名虛擬藝術(shù)家，在一個完全沉浸式的世界中通過數(shù)字替身進行現(xiàn)場表演，在這個世界中，體驗不再受現(xiàn)實的束縛。她像她的角色一樣表演，唱歌，移動，并以介于真實和虛擬之間形式進行表演。
她的工作跨越多個平臺。在Twitch上，提供交互式虛擬現(xiàn)場音樂會體驗。在YouTube上，她發(fā)布電影內(nèi)容和音樂驅(qū)動的故事，由虛幻引擎、Blender和動作捕捉等工具驅(qū)動。
看起來完整的制作團隊其實是由一個人建立和執(zhí)行的。在幕后，她一個人運作虛擬工作室，在自己的數(shù)字環(huán)境中創(chuàng)作故事，構(gòu)建角色和世界，制作音樂，并指導(dǎo)電影。

為什么視頻直播成為完美的媒介

HanaX一直既是表演者又是講故事的人。她早期在鏡頭前的音樂表現(xiàn)很好，但在將真實自己帶入直播時，她感覺受到了限制。她想要的不僅僅是在鏡頭前唱歌。她想要自由地講述自己以外的故事。
VTubing解決了這個問題

VTubing使她能夠走進不同的角色，講述他們的故事，并圍繞他們建立整個世界。同時，它消除了傳統(tǒng)的生產(chǎn)限制。不需要物理位置、大量工作人員或昂貴的設(shè)置。相反，她可以按照自己的方式進行創(chuàng)作。

從零開始，從零開始建立管道

她從零開始，沒有3D或動作捕捉背景。這很有挑戰(zhàn)性，但也給了她一張空白的畫布。根據(jù)公共教程和文檔，她構(gòu)建了自己的方法，并設(shè)計了一個高效、性能優(yōu)先的管道。
動作捕捉很快成為這個過程的核心。
起初，她嘗試了更容易實現(xiàn)的解決方案，包括虛擬現(xiàn)實和手部跟蹤系統(tǒng)。隨著她變得更加認真，她轉(zhuǎn)向了綁帶式慣性動作捕捉設(shè)置。剛開始時，它工作得很好，但是隨著時間的推移，局限性變得很明顯。
在直播過程中，小的技術(shù)問題變得非常明顯。角色會慢慢漂移，身體會扭曲，保持穩(wěn)定的表演需要持續(xù)的關(guān)注。
對于錄制的內(nèi)容，問題轉(zhuǎn)移到后期制作。動畫經(jīng)常需要大量的清理，尤其是手指和身體的對齊。最初的創(chuàng)造性工作變成了技術(shù)修正。
當(dāng)時，她認為這只是動作捕捉的工作方式。

HanaX的幕后使用Xsens Mocap和Manus手套用于OceanX生產(chǎn)。

當(dāng)她開始使用Xsens時，情況發(fā)生了變化。差別是立竿見影的。一切都變得簡單起來。

有一刻很突出。她可以在同一個位置站幾個小時，沒有漂移，無需校準(zhǔn)，不會中斷。她不需要調(diào)整自己的動作來適應(yīng)這個系統(tǒng)。系統(tǒng)會輔助她。她只是負責(zé)表演。

“這是一件很小的事情，但令人難以置信地感到自由。” — HanaX

從解決問題到創(chuàng)建內(nèi)容

切換到Xsens的最大影響不僅僅是更精準(zhǔn)的數(shù)據(jù)，而是改變了她的工作流程。之前，她的大部分時間都花在解決問題上。動畫需要修改，錄音需要清理，技術(shù)工作往往先于創(chuàng)造性工作。
使用Xsens系統(tǒng)之后，這種平衡發(fā)生了逆轉(zhuǎn)。以前花在修復(fù)動畫上的時間現(xiàn)在可以用來改進它們。她可以專注于將好的數(shù)據(jù)做得更好，而不是將較差的數(shù)據(jù)提高到可接受的水平。
正如她所描述的，改進是漸進的，但是它們增加得很快，隨著時間的推移，可靠性就成為了重要指標(biāo)。

創(chuàng)新流程

另一個關(guān)鍵變化是捕捉的連續(xù)性。創(chuàng)造性的工作依賴于動力，而干擾，無論是來自跟蹤問題還是電池限制，都會打破這種流動。以前，這是一個反復(fù)出現(xiàn)的問題。傳感器會在中途耗盡能量，迫使她重新拍攝或暫停錄制。
有了Xsens，這種擔(dān)心就消失了。當(dāng)你在一個創(chuàng)造性的流程中，你不想因為一些技術(shù)上的失敗而停止。
這種可靠性使她能夠?qū)Ｗ⒂谛阅埽貏e是在較長的錄制會話或直播期間。

隨著創(chuàng)意而擴展的設(shè)置

從基于綁帶的系統(tǒng)轉(zhuǎn)向全套服裝改變了她與動作捕捉的交互方式。她最初期望的不太方便，結(jié)果卻恰恰相反。隨著將傳感器集成到套裝和統(tǒng)一的充電工作流程中，設(shè)置速度變得更快、更一致。

另外Xsens的技術(shù)支持也是良好體驗的一部分。這種組合使得從設(shè)置到生產(chǎn)變得更加容易。

如今，HanaX正在實時捕獲、渲染和交付。

• 動作捕捉Xsens

• 手動捕捉Manus手套

• 虛幻引擎中的實時創(chuàng)建和渲染

• Blender中的角色創(chuàng)建

• 在Premiere Pro和After Effects中編輯

• Twitch上的實時互動體驗

• 附加工具，如Leap Motion和VTubing軟件，如Warudo

這種設(shè)置的獨特之處不僅在于工具，還在于它們是如何一起使用的。
在她的現(xiàn)場直播中，觀眾可以成為表演的一部分。他們可以作為虛擬化身出現(xiàn)在舞臺上，與她一起跳舞，觸發(fā)舞臺效果，或者實時投擲虛擬元素。這種程度的交互性依賴于穩(wěn)定、實時的動作捕捉作為基礎(chǔ)。

HanaX在一場慈善活動中現(xiàn)場表演，為醫(yī)院里的兒童籌集了9，706.96美元。

展望未來

有了這個基礎(chǔ)，HanaX正在將多年的實驗引導(dǎo)到更雄心勃勃、以性能為導(dǎo)向的工作中，擴展到她自己的世界之外。
最近的工作包括與OceanX合作創(chuàng)造他們的吉祥物和開發(fā)一部以知識為導(dǎo)向的短片，以及與其他藝術(shù)家合作進行全樂隊表演。動作捕捉仍然是核心，支持角色驅(qū)動的故事講述和多角色表演。
展望未來，她正在開發(fā)原創(chuàng)音樂、新的合作和更大規(guī)模的虛擬作品，繼續(xù)推動實時表演向前發(fā)展。

對于HanaX來說，切換到Xsens不僅僅是為了提高動作捕捉質(zhì)量。
這改變了她創(chuàng)作的方式。
通過消除技術(shù)摩擦，她可以專注于表演、講故事和持續(xù)改進。最初由變通方法驅(qū)動的流程變成了可靠的、可擴展的工作流。
對于一個人的工作室來說，差異就是一切。

“Xsens很好用。因為一切都非常合理。”— HanaX