【資料圖】

此前，佳能曾在CES 2022上展示了一種沉浸式、交互式的VR通話方案：Kokomo，該方案的特點(diǎn)是兼容VR頭顯和手機(jī)，允許VR用戶和非VR用戶在3D場(chǎng)景或VST模式中通話。近期，該方案推出了搶先預(yù)覽版本，部分外媒對(duì)其進(jìn)行體驗(yàn)，并分享了實(shí)際體驗(yàn)感。

據(jù)青亭網(wǎng)了解，Kokomo的原理聽起來(lái)很簡(jiǎn)單，只需要一部手機(jī)和一臺(tái)VR頭顯，比如Quest 2。不過(guò)，它具體是如何操作的呢？原來(lái)，該方案允許VR用戶使用寫實(shí)的3D Avatar與其他VR用戶進(jìn)行通話，整個(gè)過(guò)程如下：

首先用手機(jī)端app掃描人臉，并生成寫實(shí)的3D人像模型，該模型將代替VR用戶被頭顯遮住的面部。接著，你需要輸入身高，以調(diào)整3D虛擬形象的尺寸。

3D形象生成后，Kokomo允許你選擇沙漠等虛擬場(chǎng)景，然后便會(huì)在場(chǎng)景中疊加你的3D形象。不過(guò)由于3D圖像分割、建模等技術(shù)局限，Kokomo中顯示的3D人像并不完美，大部分時(shí)間有明顯的圖像缺失，模擬頭顯下面部的效果也不佳（只有20%時(shí)間有效）。

在進(jìn)行通話時(shí)，VR用戶需要將手機(jī)放在面前幾步遠(yuǎn)的位置（大概腰的高度），并戴上VR頭顯。VR中會(huì)顯示其他VR用戶的虛擬化身，而這些虛擬化身的動(dòng)作，則是由手機(jī)攝像頭來(lái)實(shí)時(shí)捕捉。

盡管這種設(shè)置看起來(lái)比較復(fù)雜，但實(shí)際上比以往需要使用專業(yè)動(dòng)捕、容積攝影工作室的方案成本更低，更容易使用。如果未來(lái)Kokomo的實(shí)時(shí)建模效果能繼續(xù)提升，將有望成為一種很好的低門檻遠(yuǎn)程呈現(xiàn)（telepresence）方案。當(dāng)然，實(shí)時(shí)傳輸3D內(nèi)容在延遲等方面依然存在問(wèn)題，短期內(nèi)可能難以解決。體驗(yàn)者表示：在測(cè)試過(guò)程中，與我通話的虛擬化身刷新率可能只有3-4fps，通話體驗(yàn)并不順暢，打破了沉浸感。

Kokomo的另一個(gè)問(wèn)題是，盡管加入了預(yù)先3D建模流程，但在通話中卻僅以2D形式顯示虛擬化身，這可能是出于對(duì)算力、數(shù)據(jù)傳輸限制的考慮。

因此，現(xiàn)階段佳能不打算對(duì)Kokomo服務(wù)收費(fèi)，而是希望從早期用戶使用中獲得反饋，進(jìn)一步完善產(chǎn)品。

關(guān)鍵詞：