與星瞳一起跳舞！騰訊先鋒探索虛實互動新玩法

2022-11-03 16:55:48來源：中關(guān)村在線

11月3日-11月5日期間，時尚虛擬偶像、QQ炫舞系列虛擬代言人星瞳在杭州競鵝酒店（騰訊電競聯(lián)名店）舉辦線下生日活動，期間騰訊先鋒與星瞳IP、競鵝酒店展開技術(shù)合作，共同解鎖沉浸感十足的“AI虛實互動體驗”，邀請線下觀眾與星瞳在虛擬場景中實時“斗舞”。這也是騰訊先鋒基于其虛實互動技術(shù)打造的“云渲染+虛實互動”新玩法的線下首發(fā)落地。

未來，騰訊先鋒虛實互動技術(shù)還將通過TV客戶端觸達更廣泛的用戶，帶來更具趣味性、專業(yè)性的大屏健身交互體驗。

(資料圖片)

打破虛實界限，邀你與星瞳共舞

從2018年首次亮相，到與國樂大師方錦龍先生同臺表演，再到參與國產(chǎn)原創(chuàng)動漫形象舞臺競演節(jié)目《2060》，虛擬人星瞳從虛擬世界走來，以愈發(fā)鮮活的形象與現(xiàn)實世界產(chǎn)生互動。

而競鵝酒店是騰訊電競與歐愉科技共同打造的電競酒店品牌，酒店擁有濃厚的虛擬人及虛實互動氛圍，擁有國內(nèi)首個電競虛擬主理人V姐全方位服務(wù)、電競主題數(shù)字互動體驗、正版電競IP主題房等一系列電競數(shù)字IP體驗空間。這次生日活動就落地在競鵝酒店，借助騰訊先鋒自研的虛實互動技術(shù)，觀眾首次以“真實形象”進入星瞳的世界，與她共舞一曲。

在互動環(huán)節(jié)，參與體驗的觀眾只需站在互動區(qū)域，其真人形象就能夠通過手機攝像頭投射在虛擬場景中，其在現(xiàn)實世界中的一舉一動也會實時同步至屏幕中，舞蹈挑戰(zhàn)開始后，系統(tǒng)通過判斷觀眾的骨骼姿勢進行打分評級。

簡單易上手且自由度極高的操作，極具沉浸感、趣味性的交互玩法讓觀眾直呼過癮，同時無需穿戴設(shè)備和綠幕背景，僅通過普通手機攝像頭就能在虛擬世界實時互動的低門檻體驗，也讓觀眾對這一技術(shù)走進自家客廳充滿了期待。為了打造優(yōu)質(zhì)的AI虛實互動體驗，騰訊先鋒在其自研虛實互動技術(shù)里綜合應(yīng)用了諸多技術(shù)能力，包括實時無綠幕摳圖、姿態(tài)估計與動作捕捉、實時云端視頻流媒體AI通用處理架構(gòu)。

其中，實時無綠幕摳圖技術(shù)，繞過了設(shè)備的限制，能夠在云端進行實時4K視頻發(fā)絲級摳圖。換句話說，無需綠幕或設(shè)備算力，只需普通的手機攝像頭，也能在虛擬世界中實時呈現(xiàn)高質(zhì)量的真實人物形象，并且?guī)士蛇_60FPS，足以滿足普通用戶在虛擬場景實時互動的需求。

而在姿態(tài)估計與動作捕捉方面取得的技術(shù)突破，則進一步降低了AI虛實互動體驗的門檻，不僅擺脫了對特殊場地和拍攝設(shè)備的依賴，也無需額外的可穿戴設(shè)備，僅通過手機或是普通的RGB攝像頭，即可實現(xiàn)包括身體、手部和表情在內(nèi)的高精度動作捕捉以及虛擬形象表演驅(qū)動。結(jié)合深度神經(jīng)網(wǎng)絡(luò)的視覺AI動捕技術(shù)和端云協(xié)同的多視角拍攝與計算能力，能夠進一步提高精度及穩(wěn)定性，精準(zhǔn)還原肢體律動。同樣，該技術(shù)也是完全基于云端計算，無需額外算力。

上述兩大技術(shù)能力都對“云”提出了極高的要求，面對隨之而來的延時、畫質(zhì)、跨終端等實際問題，騰訊先鋒打造了實時云端視頻流媒體AI通用處理架構(gòu)，整合硬件編解碼和高效神經(jīng)網(wǎng)絡(luò)推理框架，構(gòu)建了完整的視頻流媒體處理與云端低延遲AI計算方案，并且支持先鋒云游戲kunpeng、ampere、x86+nvidia gpu等多種平臺, 適配不同gpu集群部署，支持邊緣節(jié)點部署調(diào)度。在騰訊先鋒云游戲云計算能力的加持下，“云渲染+虛實互動”玩法的鏈路延遲基本可穩(wěn)定在100毫秒以下，并且可實現(xiàn)單機64路視頻流的實時動作捕捉，使得用戶隨時隨地在虛擬世界進行交互成為可能。

多場景創(chuàng)新融合，探索云游戲技術(shù)的無限可能

多年來，騰訊先鋒在云游戲領(lǐng)域進行了深入的探索，在關(guān)鍵技術(shù)、應(yīng)用場景、內(nèi)容生態(tài)等方面積累了豐碩的成果，并持續(xù)豐富用戶的娛樂互動體驗，不斷拓寬云游戲的可能性。

云游戲的愿景之一就是降低設(shè)備門檻，打破不同設(shè)備間的隔閡，讓用戶隨時隨地獲得極致的體驗。在服務(wù)玩家的過程中，騰訊先鋒持續(xù)發(fā)力無縫跨場景連接，圍繞縮短內(nèi)容到用戶的“距離”，進行了全方位的優(yōu)化，跨端解決方案日趨完善：支持手Q、微信登錄一鍵授權(quán)，打通移動、PC、TV大屏等多終端的游戲體驗，是國內(nèi)少有的全終端云游戲生態(tài)平臺。同時通過定制化游娛套裝, 騰訊先鋒解決了移動游戲在大屏端的交互問題，讓用戶體驗更加“絲滑”，促進多用戶場景的滲透。

基于多年來沉淀的云游戲技術(shù)能力，騰訊先鋒也在不斷拓展技術(shù)的邊界，尋求新的突破。此前，騰訊先鋒參與了“云游長城”項目中“數(shù)字長城”的制作，為其提供云游戲技術(shù)支持，幫助數(shù)以億計的數(shù)字資產(chǎn)成功“上云”，并通過獨有的云游戲傳輸流控算法在移動端打造3A級的觀看效果和交互體驗。這也是全球首次將云游戲技術(shù)應(yīng)用于人類文化遺產(chǎn)保護。

今年9月，高新視頻互動場景創(chuàng)新國家廣播電視總局實驗室正式啟動，在上海市廣播電視局的指導(dǎo)下，騰訊先鋒將聯(lián)合行業(yè)共建單位聚焦高新視頻云互動數(shù)字場景創(chuàng)新應(yīng)用開展相關(guān)研究，為豐富高新視頻內(nèi)容供給、培育智慧廣電新視聽提供重要支撐。

騰訊先鋒還在積極拓展云互動與社交、演藝、文創(chuàng)、運動等領(lǐng)域的創(chuàng)新融合，打造低門檻的虛實互動體驗。此次與星瞳IP的技術(shù)合作，為大眾打開了近距離接觸云游戲技術(shù)的新窗口，以極致的用戶體驗又一次刷新了外界對于這一技術(shù)的認(rèn)知與想象空間。

未來，云游戲技術(shù)將被應(yīng)用于更多數(shù)字場景之中。借助云游戲技術(shù)，用戶可以與數(shù)字人、KOL等同場景實時互動，或是與身處不同空間的用戶同屏互動，抑或是豐富XR領(lǐng)域的內(nèi)容生態(tài)，提升可玩性，解鎖更多創(chuàng)新玩法。

可以預(yù)見，在云游戲技術(shù)的底盤之上，不僅可以誕生各種各樣的游戲服務(wù)，持續(xù)提升用戶娛樂體驗，也可以與更多非游戲行業(yè)創(chuàng)新結(jié)合，以豐富的形態(tài)滲透進大眾生活，帶來全新的數(shù)字體驗，釋放無限可能。

標(biāo)簽：新聞資訊