北理工聯(lián)合中戲助力“數(shù)字梅蘭芳”大師高精度復(fù)現(xiàn)
發(fā)布日期：2021-11-03 供稿：光電學院 攝影：光電學院
編輯：盛筠 審核：董立泉 閱讀次數(shù)：
10月28日，“數(shù)字梅蘭芳”大師復(fù)現(xiàn)項目啟動儀式在北京梅蘭芳大劇院舉行，由北京理工大學參與研制的全國首個高精度京劇數(shù)字人——梅蘭芳孿生數(shù)字人驚艷亮相。“梅蘭芳孿生數(shù)字人”項目由中央戲劇學院、北京理工大學共同發(fā)起，騰訊公司提供技術(shù)支持，受到“北京高校卓越青年科學家”計劃資助，并得到了中科院自動化研究所、中央美術(shù)學院、北京外國語大學等單位和梅蘭芳先生家人及弟子的大力支持，趙沁平院士等專家蒞臨現(xiàn)場并給出指導(dǎo)意見。
在北理工“虛擬數(shù)字人”技術(shù)的支持下，項目以梅蘭芳先生26歲為原型，對京劇大師梅蘭芳先生進行全方位復(fù)現(xiàn)，打造在外貌、形體、語音、表演等各方面都接近真人的“梅蘭芳孿生數(shù)字人”，未來將不斷進行模型實時化升級并在多個場景應(yīng)用落地，力爭打造國內(nèi)第一套真正意義上的可實時交互的“京劇數(shù)字人”。本項目的啟動，標志著由北京理工大學牽頭建立“延河高校人才培養(yǎng)聯(lián)盟”又取得了新的合作交流成果。
為了精準還原梅蘭芳先生，北理工光電學院翁冬冬研究員團隊針對現(xiàn)有技術(shù)進行了多項升級。
由于無法采集到梅蘭芳先生的真人三維數(shù)據(jù)源，在收集了大量梅蘭芳先生的照片作為數(shù)字資產(chǎn)構(gòu)建的參照后，團隊邀請中央美術(shù)學院的師生以歷史照片為依據(jù)完成了梅蘭芳先生的實體肖像，并通過技術(shù)團隊與雕塑團隊的反復(fù)磨合，最終完成了以三維數(shù)字化為目標的真人雕像數(shù)字人制作。
團隊用高精度激光掃描儀對雕像進行掃描，從而獲得梅先生的基礎(chǔ)表情。在得到基本掃描模型后，通過數(shù)字化雕刻流程對模型的細節(jié)進行處理。因為雕塑藝術(shù)本身不夠具象，因此團隊還需要在在模型骨像、皮膚細節(jié)、毛發(fā)細節(jié)、眼神光等細節(jié)進行補充完善。
團隊在不斷打磨靜態(tài)模型后，達到和歷史照片一致后，再以真實立體裁剪為基礎(chǔ)構(gòu)建高逼真服飾，以民國留存布樣為范本制作逼真服飾材質(zhì)模擬，最終成功打造出梅蘭芳孿生數(shù)字人。
延伸閱讀：
“虛擬數(shù)字人”研究背景：
虛擬數(shù)字人是存在于數(shù)字世界的“人”，利用信息技術(shù)與人工智能技術(shù)將人體全身及肢體動作全方位的進行數(shù)字化、可視化復(fù)制，最終達到將現(xiàn)實生活中的人精確的在數(shù)字世界中模擬構(gòu)建出來。得益于深度學習算法的突破，近年來，虛擬數(shù)字人技術(shù)發(fā)展迅速，虛擬偶像主播、虛擬員工等虛擬人物進入大眾視野，由智能驅(qū)動的數(shù)字人產(chǎn)業(yè)漸入佳境。虛擬數(shù)字人技術(shù)是數(shù)字表演的核心支撐技術(shù)，在文化技術(shù)融合方面具有舉足輕重的作用。
北理工“虛擬數(shù)字人”技術(shù)優(yōu)勢：
1. 高逼真表情光場采集系統(tǒng)。采用光場采集技術(shù)，采集真實演員毫米級精度的三維數(shù)據(jù)，并以計算光學為基礎(chǔ)構(gòu)建物理屬性皮膚紋理，從而實現(xiàn)對真實演員的高復(fù)原度重建。通過先進的實時渲染技術(shù)，將以大量數(shù)據(jù)為基礎(chǔ)的高逼真數(shù)字人資產(chǎn)實時呈現(xiàn)給用戶。
2. AI驅(qū)動。面向高逼真實時數(shù)字人，以自研唇部高精度數(shù)據(jù)采集為基礎(chǔ)，采用新型深度神經(jīng)網(wǎng)絡(luò)算法實現(xiàn)語音到唇形的精準控制。結(jié)合多模態(tài)交互意圖理解，構(gòu)建基于知識圖譜的多輪語言對話平臺，從而實現(xiàn)在特定封閉領(lǐng)域內(nèi)高準確率的自然人機對話。
3. 實時交互性。通過攝像頭實現(xiàn)對周圍場景及真實用戶的理解，并通過壓力傳感器、超聲傳感器、肌肉電傳感器等多模態(tài)數(shù)據(jù)實現(xiàn)對用戶意圖實時精準理解。人們可以用VR、AR、桌面、全息等多種方式實現(xiàn)與數(shù)字人的實時交互。借由與人的互動，可以讓用戶真切感受到數(shù)字人是“活生生”存在于這個世界。
北理工“虛擬數(shù)字人”科研團隊：
北京理工大學光電學院翁冬冬研究員課題組，隸屬于王涌天教授領(lǐng)銜的北京市混合現(xiàn)實與新型顯示工程技術(shù)研究中心，同時依托丁剛毅教授為學科帶頭人的數(shù)字表演與仿真技術(shù)高精尖學科，開展了大量文化科技融合的前沿研究。
課題組團隊當前主要從事虛擬現(xiàn)實、增強現(xiàn)實與人機交互方面的研究工作，團隊參與的科研成果《交互式顯示關(guān)鍵技術(shù)及應(yīng)用》獲得2014年度教育部技術(shù)發(fā)明一等獎和2017年度國家技術(shù)發(fā)明二等獎、《頭戴式顯示技術(shù)研究及應(yīng)用》獲得2017年度中國光學工程學會創(chuàng)新技術(shù)獎一等獎。團隊組織撰寫了本領(lǐng)域多個國家和行業(yè)標準，并獲得2018年度中國虛擬現(xiàn)實與可視化產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟杰出貢獻獎。項目團隊研發(fā)的“交互式顯示關(guān)鍵技術(shù)及應(yīng)用”“虛實融合顯示技術(shù)”“新型顯示中的人機交互技術(shù)”“航天員心理舒緩系統(tǒng)”等關(guān)鍵技術(shù)和系統(tǒng)應(yīng)用于航天員訓練中心、中科院軟件所、中國人民大學附屬中學等多個單位，在文物保護、教育科普、文化娛樂等重要行業(yè)及應(yīng)用領(lǐng)域得到成功轉(zhuǎn)化。
