百度AI開發(fā)者大會 發(fā)布兩大全新AR交互系統(tǒng)
2019年7月3-4日，CREATE 2019百度AI開發(fā)者大會與廣大開發(fā)者再次相逢，共同聚焦如何攜AI能力走進(jìn)風(fēng)舉云飛的產(chǎn)業(yè)智能化時代。會上，百度視覺技術(shù)部、增強(qiáng)現(xiàn)實技術(shù)部總監(jiān)吳中勤發(fā)布一體化人機(jī)交互與大場景物理世界交互兩大系統(tǒng)級革新；并以連續(xù)構(gòu)建的虛實融合基礎(chǔ)設(shè)施和不斷變革的人機(jī)交互創(chuàng)新體驗，帶來六大行業(yè)搞定方案。 兩大AR交互系統(tǒng)創(chuàng)新發(fā)布2017年，百度AR在AI開發(fā)者大會上首次發(fā)布技術(shù)開放平臺DuMix AR，將AR技術(shù)賦能廣大開發(fā)者。兩年后，百度AR交出新的成績單 ―― 全面升級DuMix AR 5.0平臺，發(fā)布兩大AR交互系統(tǒng)，實現(xiàn)從認(rèn)識物到理解人，到探知世界的智能感知能力進(jìn)階，將AR技術(shù)使用的邊界從眼前的空間擴(kuò)展至物理世界大場景。由人臉、人體、手勢等相關(guān)視覺技術(shù)，及完備的環(huán)境特效能力共同構(gòu)成的一體化人機(jī)交互系統(tǒng)，實現(xiàn)了人與周遭環(huán)境的實時跟蹤互動，現(xiàn)在正廣泛使用于視頻拍攝和游戲互動場景，為人們帶來連續(xù)創(chuàng)新的交互體驗。為實現(xiàn)人臉特征點(diǎn)和輪廓點(diǎn)的精準(zhǔn)定位，百度AR從自建人臉數(shù)據(jù)庫的海量數(shù)據(jù)中提取東方人臉型基底，并以此為基礎(chǔ)構(gòu)建了一套穩(wěn)定高效的用戶臉型三維重建算法，使得在進(jìn)行人臉驅(qū)動表情估計時，能夠提取到更精確的表情結(jié)果；此外，基于百度飛槳PaddlePaddle高性能深度學(xué)習(xí)框架，人臉關(guān)鍵點(diǎn)檢測在大姿態(tài)、極端表情、遮擋等復(fù)雜場景下都表現(xiàn)出可靠的魯棒性和準(zhǔn)確性。在這之上，拓展出人臉美型、美妝、3D道具及3D動畫表情等十余項豐富的臉特效能力，為全民小視頻、好看視頻等使用和華為、魅族等企業(yè)級合作伙伴提供了視頻特效拍攝方案。百度AR還建立了一系列業(yè)內(nèi)領(lǐng)先的超輕量級（計算量小，體積小）手部交互算法能力矩陣，涵蓋手勢識別、指尖點(diǎn)檢測和手勢關(guān)鍵點(diǎn)檢測，除了常見的控雨等手勢控制操作，還能自定義手部特效、空間作畫等多種創(chuàng)意玩法。在移動端，百度率先實現(xiàn)了肢體骨骼點(diǎn)/輪廓點(diǎn)檢測跟蹤，支持人體實時定位與動作捕捉；同時以18點(diǎn)/59點(diǎn)兩種不一樣輸出方式， 跨平臺兼容各主流終端設(shè)備。包含人像分割、天空分割、頭發(fā)分割、物體檢測等多項算法能力在內(nèi)的環(huán)境特效能力矩陣，致力于打造人像與虛擬環(huán)境的自然融合，可以任意選擇背景替換、染發(fā)、天空特效、動畫疊加等AR效果。隨著5G時代的到來，百度AR依托視覺技術(shù)優(yōu)勢所構(gòu)建的虛實場景融合的基礎(chǔ)設(shè)施，將不斷彌合虛擬世界與物理世界的間隙，刷新人們探索世界的方式。 VPAS-視覺定位與增強(qiáng)服務(wù)首發(fā)，復(fù)現(xiàn)圓明園大水法盛景未來是什么？是無數(shù)個過去和現(xiàn)在疊加在一起。當(dāng)我們站在此時此刻，能否借一雙未來的眼去回看歷史的景象？在開發(fā)者大會上，百度AR首次發(fā)布VPAS（視覺定位與增強(qiáng)服務(wù)），通過視覺定位與AR技術(shù)的突破性結(jié)合，將虛擬信息與真實地理位置準(zhǔn)確重合，實現(xiàn)大場景物理世界的AR交互。當(dāng)你跟隨百度地圖導(dǎo)航走進(jìn)圓明園西洋樓景區(qū)，VPAS將自動“找到”大水法遺址，在這爿殘垣斷壁上重現(xiàn)100多年前雕欄玉砌、“獵狗逐鹿”的恢弘奇景。VPAS主要包含離線高精地圖構(gòu)建、在線定位與融合跟蹤三大基礎(chǔ)模塊，相比GPS具備更穩(wěn)定的實時跟蹤能力，支持室外大場景及室內(nèi)場景厘米級高精度定位。百度AR在視覺信息要素積累的基礎(chǔ)上實現(xiàn)了一套完整的視覺地圖構(gòu)建方案，即實行眾源數(shù)據(jù)采集模式，對用戶通過手機(jī)收集反饋的圖像數(shù)據(jù)進(jìn)行處理分析，結(jié)合百度地圖的地理位置信息連續(xù)更新完善視覺地圖?，F(xiàn)在，百度AR已打通常見三維重建數(shù)據(jù)導(dǎo)入接口，并且兼容相同格式下的第三方數(shù)據(jù)，具備易集成特點(diǎn)和數(shù)據(jù)批量化生產(chǎn)能力。VPAS采用了最具前瞻性的視覺技術(shù)方案，以及兼容Google、Apple平臺的連續(xù)跟蹤能力與獨(dú)有自研跟蹤能力共同構(gòu)成的融合跟蹤方案，能夠支持當(dāng)前市場主流機(jī)型的全場景體驗需要。同時結(jié)合百度視覺語義化能力，連續(xù)提升在線定位與實時跟蹤的穩(wěn)定性和精準(zhǔn)度。VPAS與百度地圖入口的打通，為我們打開一個嶄新的“世界”！并將以大水法為起點(diǎn)，快速拓展至景區(qū)、商圈等更多室內(nèi)外場景，為可視化導(dǎo)航服務(wù)帶來體驗式變革。一個虛擬的數(shù)字信息世界正以我們每個人為圓心悄然建立，當(dāng)5G時代開啟和軟硬結(jié)合的日趨成熟，這些信息將以愈發(fā)顯著的形態(tài)呈現(xiàn)在我們面前，為生產(chǎn)、生活方式變化和發(fā)展提供新的驅(qū)動力。百度DuMix AR升級5.0 六大搞定方案助力產(chǎn)業(yè)智能化升級在技術(shù)能力連續(xù)積累的同時，百度AR與開發(fā)者和生態(tài)伙伴一起不斷探索AR在各個行業(yè)的實用場景和搞定方案。本次AI開發(fā)者大會上，百度AR發(fā)布全新DuMix AR 5.0平臺，針對娛樂互動、智能營銷、智能設(shè)備、景區(qū)行業(yè)、教育行業(yè)及汽車行業(yè)，發(fā)布六大搞定方案，覆蓋從AR內(nèi)容生產(chǎn)到消費(fèi)使用全場景。 一、娛樂互動搞定方案依托全面升級的一體化人機(jī)交互系統(tǒng)，百度DuMix AR聚焦精細(xì)美化方向，在人臉特效、美化特效、人體及環(huán)境特效方面都帶來了出色表現(xiàn)，實現(xiàn)了虛擬特效貼紙、動畫表情、美化濾鏡等與人臉/人體的精準(zhǔn)貼合，人像與虛擬環(huán)境的自然融合。在兼容性方面，百度DuMix AR人機(jī)交互能力進(jìn)行全機(jī)型覆蓋，兼容市場上絕大多數(shù)高中低端移動設(shè)備，能夠支持和滿足各類視頻、直播、實時通話等使用需要。此外，百度AR還將內(nèi)容平臺服務(wù)向視頻特效方向延伸，為廣大開發(fā)者/規(guī)劃師提供低門檻的AR特效內(nèi)容制作工具，擴(kuò)大AR內(nèi)容規(guī)模和開發(fā)效率；平臺提供內(nèi)容的管理與儲存服務(wù)，開發(fā)者也可以通過平臺將自己的作品上傳至全民小視頻等接入百度AR能力的使用，形成從內(nèi)容生產(chǎn)、管理到分發(fā)的一站式搞定方案，打造AR娛樂互動領(lǐng)域的開放閉環(huán)。二、智能營銷搞定方案在智能營銷領(lǐng)域，百度將AR的趣味性與交互性融入虛實結(jié)合的全新場景，定義創(chuàng)意表達(dá)的不一樣形態(tài)，更多元化地向用戶傳遞品牌價值，提升營銷轉(zhuǎn)化率。百度AR擁有專業(yè)的內(nèi)容生產(chǎn)團(tuán)隊和高效的內(nèi)容制作體系，提供AR內(nèi)容的個性化定制和一站式模板服務(wù)，幫助開發(fā)者實現(xiàn)創(chuàng)意內(nèi)容的快速AR化。此外，百度還擁有高效的分發(fā)優(yōu)勢，線上依托生態(tài)億級分發(fā)矩陣和大數(shù)據(jù)資源，精準(zhǔn)觸達(dá)目標(biāo)人群；線下通過AR“掃一掃”入口延伸至線上場景，形成打通的營銷閉環(huán)。三、智能設(shè)備搞定方案2018年，百度將肢體互動能力與智能大屏結(jié)合，AR打太極項目落地全球首個AI公園-海淀公園，獨(dú)特的健身互動方式受到了大家的廣泛關(guān)心，天津南翠屏公園、福州飛鳳山公園等先后引入，每天都有絡(luò)繹不絕的游客前來體驗。通過將人機(jī)交互，智能感知和跟蹤等領(lǐng)先技術(shù)能力及視覺定位與增強(qiáng)服務(wù)（VPAS），與智能大屏、AR眼鏡、PAD等更多智能設(shè)備結(jié)合，AR技術(shù)將突破手機(jī)的約束為人們帶來解放雙手的AR交互新體驗，在公園、景區(qū)、商圈、店鋪等挖掘豐富的運(yùn)用場景。四、景區(qū)行業(yè)搞定方案基于端云一體化的視覺定位與增強(qiáng)服務(wù)（VPAS），融合百度地圖場景化能力，百度DuMix AR為景區(qū)打造了覆蓋行前、行中、行后的全流程交互搞定方案。用戶可以通過線上AR導(dǎo)覽進(jìn)行實景體驗，依托VPAS探索景區(qū)知名地標(biāo)并將關(guān)聯(lián)信息在現(xiàn)實空間疊加呈現(xiàn)，豐富的人機(jī)交互能力為線下提供了多樣化的娛樂互動形式，而通過設(shè)備攝像頭采集分析呈現(xiàn)的用戶畫像，將為景區(qū)管理和優(yōu)化提供可靠依據(jù)。五、教育行業(yè)搞定方案百度DuMix AR以領(lǐng)先AR技術(shù)為圖書/出版物進(jìn)行數(shù)字化改造，將AR內(nèi)容使用于豐富的教學(xué)場景。面向教育行業(yè)開發(fā)者和從業(yè)者，提供從SDK接入到內(nèi)容生產(chǎn)制作全流程的平臺級搞定方案，針對不一樣年齡段定制化AR內(nèi)容，推動教育領(lǐng)域使用的快速規(guī)?；涞亍Ｈ瞬排囵B(yǎng)方面，百度DuMix AR平臺與高校和教育培訓(xùn)機(jī)構(gòu)共同編撰專業(yè)AR教育課程，并攜手百度云智學(xué)院推出AR技術(shù)認(rèn)證資質(zhì)體系，強(qiáng)化國內(nèi)AR領(lǐng)域人才隊伍建設(shè)。百度擁有豐富的生態(tài)產(chǎn)品矩陣與線上教育平臺，百度DuMix AR將聯(lián)動國內(nèi)優(yōu)質(zhì)教育出版資源，攜手專業(yè)教育垂類合作伙伴，建立更完善的AR教育生態(tài)。六、汽車行業(yè)搞定方案百度將AR技術(shù)使用于汽車行業(yè)，可廣泛用于線上AR展示、產(chǎn)品說明及工業(yè)維修等各類產(chǎn)業(yè)相關(guān)場景，助力汽車產(chǎn)業(yè)上下游企業(yè)實現(xiàn)智能化轉(zhuǎn)型。同時，百度DuMix AR還將針對不一樣需要端場景，定制化提供從SDK到分發(fā)的整套嵌入式使用方案。以上六大搞定方案涵蓋了當(dāng)前AR技術(shù)使用的核心場景和領(lǐng)域。會上，百度增強(qiáng)現(xiàn)實技術(shù)部高級產(chǎn)品運(yùn)營經(jīng)理王琳琳宣告，百度DuMix AR平臺進(jìn)入5.0時代，并邀請百度AR資深研究工程師、百度AI交互規(guī)劃院資深用戶研究工程師及百度AR生態(tài)合作伙伴，為開發(fā)者解讀兩大交互系統(tǒng)背后的核心算法與技術(shù)，比較分享AR內(nèi)容制作的交互規(guī)劃邏輯。百度AR將與開發(fā)者和生態(tài)合作伙伴一起，共同探索更多行業(yè)搞定方案和落地場景，攜AR能力邁進(jìn)產(chǎn)業(yè)智能化時代。