博客 / 詳情

返回

4天創10+款AR應用,AdventureX與Rokid一起見證00後空間計算創意狂想曲

以下文章來源於Rokid,AdventureX 2024與Rokid一起為選手打call~

7月15日-7月19日,全國超200名26歲以下的超級青年前往在杭州舉辦的AdventureX 2024,並利用僅4天的時間,在現場完成組隊、動手創作及開發產品。

這場為年輕人量身定製的黑客鬆,單獨開闢了“未來視界:Rokid空間計算的創意狂想”賽道,參賽者們可以通過Rokid AR Studio,運用其空間計算和人機交互能力,從0到1創造AR應用。

01

以專業知識賦能

創造有温度的AR應用

黑客鬆現場,這些青年參賽者們將自己的專業知識與空間計算技術相結合,創造出不少有趣、有創意,甚至有社會貢獻的AR應用。

其中,有一支超級硬核的技術同學組成的隊伍,有來自北航國家卓越工程師學院,全國機甲大師冠軍,以及研究雷達和毫米波年輕專家等,如此硬核,但他們創造的是能應用於大眾社會安全領域的AR應用。

這款名為《上帝的黑盒》AR應用,超越了肉眼與攝像頭的界限,依託於先進的毫米波技術,不僅擁有穿牆透視的非凡能力,還能精準測謊、讓真相無處遁形。它利用特製的毫米波板子,如同一位無形的守護者,還能提前預判行車途中的潛在危險,為安全出行保駕護航。

利用Rokid AR Studio空間計算成像和手勢識別,動態的世界被巧妙地轉化為點陣,構建起一個全方位、無死角的觀測網絡,讓觀察者如同置身“楚門的世界”之外,卻又將每一個細微的動作都被精準捕捉並呈現,都一一還原於掌心之中。

在此之前,如此高精度的探測與還原幾乎是天方夜譚。他們利用物理學的力量,將毫米波技術推向了前所未有的精細與精準。

而另一羣來自熱衷無人機和機器人技術的狂熱者,他們結合Rokid AR Studio的語音識別能力,操控無人機系統。用户只需戴上Rokid AR眼鏡,即可將第一視野無縫對接至無人機視角,通過語音指令精準操縱其起飛、降落、前進、後退,實現如臂使指般的靈活操控,讓人彷彿身臨其境,共享空中的壯闊與細膩。

尤為值得一提的是,該系統融入了AR技術,它不僅作為無人機的“眼睛”,更是其行動的智慧引領者。與VR的單一視野體驗不同,AR技術讓操作者能夠在保持對無人機核心區域關注的同時,也能感知到周圍環境的細微變化,從而實現了更加安全、有效且多模態的操控體驗。這種技術的融合,無疑為無人機在複雜環境中的作業提供了前所未有的靈活性和精確度。

這款名為《EaglePilot》的AR應用,不僅是在探索技術的邊界,更是在為無人機的未來應用鋪設堅實的道路,讓無人機技術以更加智能、便捷、安全的方式服務於社會,開啓空中探索與作業的新篇章。

《小小魔畫師》則是一款為親子帶來驚喜的AI+AR塗鴉遊戲,由一羣來自海峽兩岸的工程師和設計師團隊開發創作。專為5-8歲兒童設計,巧妙地發揮 Rokid AR 眼鏡輕便、好操作的特性,和現今最前端的 AI 技術,能將 2D 塗鴉轉化為生動的3D模型,成為和孩子一起遊戲的玩伴。

小朋友們只需戴上Rokid AR眼鏡,就能立刻化身為小小魔畫師,在虛擬與現實交織的空間中自由揮灑他們的想象力。不同於傳統的繪畫方式,它巧妙結合了人工智能的魔力,能夠智能識別並理解孩子們筆下那些天馬行空的塗鴉,通過VAST發佈的領先的TripoAI平台提供的文生3D建模能力,進而將這些創意轉化為生動的3D圖像。

更令人興奮的是,《小小魔畫師》通過AR技術,將這些3D作品以互動的形式展現在孩子們眼前。他們不僅可以親眼看到自己創作的藝術品躍然眼前,還能通過手勢等自然交互方式與之互動,真正實現了“所見即所得”的沉浸式體驗。相比在iPad上繪畫,這種體驗更加直觀、有趣,極大地提升了孩子們的參與感和創作熱情。

此外,《小小魔畫師》還特別注重親子互動,利用AR裏多模態交互的重要場景,讓家長和孩子能夠共同參與創作過程,享受親子時光的樂趣。孩子們可以互相展示、分享自己的作品,看着這些3D藝術品在手中把玩,或是擺放在家中作為獨特的裝飾品,無疑將為他們的生活增添無限樂趣和色彩。

02

涌現奇思妙想

探索科技與人文的邊界

AdventureX 2024現場,不僅有參賽者運用專業知識動手開發創造AR應用,還有不少青年利用AI+AR技術的特性,突破傳統的認知,探索科技與人文的邊界。

《EscapeToaster》是一款集創新科技與趣味互動於一體的未來感麪包機,它徹底顛覆了傳統烘焙工具的界限,巧妙融合了AR技術與數字生命概念,讓用户能夠通過視覺與手勢的雙重交互,模擬並扮演這枱面包機的角色。

戴上Rokid AR眼鏡,用户將親眼見證自己的想象力如何被賦予生命,麪包機上的攝像頭成為了它的“眼睛”,隨着頭部的轉動,無論是上下左右,都能捕捉到周圍環境的變化,彷彿真正擁有了感知世界的能力。更令人驚歎的是,用户還能在AR世界中看到自己的虛擬雙手,與麪包機的機械手同步動作,實現前所未有的沉浸式互動體驗。

這一創意背後的團隊匯聚了硬件整合、3D打印等領域的精英,他們利用先進的3D打印技術,為麪包機量身定製了萬向輪、靈活的手臂等部件,使其更加符合人機互動的需求。同時,團隊以麪包機作為基礎,通過一系列巧妙的改造,賦予了它行走、感知與互動的能力,讓原本冷冰冰的機器煥發出了勃勃生機。

另一款名為《ELF AI - 精靈艾爾》的AR桌寵養成應用,利用了Rokid AR Studio的SLAM和平面檢測能力。戴上Rokid AR眼鏡,一位超級活潑的二次元小姐姐將出現在用户面前,論是學習、工作還是休閒時光,都能與她為伴。

“她”不僅僅是一個動畫人物,還能夠根據你的指令做出相應反應。結合平面檢測能力。她可以安靜地坐在桌面一角陪伴你,或是悠閒地躺在桌面上小憩,還能跟隨你的腳步站起身來走到你身邊。“她”還具備智能對話功能,能夠與你進行有趣的交談,成為用户們生活中不可或缺的數字伴侶。

值得一提的是,團隊雖以二次元文化為核心,但背後的動捕技術卻完全由一羣熱愛技術的男生們精心打造。他們通過細緻入微的動作捕捉,賦予了這位AI小姐姐生動自然的肢體語言和豐富的表情變化,讓她的每一個動作都充滿了生命力和感染力。

《布托Butuo》則是由中國人民大學、清華大學美術學院,天津大學等高校學生和CTO團隊創作的AR應用,團隊裏還有Rokid開發者社區成員,他們嘗試為拖延症患者解決拖延問題。

這款AR應用的核心魅力在於其智能化的用户體驗。一啓動應用,它便會温柔地詢問你當天的狀態與心情,隨後引導你直面拖延的根源。通過AI大模型的深度介入,它能幫助用户精準識別拖延的癥結所在——無論是“不知道怎麼幹”的迷茫,還是其他複雜情緒導致的拖延。就像一位貼心的語音助手,當你告知它你的困擾,比如準備演講稿卻不知從何説起時,它會迅速為你拆解任務,提供清晰的步驟指導,從尋找主題、構思內容到完成初稿,每一步都安排得井井有條。

使用AR眼鏡,是團隊考慮到為了進一步提升效率與專注度,,用户無需頻繁操作手機,避免了因打開手機而分散注意力的風險。小巧的AR眼鏡不僅輕便舒適,還減少了其他干擾信息的侵擾,讓用户能夠更加專注於當前的任務。

《布托Butuo》以其獨特的AI+AR多模態交互方式,直接且高效地解決了全球範圍內廣泛存在的拖延症問題,展現了AI技術在提升社會影響力方面的巨大潛力。它不僅是一款應用,更是一種生活態度的倡導者。

《小順/Carepilot》的團隊,也有來自Rokid社區開發者,也是一個充滿人文關懷的項目,這款AR應用主打中老年人的醫療陪護。

戴上Rokid AR眼鏡,用户即可享受到一站式醫療服務體驗,從掛號、導覽、檢查,每一步都盡在掌握。面對複雜的醫院環境與流程,用户無需再四處問詢,只需輕輕呼喚“小順小順”,便能即刻獲得所需的幫助與信息。

得益於 Rokid 便攜的空間計算產品,在實時採集影音數據的同時,能帶給用户無與倫比的信息呈現。利用路牌識別的導路信息配合 SLAM 實現室內導航,並以“空中延伸的箭頭”獨屬於空間計算的形式呈現。

依託聲網ASTRA.AI平台提供的大語言模型AI能力支持,《小順/Carepilot》擁有豐富的醫療數據與智能分析能力,以及流暢的語言對話能力,STT、TTS 配合 Agent,老人只需要動動嘴,就可以被告知所需要的一切信息。

例如,當用户表示心臟不適時,《小順/Carepilot》會迅速推薦前往內科就診,並自動規劃導航路線;而當用户提及肝臟問題並即將接受手術時,《小順/Carepilot》則會温柔地提醒用户不必過於焦慮,並指導其前往三樓休息室稍作休息,或是前往門口問詢處獲取更多幫助。這些細緻入微的關懷與建議,讓用户在無助的時刻感受到了來自科技的温度與力量。

《小順/Carepilot》的成功開發,不僅是對醫療陪護行業的一次革新,更是對科技改變生活、温暖人心理念的生動詮釋。

AR眼鏡是語音自然交互的最佳平台,《英吹思聽Interesting》利用AI+AR技術,結合AI大模型,為語言學習者開啓了一場前所未有的語言學習革命。

其核心亮點在於其利用AI大模型構建的場景化語言學習環境。他們堅信“用英語”就是最好的“學英語”的方式,藉助Roikd 眼鏡的攝像頭、麥克風,和虛實融合內容顯示,捕獲現實生活中的多模態數據,方便和 AI 交互,知道用户在哪裏想要做什麼。

例如,用户只需説出需求或者描述,AI便能即時以英文迴應,模擬出一個完全沉浸式的異國語言環境。這種學習方式徹底打破了傳統語言學習的界限,就像是我們有一個形影不離的外籍朋友一直陪着我們,讓用户彷彿置身於真實的語境之中,自然而然地開口説英語。

更令人興奮的是,《Interesting》能夠根據用户的反饋和行為,智能調整交流內容,引導用户主動提出問題和需求。例如,當你想要上公交車時,AI會提示你“請往後面走”,並在你詢問其含義時,耐心重複或解釋,隨後進一步引導你提問更多相關問題。這種互動不僅加深了用户對語言的理解,還極大地提高了學習的主動性和趣味性。

AI的無限耐心和反覆訓練能力,確保了每個學習者都能在最短的時間內取得顯著的進步。這款AR應用以其全新的概念、先進的技術和貼心的服務,為語言學習者帶來了前所未有的學習體驗。

03

青春狂想

展現空間計算的未來視界

這不僅僅是一場競賽,更是一次青春的碰撞、創意的火花與科技的交融,由一羣懷揣夢想的高中生與大學生髮起,跨越國界,匯聚成一股不可小覷的創新力量。

這場黑客鬆摒棄了傳統競賽的條條框框,不追求純粹的商業化或即時的可執行性,而是鼓勵每一位參與者釋放出年輕人獨有的創造力與想象力。在這裏,每一個天馬行空的想法都值得被聽見,每一個看似奇奇怪怪的主意都可能成為改變未來的種子。

除了以上的若干項目以外,還有重現情緒瞬間通過空間喚醒回憶情感的《MoodScape》,以及幫助通過語音和視覺幫助兒童學習英文的《iWORDS》等。

每個項目還離不開不同的業內技術融合,Rokid AR眼鏡是最好的AI能力載體,在這些項目中各個團隊運用了包括Trip3DAI,ASTRAAI等各種AI服務平台,Rokid也會將來和各大AI社區齊力一起做好開發者社區,培養開發者生態。

作為開發者生態的堅實後盾,Rokid不僅提供前沿的軟硬件支持,更以滿腔的熱情與信任,陪伴每一位年輕開發者從靈感的萌芽到項目的成型。Rokid的平面識別功能SDK一經上線,便被參賽者們使用,這不僅表明Rokid對生態的洞察與重視,也體現了開發者們對平台的支持與認可。‍‍‍‍‍‍‍‍‍

在這短短的時間內,通過Rokid的技術支持與情感陪伴,激發出參賽者們前所未有的潛能,共同創造出令人矚目的成果。

此外,Rokid的Mentor導師們,在這100多個小時內在現場提供實時指導的第一重保障,並在線上提供24小時的技術支持。不僅是技術上的引路人,更是心靈上的導師,為年輕團隊答疑解惑,提供寶貴的建議與鼓勵。當看到這些年輕的開發者們日以繼夜、廢寢忘食地投入創作,從0到1構建起自己的小小夢想,直至將其孵化成MVP(最小可行產品)的那一刻,我們被深深感動,也更加堅定了做有挑戰之事、不斷尋求共鳴的初心。

此外,本次活動還吸引了AIGC、AI領域的大公司、行業精英以及各界朋友的關注與支持。我們希望通過這個平台,不僅能讓更多人瞭解Rokid,更能為開發者們搭建起一座通往成功的橋樑。

未來,Rokid還將繼續與更多社區合作,舉辦豐富多彩的開發者活動,併發布更合適的開發者成長計劃,助力每一位年輕人在科技的道路上前行得更遠。

user avatar
0 位用戶收藏了這個故事!

發佈 評論

Some HTML is okay.