原來AR+3D技術還能這樣玩!9種AR/VR人機互動的原理解讀來了,
現在的世界，如果你看到一個人帶著面罩，手上拿著一個工具在揮動著手，你也不要感到驚訝，他們只是在創作，在繪畫！沒錯，他們是透過VR虛擬實景來作畫！以前在白紙或畫布上作畫，或者透過photoshop或AI軟件來設計圖 看來已經過時了，藝術創作者如今可以透過VR在立體空間里自由作畫，創作空間頓時從平面的2D轉換成3D，整個層次都不一樣了。
虛擬現實技術是仿真技術的一個重要方向，是仿真技術與計算機圖形學、人機接口技術、多媒體技術、傳感技術、網絡技術等多種技術的集合，是一門富有挑戰性的交叉技術前沿學科和研究領域。
用沉浸式VR，不僅帶入感強，還有高度的沉浸感，良好的交互手段，可以融合視覺、觸覺、聲音等。學生可通過手里的筆刷和工具的幫助，畫出學生們自己想象的畫面。對于學生而言，大概沒有什么比“走進”繪畫場景，體驗一場身臨其境的創作體驗更加刺激的了，學生通過場景可選擇自己喜歡的名畫，如梵高的《星空》、張擇端《清明上河圖》、達利的《米勒<晚禱>之考古學回憶》、步魯蓋爾的《反叛天使的墮落》等等。
虛擬現實技術（VR）主要包括模擬環境、感知、自然技能和傳感設備等方面。模擬環境是由計算機生成的、實時動態的三維立體逼真圖像。感知是指理想的VR應該具有一切人所具有的感知。除計算機圖形技術所生成的視覺感知外，還有聽覺、觸覺、力覺、運動等感知，甚至還包括嗅覺和味覺等，也稱為多感知。自然技能是指人的頭部轉動，眼睛、手勢、或其他人體行為動作，由計算機來處理與參與者的動作相適應的數據，并對用戶的輸入作出實時響應，并分別反饋到用戶的五官。傳感設備是指三維交互設備。
通過VR桌面交互系統調取編輯好的課件內容，師生可通過硬件設備在構建的虛擬、可交互教學環境中進行沉浸式學習，實現多屏同步教學與多人協同實訓。形成了一個以教師、學生、知識為閉環的結構體。學生通過對“邏輯的”、“教學的”或“過程的”模擬，在最大程度上反應客觀世界知識體系，演示出真實的知識場景，啟發和引導學生的動手能力、鼓勵學生通過知識大膽設計、敢于創新，輕松便捷的在虛擬系統中不斷完善自己的創意和發明。
增強現實（Augmented Reality，簡稱AR），也被稱為擴增現實（中國臺灣地區）。它是一種將真實世界信息和虛擬世界信息“無縫”集成的新技術，是把原本在現實世界的一定時間空間范圍內很難體驗到的實體信息（視覺信息，聲音，味道，觸覺等），通過電腦等科學技術，模擬仿真后再疊加，將虛擬的信息應用到真實世界，被人類感官所感知，從而達到超越現實的感官體驗。真實的環境和虛擬的物體實時地疊加到了同一個畫面或空間同時存在。
2D 到 3D 的轉變
10 年前，喬布斯帶來了全觸控屏幕的第一代 iPhone，一句“You can touch your music！”生動形象地描述了這一開創性的交互方式——多點觸控。我們的生活中也開始被各種電子屏幕包圍，比如智能手機、平板電腦以及各種穿戴式設備，它們呈現著豐富多彩的信息。很多設計師的日常，也是跟一塊一塊屏幕“打交道”，用圖像、色彩、文字等構建出各種樣式的界面，所有信息都被井井有條地排布在屏幕內。
人與機器存在天生的隔閡，圖形用戶界面和交互方式的不斷革新正讓這個隔閡變得越來越小，但始終未能打破這層隔閡，哪怕是 iPhone。而直到 AR 眼鏡（頭盔）出現之后，這些內容才有了“跨越”屏幕的可能，并跟真實的世界“融為一體”。人機交互界面，也開始從 2D 向 3D 跨越。（這里的“3D”不是指 3D 模型，而是整個三維空間。）
3D 化思維
很多事情往往都是說起來容易做起來難，即使我反復提醒自己是基于 3D 來設計界面，但在日常工作中還是會掉入 2D 的“坑”。也許是深受 2D 界面設計的影響，我在紙上繪制原型時必定先繪制一個方框作為 AR 眼鏡的 FOV（Field of View，可視區域），就好像設計手機應用時必須先畫一個屏幕一樣。而這樣的設計方式很容易變得像在設計單純的手機應用一樣，在真機的上驗證結果也很不理想。
3D 界面有著區別于 2D 界面特殊的屬性，所以在設計上需要考慮更多，包括但不限于以下內容：
交互空間：空間大小、平面類型、遮擋關系
輸入方式：語音、手勢、控制器、外部傳感器
呈現信息類型：3D模型、圖片、2D界面
音效：空間音效、界面反饋音效
信息與環境的融合方式：無中生有、真實物體與虛擬信息疊加、遮擋真實環境
1.動作捕捉
用戶想要獲得完全的沉浸感，真正“進入”虛擬世界，動作捕捉系統是必須的。目前專門針對VR的動捕系統，目前市面上可參考的有 PercepTIon Neuron，其他的要么是昂貴的商用級設備，要么完全是霧件（意為在開發完成前就開始進行宣傳的產品，也許宣傳的產品根本就不會問世）。但是這樣的動作捕捉設備只會在特定的超重度的場景中使用，因為其有固有的易用性門檻，需要用戶花費比較長的時間穿戴和校準才能夠使用。相比之下，Kinect這樣的光學設備在某些對于精度要求不高的場景可能也會被應用。
全身動捕在很多場合并不是必須的，它的另一個問題，在于沒有反饋，用戶很難感覺到自己的操作是有效的，這也是交互設計的一大痛點。
2. 觸覺反饋
這里主要是按鈕和震動反饋，這就是下面要提到的一大類，虛擬現實手柄。目前三大VR頭顯廠商Oculus、索尼、HTC Valve都不約而同的采用了虛擬現實手柄作為標準的交互模式：兩手分立的、6個自由度空間跟蹤的（3個轉動自由度3個平移自由度），帶按鈕和震動反饋的手柄。這樣的設備顯然是用來進行一些高度特化的游戲類應用的（以及輕度的消費應用），這也可以視作一種商業策略，因為VR頭顯的早期消費者應該基本是游戲玩家。
但是，這樣高度特化/簡化的交互設備的優勢顯然是能夠非常自如地在諸如游戲等應用中使用，但是它無法適應更加廣泛的應用場景。
3 .眼球追蹤
提起VR領域最重要的技術，眼球追蹤技術絕對值得被從業者們密切關注。Oculus創始人帕爾默?拉奇就曾稱其為“VR的心臟”，因為它對于人眼位置的檢測，能夠為當前所處視角提供最佳的3D效果，使VR頭顯呈現出的圖像更自然，延遲更小，這都能大大增加可玩性。同時，由于眼球追蹤技術可以獲知人眼的真實注視點，從而得到虛擬物體上視點位置的景深。所以，眼球追蹤技術被大部分VR從業者認為將成為解決虛擬現實頭盔眩暈病問題的一個重要技術突破。但是，盡管眾多公司都在研究眼球追蹤技術，但仍然沒有一家的解決方案令人滿意。
超多維SuperD公司圖形圖像算法中心主管培云認為，VR的眼球追蹤可利用類似tobii眼動儀的設備實現，但前提是解決設備的體積和功耗。事實上，在業內人看來，從眼球追蹤技術本身來說，雖然在VR上有一些限制，但可行性還是比較高的，比如外接電源、將VR的結構設計做的更大等。但更大的挑戰在與通過調整圖像來適應眼球的移動，這些圖像調整的算法目前來說都是空白的。有兩個指標，一是圖像自然真實，二是快速延遲小。這對VR+眼球追蹤提出了更高的要求，如果達到這兩點，VR的可玩性會再提高一個檔次。
4. 肌電模擬
關于這個我們通過一個VR拳擊設備Impacto來說明，Impacto結合了觸覺反饋和肌肉電刺激精確模擬實際感覺。具體來說，Impacto設備分為兩部分。一部分是震動馬達，能產生震動感，這個在一般的游戲手柄中可以體驗到；另外一部分，也是最有意義的部分，是肌肉電刺激系統，通過電流刺激肌肉收縮運動。兩者的結合能夠給人們帶來一種錯覺，誤以為自己擊中了游戲中的對手，因為這個設備會在恰當的時候產生類似真正拳擊的“沖擊感”。
然而，業內人士對于這個項目有些爭議，目前的生物技術水平無法利用肌肉電刺激來高度模擬實際感覺。即使采用這種方式，以目前的技術能實現的也是比較粗糙的感覺，這種感覺對于追求沉浸感的VR也沒有太多用處，“還不如震動馬達”。還有一位從事疼痛緩解理療儀的朋友表示，利用肌肉電刺激來模擬真實感覺需要克服的問題有很多，因為神經通道是一個精巧而復雜的結構，從外部皮膚刺激是不太可能的，但是“隨便”電刺激一下讓肌肉運動以當做反饋是可以的。
5 .手勢跟蹤
使用手勢跟蹤作為交互可以分為兩種方式：第一種是使用光學跟蹤，比如Leap MoTIon和NimbleVR這樣的深度傳感器，第二種是將傳感器戴在手上的數據手套。
光學跟蹤的優勢在于使用門檻低，場景靈活，用戶不需要在手上穿脫設備，未來在一體化移動VR頭顯上直接集成光學手部跟蹤用作移動場景的交互方式是一件很可行的事情。但是其缺點在于視場受局限，以及我們之前所提到的兩個基本問題：需要用戶付出腦力和體力才能實現的交互是不會成功的，使用手勢跟蹤會比較累而且不直觀，沒有反饋。這需要良好的交互設計才能彌補。
數據手套，一般在手套上集成了慣性傳感器來跟蹤用戶的手指乃至整個手臂的運動。它的優勢在于沒有視場限制，而且完全可以在設備上集成反饋機制（比如震動，按鈕和觸摸）。它的缺陷在于使用門檻較高：用戶需要穿脫設備，而且作為一個外設其使用場景還是受局限：就好比說在很多移動場景中不太可能使用鼠標。不過這些問題都沒有技術上的絕對門檻，完全可以想象類似于指環這樣的高度集成和簡化的數據手套在未來的VR產業中出現，用戶可以隨身攜帶隨時使用。
這兩種方式各有優劣，可以想見在未來這兩種手勢跟蹤在很長一段時間會并存，用戶在不同的場景（以及不同的偏好）使用不同的跟蹤方式。
6. 方向追蹤
方向追蹤除了可以用來瞄點，還可以用來控制用戶在VR中的前進方向。不過，如果用方向追蹤調整方向的話很可能會有轉不過去的情況，因為用戶不總是坐在能夠360度旋轉的轉椅上的，可能很多情況下都會空間受限。比如頭轉了90度接著再轉身體，加起來也很難轉過180度……所以，這里“空間受限無法轉身是一個需求”，于是交互設計師給出了解決方案——按下鼠標右鍵則可以讓方向回到原始的正視方向或者叫做重置當前凝視的方向（就是你最初始時候面向的那個方向），或者可以通過搖桿調整方向，或按下按鈕回到初始位置。
但問題還是存在的，以用戶面朝的方向作為行走方向比起鍵鼠和gamepad，轉向和視覺相匹配極大地增強了沉浸感，但是卻有可能玩得很累，削弱了舒適性。
7. 語音交互
在VR中海量的信息淹沒了用戶，他不會理會視覺中心的指示文字，而是環顧四周不斷發現和探索。如果這時給出一些圖形上的指示還會干擾到他們在VR中的沉浸式體驗，所以最好的方法就是使用語音，和他們正在觀察的周遭世界互不干擾。這時如果用戶和VR世界進行語音交互，會更加自然，而且它是無處不在無時不有的，用戶不需要移動頭部和尋找它們，在任何方位任何角落都能和他們交流。
8 .傳感器
傳感器能夠幫助人們與多維的VR信息環境進行自然地交互。比如，人們進入虛擬世界不僅僅是想坐在那里，他們也希望能夠在虛擬世界中到處走走看看，比如萬向跑步機，目前Virtuix，Cyberith和國內的KAT都在研發這種產品。然而體驗過的人都反應過，這樣的跑步機實際上并不能夠提供接近于真實移動的感覺，目前體驗并不好。還有的想法是使用腳上的慣性傳感器使用原地走代替前進，比如StompzVR。還比如全身VR套裝Teslasuit，戴上這套裝備，可以切身感覺到虛擬現實環境的變化，比如可感受到微風的吹佛，甚至是射擊游戲中還能感受到中彈的感覺。
這些都是由設備上的各種傳感器產生的，比如智能感應環、溫度傳感器、光敏傳感器、壓力傳感器、視覺傳感器等，能夠通過脈沖電流讓皮膚產生相應的感覺，或是把游戲中觸覺、嗅覺等各種感知傳送到大腦。但是，目前已有的應用傳感器的設備體驗度都不高，在技術上還需要做出很多突破。
9. 一個真實場地
就是造出一個與虛擬世界的墻壁、阻擋和邊界等完全一致的可自由移動的真實場地，比如超重度交互的虛擬現實主題公園The Void就采用了這種途徑，它是一個混合現實型的體驗，把虛擬世界構建在物理世界之上，讓使用者能夠感覺到周圍的物體并使用真實的道具，比如手提燈、劍、槍等，中國媒體稱之為“地表最強娛樂設施”。
這種真實場地通過仔細的規劃關卡和場景設計就能夠給用戶帶來種種外設所不能帶來的良好體驗。但規模及投入較大，且只能適用于特定的虛擬場景，在場景應用的廣泛性上受限。
結束語
虛擬現實是一場交互方式的新革命，人們正在實現由界面到空間的交互方式變遷。未來多通道的交互將是VR時代的主流交互形態，目前，VR交互的輸入方式尚未統一，市面上的各種交互設備仍存在各自的不足。
業內專家表示，短期內VR發展仍靠技術紅利推動，交互技術將成關鍵。同時，在硬件性能趨同的背景下，交互技術將構成差異化競爭力。在產業鏈方面，“交互算法是關鍵，下游應用空間廣”，整個輸入設備產業鏈主要由上游的元器件生產商（主要以傳感器、芯片生產商為主），中游的輸入設備制造商、交互方案提供商組成，下游則以游戲、影視、主題公園及其他企業級應用為主。他們表示，未來傳感器的供應問題將在國外廠商授權部分國內廠商生產等因素下得到部分解決，屆時具備領先自主算法技術的交互解決方案提供商將日趨重要。
以上就是100唯爾(100vr.com)小編為您介紹的關于AR的知識技巧了，學習以上的原來AR+3D技術還能這樣玩!9種AR/VR人機互動的原理解讀來了,知識，對于AR的幫助都是非常大的，這也是新手學習職教新聞所需要注意的地方。如果使用100唯爾還有什么問題可以點擊右側人工服務，我們會有專業的人士來為您解答。
本站在轉載文章時均注明來源出處，轉載目的在于傳遞更多信息，未用于商業用途。如因本站的文章、圖片等在內容、版權或其它方面存在問題或異議，請與本站聯系(電話：0592-5551325，郵箱：help@onesoft.com.cn)，本站將作妥善處理。
向客服提問AR課程推薦
職教新聞熱門資料
職教新聞技術文檔
推薦閱讀
