虛擬現(xiàn)實(shí)是一種由計(jì)算機(jī)和電子技術(shù)創(chuàng)造的新世界,是一個(gè)看似真實(shí)的模擬環(huán)境,通過(guò)多種傳感設(shè)備,用戶可根據(jù)自身的感覺(jué),使用人的自然技能對(duì)虛擬世界中的物體進(jìn)行考察和操作,參與其中的事件,同時(shí)提供視、聽(tīng)、觸等直觀而又自然的實(shí)時(shí)感知,并使參與者“沉浸”于模擬環(huán)境中。
虛擬現(xiàn)實(shí)技術(shù)(VR)主要包括模擬環(huán)境、感知、自然技能和傳感設(shè)備等方面。模擬環(huán)境是由計(jì)算機(jī)生成的、實(shí)時(shí)動(dòng)態(tài)的三維立體逼真圖像。感知是指理想的VR應(yīng)該具有一切人所具有的感知。除計(jì)算機(jī)圖形技術(shù)所生成的視覺(jué)感知外,還有聽(tīng)覺(jué)、觸覺(jué)、力覺(jué)、運(yùn)動(dòng)等感知,甚至還包括嗅覺(jué)和味覺(jué)等,也稱為多感知。自然技能是指人的頭部轉(zhuǎn)動(dòng),眼睛、手勢(shì)、或其他人體行為動(dòng)作,由計(jì)算機(jī)來(lái)處理與參與者的動(dòng)作相適應(yīng)的數(shù)據(jù),并對(duì)用戶的輸入做出實(shí)時(shí)響應(yīng),并分別反饋到用戶的五官。傳感設(shè)備是指三維交互設(shè)備。常用的有立體頭盔、數(shù)據(jù)手套、三維鼠標(biāo)、數(shù)據(jù)衣等穿戴于用戶身上的裝置和設(shè)置于現(xiàn)實(shí)環(huán)境中的傳感裝置,如攝像機(jī)、地板壓力傳感器等。
VR具有以下四個(gè)重要特征:
① 多感知性。指除一般計(jì)算機(jī)所具有的視覺(jué)感知外,還有聽(tīng)覺(jué)感知、觸覺(jué)感知、運(yùn)動(dòng)感知,甚至還包括味覺(jué)、嗅覺(jué)、感知等。理想的虛擬現(xiàn)實(shí)應(yīng)該具有一切人所具有的感知功能。
② 存在感。指用戶感到作為主角存在于模擬環(huán)境中的真實(shí)程度。理想的模擬環(huán)境應(yīng)該達(dá)到使用戶難辨真假的程度。
③ 交互性。指用戶對(duì)模擬環(huán)境內(nèi)物體的可操作程度和從環(huán)境得到反饋的自然程度。
④ 自主性。指虛擬環(huán)境中的物體依據(jù)現(xiàn)實(shí)世界物理運(yùn)動(dòng)定律動(dòng)作的程度。
虛擬現(xiàn)實(shí)的關(guān)鍵技術(shù)主要包括:動(dòng)態(tài)環(huán)境建模技術(shù)、實(shí)時(shí)三維圖形生成技術(shù)、立體顯示和傳感器技術(shù)、應(yīng)用系統(tǒng)開(kāi)發(fā)工具、系統(tǒng)集成技術(shù)。
國(guó)外虛擬現(xiàn)實(shí)技術(shù)的研究現(xiàn)狀
美國(guó)
美國(guó)是VR技術(shù)的發(fā)源地。美國(guó)VR研究技術(shù)的水平基本上就代表國(guó)際VR發(fā)展的水平。目前美國(guó)在該領(lǐng)域的基礎(chǔ)研究主要集中在感知、用戶界面、后臺(tái)軟件和硬件四個(gè)方面。
美國(guó)宇航局的Ames實(shí)驗(yàn)室:將數(shù)據(jù)手套工程化,使其成為可用性較高的產(chǎn)品。在約翰遜空間中心完成空間站操縱的實(shí)時(shí)仿真。大量運(yùn)用了面向座艙的飛行模擬技術(shù)。對(duì)哈勃太空望遠(yuǎn)鏡的仿真?,F(xiàn)在正致力于一個(gè)叫“虛擬行星探索”(VPE)的試驗(yàn)計(jì)劃?,F(xiàn)在NASA己經(jīng)建立了航空、衛(wèi)星維護(hù)VR訓(xùn)練系統(tǒng),空間站VR訓(xùn)練系統(tǒng),并且已經(jīng)建立了可供全國(guó)使用的VR教育系統(tǒng)。
北卡羅來(lái)納大學(xué)(UNC)的計(jì)算機(jī)系是進(jìn)行VR研究最早最著名的大學(xué)。他們主要研究分子建模、航空駕駛、外科手術(shù)仿真、建筑仿真等。
Loma Linda大學(xué)醫(yī)學(xué)中心的David Warner博士和他的研究小組成功地將計(jì)算機(jī)圖形及VR的設(shè)備用于探討與神經(jīng)疾病相關(guān)的問(wèn)題,首創(chuàng)了VR兒科治療法。
麻省理工學(xué)院(MIT)是研究人工智能、機(jī)器人和計(jì)算機(jī)圖形學(xué)及動(dòng)畫(huà)的先鋒,這些技術(shù)都是VR技術(shù)的基礎(chǔ),1985年MIT成立了媒體實(shí)驗(yàn)室,進(jìn)行虛擬環(huán)境的正規(guī)研究。
SRI研究中心建立了“視覺(jué)感知計(jì)劃”,研究現(xiàn)有VR技術(shù)的進(jìn)一步發(fā)展。1991年后,SRI進(jìn)行了利用VR技術(shù)對(duì)軍用飛機(jī)或車(chē)輛駕駛的訓(xùn)練研究,試圖通過(guò)仿真來(lái)減少飛行事故。
華盛頓大學(xué)華盛頓技術(shù)中心的人機(jī)界面技術(shù)實(shí)驗(yàn)室(HIT Lab)將VR研究引入了教育、設(shè)計(jì)、娛樂(lè)和制造領(lǐng)域。伊利諾斯州立大學(xué)研制出在車(chē)輛設(shè)計(jì)中支持遠(yuǎn)程協(xié)作的分布式VR系統(tǒng)。
喬治梅森大學(xué)研制出一套在動(dòng)態(tài)虛擬環(huán)境中的流體實(shí)時(shí)仿真系統(tǒng)。從90年代初起,美國(guó)率先將虛擬現(xiàn)實(shí)技術(shù)用于軍事領(lǐng)域,主要用于以下四個(gè)方面:一是虛擬戰(zhàn)場(chǎng)環(huán)境。二是進(jìn)行單兵模擬訓(xùn)練。三是實(shí)施諸軍兵種聯(lián)合演習(xí)。四是進(jìn)行指揮員訓(xùn)練。
歐洲
在歐洲,英國(guó)在VR開(kāi)發(fā)的某些方面,特別是在分布并行處理、輔助設(shè)備(包括觸覺(jué)反饋)設(shè)計(jì)和應(yīng)用研究方面,在歐洲來(lái)說(shuō)是領(lǐng)先的。英國(guó)Bristol公司發(fā)現(xiàn),VR應(yīng)用的交點(diǎn)應(yīng)集中在整體綜合技術(shù)上,他們?cè)谲浖陀布哪承╊I(lǐng)域處于領(lǐng)先地位。英國(guó)ARRL公司關(guān)于遠(yuǎn)地呈現(xiàn)的研究實(shí)驗(yàn),主要包括VR重構(gòu)問(wèn)題。他們的產(chǎn)品還包括建筑和科學(xué)可視化計(jì)算。
歐洲其它一些較發(fā)達(dá)的國(guó)家如:荷蘭、德國(guó)、瑞典等也積極進(jìn)行了VR的研究與應(yīng)用。
瑞典的DIVE分布式虛擬交互環(huán)境,是一個(gè)基于Unix的,不同節(jié)點(diǎn)上的多個(gè)進(jìn)程可以在同一世界中工作的異質(zhì)分布式系統(tǒng)。
荷蘭海牙TNO研究所的物理電子實(shí)驗(yàn)室(TNO-PEL)開(kāi)發(fā)的訓(xùn)練和模擬系統(tǒng),通過(guò)改進(jìn)人機(jī)界面來(lái)改善現(xiàn)有模擬系統(tǒng),以使用戶完全介入模擬環(huán)境。
德國(guó)在VR的應(yīng)用方面取得了出乎意料的成果。在改造傳統(tǒng)產(chǎn)業(yè)方面,一是用于產(chǎn)品設(shè)計(jì)、降低成本,避免新產(chǎn)品開(kāi)發(fā)的風(fēng)險(xiǎn);二是產(chǎn)品演示,吸引客戶爭(zhēng)取定單;三是用于培訓(xùn),在新生產(chǎn)設(shè)備投入使用前用虛擬工廠來(lái)提高工人的操作水平。
2008年10月27-29日在法國(guó)舉行的ACM Symposium on Virtual Reality Software and Technology大會(huì),整體上促進(jìn)了虛擬現(xiàn)實(shí)技術(shù)的深入發(fā)展。
亞洲
在亞洲,日本虛擬現(xiàn)實(shí)技術(shù)研究發(fā)展十分迅速,同時(shí)韓國(guó)、新加坡等國(guó)家也在積極開(kāi)展虛擬現(xiàn)實(shí)技術(shù)方面的研究工作。
在當(dāng)前實(shí)用虛擬現(xiàn)實(shí)技術(shù)的研究與開(kāi)發(fā)中日本是居于領(lǐng)先地位的國(guó)家之一,主要致力于建立大規(guī)模VR知識(shí)庫(kù)的研究。另外在虛擬現(xiàn)實(shí)的游戲方面的研究也做了很多工作。
東京技術(shù)學(xué)院精密和智能實(shí)驗(yàn)室研究了一個(gè)用于建立三維模型的人性化界面。
NEC公司開(kāi)發(fā)了一種虛擬現(xiàn)實(shí)系統(tǒng),它能讓操作者都使用“代用手”去處理三維CAD中的形體模型,該系統(tǒng)通過(guò)數(shù)據(jù)手套把對(duì)模型的處理與操作者手的運(yùn)動(dòng)聯(lián)系起來(lái)。
京都的先進(jìn)電子通信研究所(ATR)正在開(kāi)發(fā)一套系統(tǒng),它能用圖像處理來(lái)識(shí)別手勢(shì)和面部表情,并把它們作為系統(tǒng)輸入。
日本國(guó)際工業(yè)和商業(yè)部產(chǎn)品科學(xué)研究院開(kāi)發(fā)了一種采用X、Y記錄器的受力反饋裝置。
東京大學(xué)的高級(jí)科學(xué)研究中心將他們的研究重點(diǎn)放在遠(yuǎn)程控制方面,最近的研究項(xiàng)目是主從系統(tǒng)。該系統(tǒng)可以使用戶控制遠(yuǎn)程攝像系統(tǒng)和一個(gè)模擬人手的隨動(dòng)機(jī)械人手臂。
東京大學(xué)原島研究室開(kāi)展了3項(xiàng)研究:人類面都表情特征的提取、三維結(jié)構(gòu)的判定和三維形狀的表示、動(dòng)態(tài)圖像的提取。
東京大學(xué)廣瀨研究室重點(diǎn)研究虛擬現(xiàn)實(shí)的可視化問(wèn)題。為了克服當(dāng)前顯示和交互作用技術(shù)的局限性,他們正在開(kāi)發(fā)一種虛擬全息系統(tǒng)。
筑波大學(xué)研究一些力反饋顯示方法,開(kāi)發(fā)了九自由度的觸覺(jué)輸入器,虛擬行走原型系統(tǒng)。
富士通實(shí)驗(yàn)室有限公司正在研究虛擬生物與VR環(huán)境的相互作用。他們還在研究虛擬現(xiàn)實(shí)中的手勢(shì)識(shí)別,已經(jīng)開(kāi)發(fā)了一套神經(jīng)網(wǎng)絡(luò)姿勢(shì)識(shí)別系統(tǒng),該系統(tǒng)可以識(shí)別姿勢(shì),也可以識(shí)別表示詞的信號(hào)語(yǔ)言。
虛擬現(xiàn)實(shí)技術(shù)的幾個(gè)瓶頸問(wèn)題
(1)虛擬環(huán)境表示的準(zhǔn)確性。為使虛擬環(huán)境與客觀世界相一致,需要對(duì)其中種類繁多、構(gòu)形復(fù)雜的信息做出準(zhǔn)確、完備的描述。同時(shí),需要研究高效的建模方法,重建其演化規(guī)律以及虛擬對(duì)象之間的各種相互關(guān)系與相互作用。
(2)虛擬環(huán)境感知信息合成的真實(shí)性。抽象的信息模型并不能直接為人類所直接感知,這就需要研究虛擬環(huán)境的視覺(jué)、聽(tīng)覺(jué)、力覺(jué)和觸覺(jué)等感知信息的合成方法,重點(diǎn)解決合成信息的高保真性和實(shí)時(shí)性問(wèn)題,以提高沉浸感。
(3)人與虛擬環(huán)境交互的自然性。合成的感知信息實(shí)時(shí)地通過(guò)界面?zhèn)鬟f給用戶,用戶根據(jù)感知到的信息對(duì)虛擬環(huán)境中事件和態(tài)勢(shì)做出分析和判斷,并以自然方式實(shí)現(xiàn)與虛擬環(huán)境的交互。這就需要研究基于非精確信息的多通道人機(jī)交互模式和個(gè)性化的自然交互技術(shù)等,以提高人機(jī)交互效率。
(4)實(shí)時(shí)顯示問(wèn)題。盡管理論上講能夠建立起高度逼真的,實(shí)時(shí)漫游的VR,但至少現(xiàn)在來(lái)講還達(dá)不到這樣的水平。這種技術(shù)需要強(qiáng)有力的硬件條件的支撐,例如速度極快的圖形工作站和三維圖形加速卡,但目前即使是最快的圖形工作站也不能產(chǎn)生十分逼真,同時(shí)又是實(shí)時(shí)交互的VR。其根本原因是因?yàn)橐肓擞脩艚换?,需要?jiǎng)討B(tài)生成新的圖形時(shí),就不能達(dá)到實(shí)時(shí)要求,從而不得不降低圖形的逼真度以減少處理時(shí)間,這就是所謂的景物復(fù)雜度問(wèn)題。
(5)圖形生成。圖形生成是虛擬現(xiàn)實(shí)的重要瓶頸,虛擬現(xiàn)實(shí)最重要的特性是人可以在隨意變化的交互控制下感受到場(chǎng)景的動(dòng)態(tài)特性,換句話說(shuō),虛擬現(xiàn)實(shí)系統(tǒng)要求隨著人的活動(dòng)(位置、方向的變化)即時(shí)生成相應(yīng)的圖形畫(huà)面。
(6)智能技術(shù)(Artificial Intelligence,簡(jiǎn)稱AI)。在VR中,計(jì)算機(jī)是從人的各種動(dòng)作,語(yǔ)言等變化中獲得信息,要正確理解這些信息,需要借助于AI技術(shù)來(lái)解決,如語(yǔ)音識(shí)別、圖像識(shí)別、自然語(yǔ)言理解等,這些智能接口領(lǐng)域的研究課題是VR技術(shù)的基礎(chǔ),同時(shí)也是VR技術(shù)的難點(diǎn)。本質(zhì)上,上述6個(gè)問(wèn)題的解決使得用戶能夠身臨其境地感知虛擬環(huán)境,從而達(dá)到探索、認(rèn)識(shí)客觀事物的目的。概括地說(shuō),圍繞著虛擬現(xiàn)實(shí)展開(kāi)的研究都是圍繞著這6個(gè)基本問(wèn)題的。
虛擬現(xiàn)實(shí)技術(shù)的未來(lái)發(fā)展趨勢(shì)
VR技術(shù)的實(shí)質(zhì)是構(gòu)建一種人為的能與之進(jìn)行自由交互的“世界”,在這個(gè)“世界”中參與者可以實(shí)時(shí)地探索或移動(dòng)其中的對(duì)象。沉浸式虛擬現(xiàn)實(shí)是最理想的追求目標(biāo),實(shí)現(xiàn)的方式主要是戴上特制的頭盔顯示器、數(shù)據(jù)手套以及身體部位跟器,通過(guò)聽(tīng)覺(jué)、觸覺(jué)和視覺(jué)在虛擬場(chǎng)景中進(jìn)行體驗(yàn)。可以預(yù)測(cè)短期內(nèi)游戲玩家可以戴上頭盔身著游戲?qū)S靡路笆痔渍嬲w驗(yàn)身臨其境的“虛擬現(xiàn)實(shí)”游戲空間,它的出現(xiàn)將淘汰現(xiàn)有的各種大型游戲,推動(dòng)科技的發(fā)展??v觀VR的發(fā)展歷程,未來(lái)VR技術(shù)的研究仍將延續(xù)“低成本、高性能”原則,從軟件、硬件兩方面展開(kāi),發(fā)展方向主要?dú)w納如下:
(1)動(dòng)態(tài)環(huán)境建模技術(shù)。虛擬環(huán)境的建立是VR技術(shù)的核心內(nèi)容,動(dòng)態(tài)環(huán)境建模技術(shù)的目的是獲取實(shí)際環(huán)境的三維數(shù)據(jù),并根據(jù)需要建立相應(yīng)的虛擬環(huán)境模型。
(2)實(shí)時(shí)三維圖形生成和顯示技術(shù)。三維圖形的生成技術(shù)已比較成熟,而關(guān)鍵是怎樣“實(shí)時(shí)生成”,在不降低圖形的質(zhì)量和復(fù)雜程度的基礎(chǔ)上,如何提高刷新頻率將是今后重要的研究?jī)?nèi)容。此外,VR還依賴于立體顯示和傳感器技術(shù)的發(fā)展,現(xiàn)有的虛擬設(shè)備還不能滿足系統(tǒng)的需要,有必要開(kāi)發(fā)新的三維圖形生成和顯示技術(shù)。
(3)新型交互設(shè)備的研制。虛擬現(xiàn)實(shí)技術(shù)實(shí)現(xiàn)人能夠自由與虛擬世界對(duì)象進(jìn)行交互,猶如身臨其境,借助的輸入輸出設(shè)備主要有頭盔顯示器、數(shù)據(jù)手套、數(shù)據(jù)衣服、三維位置傳感器和三維聲音產(chǎn)生器等。因此,新型、便宜、魯棒性優(yōu)良的數(shù)據(jù)手套和數(shù)據(jù)服將成為未來(lái)研究的重要方向。
(4)智能化語(yǔ)音虛擬現(xiàn)實(shí)建模。虛擬現(xiàn)實(shí)建模是一個(gè)比較繁復(fù)的過(guò)程,需要大量的時(shí)間和精力。如果將VR技術(shù)與智能技術(shù)、語(yǔ)音識(shí)別技術(shù)結(jié)合起來(lái),可以很好地解決這個(gè)問(wèn)題。我們對(duì)模型的屬性、方法和一般特點(diǎn)的描述通過(guò)語(yǔ)音識(shí)別技術(shù)轉(zhuǎn)化成建模所需的數(shù)據(jù),然后利用計(jì)算機(jī)的圖形處理技術(shù)和人工智能技術(shù)進(jìn)行設(shè)計(jì)、導(dǎo)航以及評(píng)價(jià),將模型用對(duì)象表示出來(lái),并且將各種基本模型靜態(tài)或動(dòng)態(tài)地連接起來(lái),最終形成系統(tǒng)模型。人工智能一直是業(yè)界的難題,人工智能在各個(gè)領(lǐng)域十分有用,在虛擬世界也大有用武之地,良好的人工智能系統(tǒng)對(duì)減少乏味的人工勞動(dòng)具有非常積極的作用。
(5)分布式虛擬現(xiàn)實(shí)技術(shù)的展望。分布式虛擬現(xiàn)實(shí)是今后虛擬現(xiàn)實(shí)技術(shù)發(fā)展的重要方向。隨著眾多DVE開(kāi)發(fā)工具及其系統(tǒng)的出現(xiàn),DVE本身的應(yīng)用也滲透到各行各業(yè),包括醫(yī)療、工程、訓(xùn)練與教學(xué)以及協(xié)同設(shè)計(jì)。仿真訓(xùn)練和教學(xué)訓(xùn)練是DVE的又一個(gè)重要的應(yīng)用領(lǐng)域,包括虛擬戰(zhàn)場(chǎng)、輔助教學(xué)等。另外,研究人員還用DVE系統(tǒng)來(lái)支持協(xié)同設(shè)計(jì)工作。近年來(lái),隨著Internet應(yīng)用的普及,一些面向Internet的DVE應(yīng)用使得位于世界各地多個(gè)用戶可以進(jìn)行協(xié)同工作。將分散的虛擬現(xiàn)實(shí)系統(tǒng)或仿真器通過(guò)網(wǎng)絡(luò)聯(lián)結(jié)起來(lái),采用協(xié)調(diào)一致的結(jié)構(gòu)、標(biāo)準(zhǔn)、協(xié)議和數(shù)據(jù)庫(kù),形成一個(gè)在時(shí)間和空間上互相耦合的虛擬合成環(huán)境,參與者可自由地進(jìn)行交互作用。特別是在航空航天中應(yīng)用價(jià)值極為明顯,因?yàn)閲?guó)際空間站的參與國(guó)分布在世界不同區(qū)域,分布式VR訓(xùn)練環(huán)境不需要在各國(guó)重建仿真系統(tǒng),這樣不僅減少了研制費(fèi)和設(shè)備費(fèi)用,減少了人員出差的費(fèi)用以及異地生活的不適。
近幾十年來(lái),通信技術(shù)、計(jì)算機(jī)的同步發(fā)展和相互促進(jìn)成為世界上信息技術(shù)與產(chǎn)業(yè)飛速發(fā)展的主要特征。特別是網(wǎng)絡(luò)技術(shù)的迅速崛起與普及,使得信息應(yīng)用系統(tǒng)在深度和廣度上發(fā)生了質(zhì)的變化。虛擬現(xiàn)實(shí)主要依靠人機(jī)交互的發(fā)展,目前技術(shù)上已初步解決人腦數(shù)據(jù)的讀取,在不久的將來(lái),開(kāi)發(fā)者將完全解決通過(guò)神經(jīng)系統(tǒng)自動(dòng)進(jìn)入虛擬現(xiàn)實(shí)環(huán)境的“人腦——計(jì)算機(jī)接口”問(wèn)題,通過(guò)對(duì)人腦提取和反饋神經(jīng)信號(hào)使人完全融入“虛擬現(xiàn)實(shí)”世界。當(dāng)然從技術(shù)角度,我們應(yīng)該對(duì)基于多用戶虛擬環(huán)境進(jìn)行必要的技術(shù)研究。因?yàn)閷?lái)的VR技術(shù)將越來(lái)越重視人在其中的交互。虛擬現(xiàn)實(shí)充滿活力、具有無(wú)限的應(yīng)用前景的高新技術(shù)領(lǐng)域,但仍然存在許多有待解決與突破的問(wèn)題。為了提高系統(tǒng)的交互性、逼真性和沉侵性,在新型傳感和感知肌理、幾何與建模新方法、高性能計(jì)算,特別是高速圖形圖像處理,以及人工智能、心理學(xué)、社會(huì)學(xué)等方面都有許多具有挑戰(zhàn)性的問(wèn)題有待我們進(jìn)一步解決。
虛擬現(xiàn)實(shí)技術(shù)是本世紀(jì)發(fā)展的重要技術(shù)之一,作為一門(mén)科學(xué)和藝術(shù)將會(huì)不斷走向成熟,在各行各業(yè)中將得到廣泛應(yīng)用,并發(fā)揮神奇的作用,二十一世紀(jì)將是虛擬現(xiàn)實(shí)技術(shù)的時(shí)代。