一方面，PDA的市場(chǎng)規(guī)模并不大，另一方面由于觸摸屏的精度有限，大多數(shù)PDA用戶還是更喜歡直接用實(shí)體鍵盤(pán)操作。2004年，任天堂的掌上游戲機(jī)NDS在全球熱賣(mài)，其最大的賣(mài)點(diǎn)就是NDS擁有兩塊屏幕并且其中一塊是觸摸屏，于是觸摸屏隨著NDS的流行而進(jìn)入了更多人的視野。

 

不過(guò)，直到那時(shí)候，觸摸屏的使用還是局限于特定的人群。 真正讓觸摸屏走進(jìn)千家萬(wàn)戶還是要?dú)w功于蘋(píng)果的喬幫主。2007年，初代iPhone發(fā)售，它重新定義了智能手機(jī)。在iPhone發(fā)售之前，智能手機(jī)的定義是“用戶能夠自主安裝軟件的手機(jī)”，而在iPhone發(fā)售之后，智能手機(jī)的定義變成了“屏幕可以滑的手機(jī)”，觸摸屏對(duì)于iPhone來(lái)說(shuō)是標(biāo)志性不可或缺的模塊。實(shí)際上，在手機(jī)上搭載觸摸屏蘋(píng)果并非首創(chuàng)，但是蘋(píng)果iPhone使用觸摸屏完全更新了手機(jī)的操作方式，在iPhone中引入了拖曳，縮放等手勢(shì)操作，極大地改善了用戶的操作體驗(yàn)。隨著iPhone銷量節(jié)節(jié)攀升，三星、HTC等公司也不甘示弱，紛紛推出了搭載觸摸屏且操作方式類似iPhone的智能手機(jī)。一夜之間，地鐵上再也聽(tīng)不到手機(jī)的按鍵聲，因?yàn)樗腥硕奸_(kāi)始用觸摸屏“滑”手機(jī)。

 

 

觸摸屏首次出現(xiàn)在PLATO IV計(jì)算機(jī)中(左上，此后陸續(xù)出現(xiàn)在快譯通(右上)，NDS(左下)等設(shè)備中，最后蘋(píng)果推出的iPhone(右下)讓觸摸屏真正走進(jìn)千家萬(wàn)戶

 

在iPhone推出之后，觸摸屏并沒(méi)有停止更新。

 

蘋(píng)果iPhone使用的電容屏，極大地提升了操作手感，幾乎使滑手機(jī)屏幕變成了一種享受。另一方面，為了使手機(jī)變得更輕更薄，屏幕制造技術(shù)也經(jīng)歷了out-of-cell到on-cell直至最薄的in-cell。相對(duì)于十年前的觸摸屏，今天的觸摸屏更薄，操作手感更好。

 

 

然而，人們對(duì)觸摸屏交互方法的探索并沒(méi)有到此為止。這里不妨再梳理一下手機(jī)與用戶交互方式的進(jìn)化過(guò)程。

 

最初，用戶只能通過(guò)按手機(jī)上若干位置固定的按鍵來(lái)操作手機(jī)，這種方式可以稱作一維的操作方式。在蘋(píng)果引入觸摸屏以及手勢(shì)操作后，用戶可以在手機(jī)觸摸屏的二維空間里自由動(dòng)作，因此可以稱作二維的操作方式。如果我們的觸摸屏不再進(jìn)化，那么用戶與手機(jī)的交互維度將會(huì)被限制在二維，就像《三體》中被二向箔擊中的文明一樣。

 

很自然地，我們會(huì)想到：既然人類生活在三維的空間里，為什么用戶與設(shè)備的交互只能是在二維空間里呢？有沒(méi)有可能實(shí)現(xiàn)三維的交互方法呢？

 

要實(shí)現(xiàn)三維交互，就必須能夠?qū)崟r(shí)捕捉到用戶的手在三維空間中的坐標(biāo)，并且根據(jù)用戶手的三維坐標(biāo)（及其變化）做出相應(yīng)回應(yīng)。

 

幸運(yùn)的是，科學(xué)家和工程師們已經(jīng)開(kāi)始開(kāi)發(fā)三維觸控來(lái)實(shí)現(xiàn)超越二維的人機(jī)交互。在具體地分析技術(shù)之前，我們不妨先來(lái)展望一下三維人機(jī)交互方法都能帶來(lái)哪些革命性的應(yīng)用？ 

 

 

說(shuō)到三維觸控，大家首先想到的就是在游戲中的應(yīng)用。確實(shí)，游戲是所有應(yīng)用中對(duì)于交互方式要求最高的。使用與游戲相配合的專用交互設(shè)備，玩家才能完全體會(huì)到游戲的魅力（不信你用鍵盤(pán)玩賽車(chē)游戲試試），這也是為什么一些游戲需要開(kāi)發(fā)專用外設(shè)（如早年《熱舞革命》的跳舞毯，《吉他英雄》的吉他，各類賽車(chē)游戲的方向盤(pán)等等）。

 

當(dāng)觸摸屏在手機(jī)上剛普及時(shí)，《憤怒的小鳥(niǎo)》，《水果忍者》等一批完美利用觸摸屏交互特性的游戲也獲得了大家的青睞。當(dāng)觸摸屏可以捕捉到人手在三維中的動(dòng)作時(shí)，在游戲中可以實(shí)現(xiàn)許多新的玩法。一個(gè)非常有潛力的方向就是和VR技術(shù)結(jié)合，例如類似《水果忍者》的游戲可以在三維空間內(nèi)通過(guò)玩家的手勢(shì)進(jìn)行，《街頭霸王》等格斗游戲的出招可以由玩家的真實(shí)手勢(shì)觸發(fā)，從而使玩家的代入感大大增加。

 

3D觸屏結(jié)合VR技術(shù)可以極大地增加游戲可玩性 

 

 

三維觸摸屏很有潛力成為AR應(yīng)用中人機(jī)交互的基礎(chǔ)技術(shù)。

 

在AR技術(shù)中，用戶佩戴的專用眼鏡作為顯示屏，通過(guò)計(jì)算機(jī)視覺(jué)技術(shù)將AR的圖像界面與現(xiàn)實(shí)世界有機(jī)地結(jié)合在一起并投射到用戶眼睛的視網(wǎng)膜上。當(dāng)用戶的手做出動(dòng)作時(shí)，AR設(shè)備必須能準(zhǔn)確地捕捉到手的實(shí)時(shí)位置并根據(jù)用戶手的動(dòng)作做出相應(yīng)反應(yīng)。三維觸摸屏正是能夠捕捉到手的精確位置，從而成為AR人機(jī)交互的基礎(chǔ)技術(shù)。在AR技術(shù)普及后，不僅僅手機(jī)、電腦會(huì)用到三維觸摸屏，甚至日常家具（如桌子，櫥柜）的表面都可能需要支持三維觸摸技術(shù)，從而讓用戶隨時(shí)隨地能使用AR。

 

增強(qiáng)現(xiàn)實(shí)將計(jì)算機(jī)圖像與現(xiàn)實(shí)結(jié)合在一起（左），AR與用戶交互方式需要能精確地捕捉用戶手的三維位置（右）

 

 

目前三維觸摸屏技術(shù)尚處于探索階段?，F(xiàn)在最有希望商用的三維觸摸屏技術(shù)有兩種，一種基于毫米波雷達(dá)，另一種基于電容感應(yīng)。 

 

基于毫米波雷達(dá)技術(shù)的三維觸摸技術(shù)以Google的Project Soli為代表。今年五月份，Google正式發(fā)布了代號(hào)為Project Soli的三維觸控模組。

 

那么，Project Soli的毫米波雷達(dá)是如何實(shí)現(xiàn)三維觸控的呢？首先我們要清楚雷達(dá)的原理。

 

大家一定都看到過(guò)探照燈：在漆黑的天空中，探照燈的光束方向上的物體位置可以被看得一清二楚。探照燈通過(guò)不停地旋轉(zhuǎn)改變光束照射方向，于是整個(gè)天空中所有方向上物體的位置就可以被一一探知。雷達(dá)也是一樣，不過(guò)雷達(dá)發(fā)射的不是肉眼可以看到的光束，而是電磁波波束，并通過(guò)檢測(cè)電路來(lái)探知波束方向上物體的位置。很顯然，雷達(dá)也可以用在三維觸控上：手就是需要檢測(cè)的物體，通過(guò)雷達(dá)我們可以實(shí)時(shí)監(jiān)控手在空間中的位置并讓設(shè)備做出相應(yīng)反應(yīng)從而實(shí)現(xiàn)三維的人機(jī)交互，這也是Project Soli的原理。 

 

探照燈通過(guò)改變光束方向來(lái)探測(cè)目標(biāo)（左上），雷達(dá)通過(guò)改變波束方向來(lái)掃描目標(biāo)（右上），Project Soli利用和雷達(dá)原理來(lái)探測(cè)手的位置從而實(shí)現(xiàn)三維觸控（下） 

 

 

它與電視里出現(xiàn)的那種巨大的雷達(dá)有什么區(qū)別呢？原來(lái)，雷達(dá)的分辨率和它發(fā)射電磁波的波長(zhǎng)有關(guān)，發(fā)射的電磁波波長(zhǎng)越短則分辨率越好，也即對(duì)物體探測(cè)位置越精確。但是，電磁波波長(zhǎng)越短則在空氣中的衰減會(huì)越大，因此如果物體距離雷達(dá)很遠(yuǎn)就會(huì)檢測(cè)不到。

 

因此物體探測(cè)精度和探測(cè)距離是一對(duì)矛盾。

 

傳統(tǒng)軍用和警用雷達(dá)使用的是微波波段，因?yàn)閭鹘y(tǒng)雷達(dá)需要檢測(cè)的物體通常尺寸很大，微波波段能做到大約10cm級(jí)別的分辨精度已經(jīng)很夠用了，一方面?zhèn)鹘y(tǒng)雷達(dá)需要有足夠的探測(cè)距離才能滿足使用需求。然而，10cm級(jí)別的分辨精度對(duì)于三維觸控來(lái)說(shuō)完全不夠用。

 

另一方面，三維觸控所需要檢測(cè)的距離很短，通常手距離觸摸屏的距離不會(huì)超過(guò)20cm。

 

最后，三維觸控模組的體積必須足夠小。

 

因此，Project Soli使用了波長(zhǎng)為毫米數(shù)量級(jí)的毫米波雷達(dá)，理論上可以實(shí)現(xiàn)毫米級(jí)別的分辨精度。該雷達(dá)可以集成到硬幣大小的芯片中，從而可以安裝在各類設(shè)備上。 

 

下圖是Project Soli使用的毫米波雷達(dá)傳感芯片。

 

芯片大小約為8mm x 10mm，上面白色的小點(diǎn)應(yīng)當(dāng)是用來(lái)把芯片固定到主板上的焊錫球（bump）。芯片上還有天線陣列（綠色框內(nèi)）用來(lái)實(shí)現(xiàn)波束成型。根據(jù)天線的大小我們可以估計(jì)出Project Soli使用的毫米波雷達(dá)波長(zhǎng)大約在2mm-5mm之間。 

 

 

毫米波雷達(dá)用來(lái)實(shí)現(xiàn)三維觸控可以達(dá)到很高的精度。然而，它的劣勢(shì)在于功耗太大。目前即使最領(lǐng)先的毫米波雷達(dá)芯片也至少需要100mW以上的功耗，因此用在移動(dòng)設(shè)備上會(huì)導(dǎo)致電池很快就用完了。這樣一來(lái)，毫米波雷達(dá)觸控比較適合使用在電源不是問(wèn)題的設(shè)備上，例如大型游戲機(jī)或者電視機(jī)上的三維觸控。 

 

另一種非常有前景的三維觸控技術(shù)是電容感應(yīng)技術(shù)。毫米波雷達(dá)技術(shù)利用的是動(dòng)態(tài)電磁波，而電容感應(yīng)技術(shù)利用的是靜電場(chǎng)。電容感應(yīng)型三維觸控技術(shù)是目前電容觸摸屏的增強(qiáng)版：電容觸摸屏可以感應(yīng)到與屏幕接觸的手的位置，而電容感應(yīng)式三維觸控技術(shù)則增強(qiáng)了感應(yīng)范圍，在手尚未接觸到屏幕時(shí)就能感應(yīng)到手在空間中的三維位置，從而實(shí)現(xiàn)三維觸控。

 

為了理解電容感應(yīng)式三維觸控的原理，我們不妨想象有許多熱傳感器組成的陣列，而傳感器陣列上方有一個(gè)火苗（熱源）。根據(jù)傳感器的相對(duì)溫度分布（即哪里溫度比較高，哪里溫度比較低）我們可以知道火苗在哪一個(gè)傳感器上方（即火苗的二維位置），根據(jù)傳感器的絕對(duì)溫度（即傳感器探測(cè)到的絕對(duì)溫度有多高）我們可以知道火苗離傳感器有多遠(yuǎn)（即火苗在空間中第三維的位置）。結(jié)合這兩條信息我們可以得到火苗在空間中的三維位置。 

 

熱傳感器陣列可以通過(guò)相對(duì)溫度分布和絕對(duì)溫度來(lái)判斷火苗在三維空間中的位置 

 

電容傳感式三維觸控的原理也是這樣，只不過(guò)這里探測(cè)的不是火苗帶來(lái)的溫度改變而是手指帶來(lái)的靜電場(chǎng)改變。通過(guò)探測(cè)哪一個(gè)電容傳感器探測(cè)到的靜電場(chǎng)改變最大我們可以感應(yīng)到手指的二維位置，而通過(guò)電容傳感器探測(cè)到靜電場(chǎng)改變的絕對(duì)強(qiáng)度我們可以感應(yīng)到手指的第三維坐標(biāo)，從而實(shí)現(xiàn)三維觸控。 

 

電容傳感式三維觸控的優(yōu)勢(shì)在于傳感器的功耗可以遠(yuǎn)遠(yuǎn)小于毫米波雷達(dá)（大約僅僅是毫米波雷達(dá)的十分之一甚至更小），因此可以安裝在對(duì)功耗比較敏感的移動(dòng)設(shè)備上。但是電容傳感也有自己的問(wèn)題需要解決，就是傳感器之間的互相干擾。我們同樣拿熱傳感器感應(yīng)火苗位置來(lái)作類比。現(xiàn)在我們假設(shè)除了火苗會(huì)發(fā)熱以外，熱傳感器自己也會(huì)發(fā)熱。這樣一來(lái)，如果火苗離熱傳感器距離較遠(yuǎn)，那么它帶來(lái)的溫度變化相對(duì)于熱傳感器自己的發(fā)熱可能微不足道，從而熱傳感器需要相當(dāng)高的探測(cè)精度才能根據(jù)溫度變化檢測(cè)到火苗的位置。

 

電容傳感式三維觸控也是如此：電容傳感器之間的電場(chǎng)會(huì)互相耦合形成很大的電容，因此手指造成的靜電場(chǎng)變化需要精度非常高的探測(cè)器才能檢測(cè)到。好在隨著電路技術(shù)的發(fā)展，即使微小的變化可以由高精度模擬放大器檢測(cè)到，因此電容傳感式三維觸控在未來(lái)的前景非常光明。

 

目前在電容傳感式三維觸控已經(jīng)出現(xiàn)在微軟的pre-touch screen demo中，該demo可以實(shí)現(xiàn)離屏幕較近距離（1-2cm）的三維觸控。

 

另一方面，不少頂尖高校的實(shí)驗(yàn)室也展示了基于電容傳感原理的三維觸控模塊。

 

例如，普林斯頓大學(xué)由Naveen Verma教授領(lǐng)銜的團(tuán)隊(duì)成功地展示了基于薄膜電子的三維觸控(目前成立了SpaceTouch公司)，有機(jī)會(huì)可以用在未來(lái)可彎曲屏幕上。

 

此外，UCLA由Frank Chang教授和Li Du博士帶領(lǐng)的Airtouch團(tuán)隊(duì)使用傳統(tǒng)低成本CMOS工藝制作的芯片配合普通手機(jī)觸摸屏已經(jīng)可以實(shí)現(xiàn)距離屏幕10cm范圍內(nèi)的三維觸控。該芯片最初于2015年在國(guó)際固態(tài)半導(dǎo)體會(huì)議上發(fā)表（ISSCC，全球芯片領(lǐng)域最高規(guī)格的會(huì)議，號(hào)稱芯片界的奧林匹克盛會(huì)），之后團(tuán)隊(duì)又乘熱打鐵將深度學(xué)習(xí)與三維觸控芯片結(jié)合在一起用于高精度三維手勢(shì)識(shí)別，并應(yīng)邀在2016年的自動(dòng)設(shè)計(jì)會(huì)議（DAC，全球電子設(shè)計(jì)領(lǐng)域最高規(guī)格的會(huì)議之一）發(fā)表了最新成果。

Airtouch芯片功耗僅2 mW（遠(yuǎn)遠(yuǎn)小于Google的毫米波雷達(dá)觸控方案），且與普通觸摸屏兼容，將來(lái)可以廣泛地應(yīng)用于手機(jī)等移動(dòng)設(shè)備的三維觸控。 

 

 

 

觸控技術(shù)經(jīng)歷數(shù)十年的發(fā)展，到今天已經(jīng)能夠超越傳統(tǒng)二維觸控而進(jìn)入三維觸控領(lǐng)域了。三維觸控會(huì)帶來(lái)人機(jī)交互方式的革新，可以用于游戲、AR/VR等等應(yīng)用中。目前較有希望商用的三維觸控方案包括毫米波雷達(dá)（Google Project Soli為代表）和電容感應(yīng)（UCLA Airtouch為代表）。我們可望在不久的將來(lái)就看到三維觸控走入千家萬(wàn)戶，成為人機(jī)交互的基本方式。    

 

本文來(lái)源于雷鋒網(wǎng)。