毫無疑問，新款 iPad Pro 仍然是閱讀、游戲、觀看視頻及繪畫等領(lǐng)域的最佳平板。但隨著 M4 芯片、妙控鍵盤及 Apple Pencil Pro 的加入，iPad 比任何時(shí)候都更接近一臺(tái)筆記本電腦。

那么，是否 iPad 會(huì)在未來漸漸成為一款帶有觸控功能的 MacBook？

答案可能是否定的。

在最新的 iOS 18 中，蘋果用這項(xiàng)「輔助功能」，為我們預(yù)言了一種關(guān)于 iPad 交互的新未來。

眼動(dòng)追蹤：從 Vision Pro 到 iPad

近期，蘋果公司公布了其 iPadOS 18 操作系統(tǒng)中新加入的「眼球追蹤」功能，這項(xiàng)看似不起眼的功能卻被放在了介紹頁面之首。

說起眼動(dòng)追蹤，可能很多人第一個(gè)想到的還是此前蘋果發(fā)布的 Vision Pro，這款設(shè)備最突出的特征之一就是采用了眼動(dòng)追蹤的方式代替?zhèn)鹘y(tǒng)手柄。

用戶可以通過眼球的移動(dòng)，來控制應(yīng)用程序，進(jìn)行菜單導(dǎo)航，甚至是玩游戲，無需依賴觸控或外部設(shè)備，大大提升了使用的便捷性，展示出了這種交互方式的魅力。

這主要得益于 Vision Pro 分布在內(nèi)的數(shù)個(gè)紅外攝像頭及 M2、R1 雙芯片的設(shè)計(jì)，使其能夠利用圖像處理技術(shù)提取與眼動(dòng)相關(guān)的特征，并通過建立模型的方式實(shí)現(xiàn)眼動(dòng)追蹤。

Vision Pro 攝像頭分布，圖片來自蘋果

而不久前發(fā)布的新款 iPad Pro 在形態(tài)上的一個(gè)重要改變，就是把攝像頭從窄邊挪到了長邊上。

攝像頭模組中的點(diǎn)陣投影儀、泛光感應(yīng)元件、前置攝像頭、紅外攝像頭搭配全新 M4 芯片，如今看來或許就是在為后續(xù)計(jì)劃鋪路。

此次的更新描述中也顯示，蘋果的眼球追蹤功能完全由設(shè)備上的機(jī)器學(xué)習(xí)實(shí)現(xiàn)，這意味著它不需要任何額外的硬件，并且可以立即在所有運(yùn)行 iPadOS 18 的設(shè)備上使用，印證了這一判斷。

圖片來自嗶哩嗶哩博主：微機(jī)分 WekiHome

目前業(yè)界公認(rèn)的眼動(dòng)追蹤方法，有基于外觀的眼動(dòng)追蹤方法與基于二維映射的眼動(dòng)追蹤方法兩種。

前者主要以人臉圖像或眼部圖像為輸入進(jìn)行特征提取，然后通過機(jī)器學(xué)習(xí)將這些特征和視線方向關(guān)聯(lián)起來。這種方法設(shè)備簡單，只需要攝像頭就能完成，但它需要大量的訓(xùn)練數(shù)據(jù)來建立準(zhǔn)確的模型，從而正確地解讀你的視線方向。

而另一種基于二位映射的眼動(dòng)追蹤方法，則主要通過分析眼球和角膜反射的相對(duì)位置變化來確定眼球運(yùn)動(dòng)。

由于眼球運(yùn)動(dòng)時(shí)角膜反射光斑位置不會(huì)變化，因此就可以作為瞳孔運(yùn)動(dòng)的參照點(diǎn)，根據(jù)兩者相對(duì)位置的變化，計(jì)算實(shí)現(xiàn)方向。

校準(zhǔn)時(shí)你需要注視屏幕上的特定點(diǎn)，系統(tǒng)會(huì)記錄這些點(diǎn)和你的眼睛數(shù)據(jù)，建立一個(gè)映射模型。之后，當(dāng)你看向其他地方時(shí)，系統(tǒng)就能通過這個(gè)模型準(zhǔn)確地知道你在看哪里。

瞳孔-角膜反射向量法示意圖，圖片來自網(wǎng)絡(luò)

其實(shí)如今看來，眼動(dòng)追蹤的原理并不十分復(fù)雜，以現(xiàn)有的硬件條件足以滿足需求。但實(shí)際上，想要實(shí)現(xiàn)這一功能，蘋果其實(shí)經(jīng)歷了很長的歷程。

布局多年的最后一步

早在多年以前，蘋果就開始布局眼動(dòng)追蹤領(lǐng)域，網(wǎng)絡(luò)相關(guān)人才及技術(shù)。

2013 年，蘋果收購了來自以色列的 PrimeSense，該公司曾為微軟提供 Xbox 的 Kinect 的動(dòng)作控制技術(shù)提供支持。

PrimeSense 創(chuàng)始人合影

這家公司曾推出過一款非常小巧，可嵌入手機(jī)、平板等設(shè)備的 3D 攝像頭——Capri。這是 PimeSense 在 2013 年 Google I/O 大會(huì)上展示的內(nèi)容：

Capri 被安裝在谷歌 Nexus 平板電腦上

Capri 對(duì)真實(shí)場景進(jìn)行 3D 建模，并獲得場景內(nèi)物體的長、寬、高等具體數(shù)據(jù)

通過 AR 技術(shù)模擬出椅子在真實(shí)空間中的碰撞信息

將 3D 圖像傳輸?shù)?3D 打印機(jī)完成 3D 打印

一同推出的還有在當(dāng)時(shí)號(hào)稱 “全球最小的 3D 感知芯片”，由于不錯(cuò)的性能和小巧的體積，使其能夠部署到手機(jī)、電視等諸多電子設(shè)備上。

2017 年，蘋果又收購了一家來自德國的老牌眼球追蹤技術(shù)公司 SensoMotoric Instruments，它曾一度是全球最大的眼動(dòng)設(shè)備的生產(chǎn)商。

憑借「鈔能力」帶來的一系列關(guān)于眼動(dòng)追蹤的硬件及軟件，蘋果在同年首次將眼動(dòng)追蹤功能用于其 Face ID 中，來提升解鎖的安全性。

此后數(shù)年間蘋果不斷有眼動(dòng)追蹤相關(guān)的專利申請(qǐng)流出，蘋果也在不斷探索，這不僅促成了 Vision Pro 基于眼動(dòng)追蹤的交互方式，也催生出了其他蘋果設(shè)備上關(guān)于的眼動(dòng)追蹤的無限可能。

早期關(guān)于眼動(dòng)追蹤及「注意力檢測」專利內(nèi)容

眼動(dòng)追蹤的未來暢想

相比傳統(tǒng)交互方式（鼠標(biāo)、鍵盤、觸控等），眼動(dòng)追蹤存在這樣幾個(gè)優(yōu)勢(shì)：

• 自然直觀：眼動(dòng)追蹤利用人眼的自然運(yùn)動(dòng)進(jìn)行交互，不需要額外的操作設(shè)備。用戶只需注視目標(biāo)即可完成相應(yīng)的操作，降低了學(xué)習(xí)成本，交互更符合直覺。
• 提升效率：眼部肌肉是人體反應(yīng)速度最快的肌肉之一，通過眼動(dòng)追蹤，用戶可以更快地選擇和控制界面元素，還可以減少手部動(dòng)作，提高操作速度和效率。
• 與其他輸入方式組合：眼動(dòng)追蹤可以與其他輸入方式結(jié)合使用，如語音控制和手勢(shì)操作，提供更豐富和靈活的交互方式。
• 多任務(wù)處理：用戶可以在執(zhí)行其他任務(wù)（例如駕駛或行走時(shí)）或同時(shí)處理多項(xiàng)任務(wù)時(shí)，僅僅使用眼動(dòng)追蹤控制而不需要多余的動(dòng)作，提高操作效率。
• 數(shù)據(jù)分析與個(gè)性化：眼動(dòng)追蹤可以提供關(guān)于用戶注意力和興趣的寶貴數(shù)據(jù)。這些數(shù)據(jù)可以用于優(yōu)化界面設(shè)計(jì)、廣告投放和用戶體驗(yàn)個(gè)性化，使系統(tǒng)更加智能和用戶友好。
• 增強(qiáng)現(xiàn)實(shí)（AR）：在 AR 環(huán)境中，眼動(dòng)追蹤可以提供更加沉浸式和自然的交互體驗(yàn)。用戶可以通過注視來選擇和操作虛擬對(duì)象，提升使用體驗(yàn)。

也正是得益于這些優(yōu)勢(shì)，使其在很多具體場景中展現(xiàn)出了巨大潛力。

例如在很多游戲中，除了帶來更加便捷的操作以外，眼動(dòng)追蹤也會(huì)給玩家?guī)砀玫某两校屚婕抑恍柰ㄟ^實(shí)現(xiàn)就能控制游戲內(nèi)角色進(jìn)行互動(dòng)。

使用眼動(dòng)追蹤控制游戲，圖片來自網(wǎng)絡(luò)

此外，實(shí)現(xiàn)眼動(dòng)追蹤功能后，開發(fā)者還能根據(jù)眼動(dòng)數(shù)據(jù)調(diào)整場景光照、視角變化等諸多參數(shù)，適配用戶個(gè)人視覺習(xí)慣，使游戲畫面更加逼真。

游戲中的社交，也可以通過虛擬人物實(shí)現(xiàn)隨玩家面部實(shí)時(shí)變化的各種動(dòng)作狀態(tài)，例如實(shí)現(xiàn)方向、眨眼、瞇眼等，豐富人物的情緒表達(dá)，從各個(gè)方面提升游戲的沉浸性。

除了游戲以外，這項(xiàng)技術(shù)給日常生活帶來的變化或許才是更值得期待的。

Vision Pro 在發(fā)布后，一個(gè)重要應(yīng)用場景就是教育、醫(yī)療等場景，毫無疑問這在實(shí)現(xiàn)眼動(dòng)追蹤的 iPad 上同樣適用。

諸如飛行員模擬訓(xùn)練、手術(shù)模擬等職業(yè)訓(xùn)練領(lǐng)域，通過跟蹤學(xué)員的眼球運(yùn)動(dòng)來評(píng)估決策速度和準(zhǔn)確性。

眼動(dòng)追蹤可為教師提供關(guān)于學(xué)生學(xué)習(xí)過程中的注意力集中點(diǎn)和理解程度的實(shí)時(shí)反饋，有助于個(gè)性化教學(xué)策略的指定和改進(jìn)課程內(nèi)容。

安裝在飛行駕駛模擬教學(xué)設(shè)備上的眼動(dòng)追蹤設(shè)備

還有一些場景非常適合眼動(dòng)追蹤這種交互方式，例如家居環(huán)境就是其中之一。通過眼動(dòng)追蹤，使 iPad 成為智能家居中控臺(tái)，實(shí)現(xiàn)對(duì)家居的控制；或者在手上有其他事情，或手很臟的時(shí)候提供更好的交互體驗(yàn)等。

雖然眼動(dòng)追蹤應(yīng)用潛力非常巨大，但也有部分業(yè)內(nèi)人士對(duì)該技術(shù)的安全性提出了質(zhì)疑。

數(shù)據(jù)表明，一個(gè)人的眼部數(shù)據(jù)會(huì)暗含用戶的年齡、性別、種族、情緒狀態(tài)、性格特征等等多種信息。

加州大學(xué)洛杉磯分校技術(shù)、法律和政策研究所的創(chuàng)始人和教職聯(lián)席主任 John Villasenor 表示：

一旦眼動(dòng)追蹤技術(shù)成熟，它將收集更多的信息：我們?cè)诰W(wǎng)上閱讀的內(nèi)容，甚至我們的閱讀過程。比如，我們是否看到了網(wǎng)頁廣告，想了一會(huì)，最后沒去點(diǎn)擊？我們?cè)陂喿x整個(gè)網(wǎng)頁的時(shí)候，眼球是怎么移動(dòng)的？我們更喜歡或者避開哪些字，詞語，或者主題？在未來，展示到我們眼前的廣告，是否將不僅僅只是取決于我們買過什么東西，還將取決于我們眼球的運(yùn)動(dòng)狀態(tài)？