Meta元宇宙中專利系列介紹（三）： 人類 - 專利

Meta元宇宙中專利系列介紹（三）： 人類瞳孔轉向搭配HMD/NED整合AR/VR專利

https://bit.ly/3unFb6L

從過去十年以來，AR（擴增實境）頭戴式顯示器(HMD: head-mounted display)之應用愈
來愈多，已漸成為現代生活的重要設備，由於小型化顯示器、相機和感應器的進步，在顯
示虛擬影像的同時保持透視能力，可將AR頭戴式顯示器、瞳孔追蹤器(pupil trackers)、
空間光調製器(spatial-light-modulators)、電腦產生之全像(holography)、與HMD整合
成自適應性之光學(adaptive optics)，為視覺模擬提供了強大的技術，現已被廣泛用於
從遊戲、駕駛輔助到醫療培訓等多種用途，因此AR大幅促進了使用者、數位內容和現實/
虛擬世界之間的互動。

而社群網絡巨擘Meta當然也體認及此，並將其延伸至元宇宙中。而元宇宙本質上就是虛擬
世界，因此Meta擬於其中製作逼真的頭像分身，收集各項人體生物特徵資料，並計劃透過
客製化的技術以追蹤使用者臉部的一舉一動來實現其目標，其中一種方式就是根據眼睛注
視的方向和瞳孔活動，來判斷使用者可能隱含之興趣並掌握情緒狀態之資訊。例如，眼睛
流連在某張圖片上即可能表明其喜好，Meta於是按圖索驥開發這些用於追蹤眼睛方面應用
之技術，如在頭戴式耳機中透過微型攝像頭或感應器，來收集眼球的運動，以回饋提供使
用者增強其在VR或AR上更沉浸式之體驗。

虛擬實境需要從使用者收集精確的數據，以製作出完全沉浸式之體驗。眼動追蹤技術對沉
浸感和與虛擬環境之互動至關重要，如果感知之資訊輸入不準確，它可能會讓使用者迷失
方向，或讓使用者感到噁心。Meta近年來為用於跟蹤眼睛運動、監測使用者之眼球等創新
應用技術，已申請一系列的相關專利。以下僅選取二件相關專利，一窺Meta對未來元宇宙
的想像。

Meta於2018年12月申請「用於瞳孔轉向之整合擴增實境頭戴式顯示器」(Integrated
Augmented Reality Head-Mounted Display for Pupil Steering)專利，並在2021年9月
獲准案號為US11,112,613之美國專利（以下稱’613專利），請參考以下圖一。在’613專
利的摘要中，描述一種提供AR內容的頭戴式顯示裝置（標號400），包括眼動儀(eye
tracker標號408)、投光器(light projector標號402)、光束轉向器(beam steerer標號
404)和組合器(combiner標號410)。眼動儀用來確認佩戴者眼睛的瞳孔位置，投光器用來
投射光線並渲染圖像的光，光束轉向器根據瞳孔的位置改變投光器之光線的來向，組合器
則用來結合來自投光器的光線（標號414-1），以及來自頭戴式顯示裝置外部的一部分光
線（標號416）透射組合器後，將兩者不同的光線進行疊加，便可渲染圖像並投影至眼睛
內。

https://imgur.com/a/kepE8L3

請再參考以下圖二，頭戴式顯示裝置中的眼動儀，被用來判斷並追蹤瞳孔的位置（如標號
418-1的箭頭方向所示）。更進一步來說，眼動儀可透過追蹤瞳孔內的影像、閃光偵測、
視網膜反射或是瞳孔表面的輪廓量測，以判斷眼球的位置。

Meta所提出的’613專利之優點究竟為何？傳統的頭戴式顯示裝置，在投影影像映入使用
者的眼球時，為了提供使用者在所有的注視方向能有更寬廣的視野，所投影出的影像就必
須涵蓋在使用者眼睛周圍的大區域上。然而，在大區域上所投射出的影像會導致影像的亮
度降低，而為了補償降低的亮度，通常需要高強度的光源，惟高強度的光源裝置不僅佔據
大部分的頭戴式顯示裝置的空間，而且還具有高功耗等缺點。相對於傳統的頭戴式顯示裝
置，’613專利可透過眼動儀追蹤瞳孔，並將影像朝向瞳孔進行投影，如此一來就可減少
影像的投影區域，進而消除高強度光源的需求。

https://imgur.com/Mid0F1W

此外，再參考以下圖三，是’613專利針對眼動儀的功能更進一步地揭露，眼動儀內設有
一或多個深度感測器，而這些深度感測器係用來測量深度感測器與眼睛間的距離，例如標
號1116-1、1116-2、1116-3分別代表不同的距離，透過這些微小的距離，可建構出眼睛的
表面輪廓。更甚者，眼動儀內的深度感測器可以對眼睛做深度掃描，計算出眼睛的表面輪
廓，並進而判斷出眼睛注視哪一個方向。舉例來說，若深度感測器測量出距離大於某一個
參考距離時，就表示眼睛正往下看；反之，若測量出距離小於某一個參考距離時，就表示
眼睛正往上看。簡言之，透過眼動儀內部的深度感測器與眼睛之間的距離，可藉此判斷出
使用者眼睛當下正注視哪一個方向。

https://imgur.com/ZJn1Z48

另一件關於Meta之追蹤眼球的專利，係於2018年10月申請「瞳孔轉向頭戴式顯示器」
(Pupil Steering Head-Mounted Display)發明專利，並在2020年7月獲准案號為
US10,712,576B1之美國專利（以下稱’576專利）。請參考圖四，其係為’576專利中的
NED近眼顯示裝置(near-eye display)的外觀示意圖，近眼顯示裝置可用來操控AR、VR或
MR。此外，顯示元件（標號210）可為LCD顯示面板、LED顯示面板，或其他光學顯示面板
（如光波導組合而成的面板）。近眼顯示裝置還包括高解析度的攝影機（標號240），用
以捕捉現實世界中物體的影像，並經過處理器處理後的影像，可和虛擬物件一起呈現在使
用者眼前。

https://imgur.com/UvcujKP

’576專利明確指出，對於人工實境系統的使用者體驗，可取決於以下幾個光學特性：視
野(field of view, FOV)、影像品質、眼動範圍(eye box)大小、影像顯示之亮度等。一
般而言，FOV和眼動範圍應盡可能的大，影像品質要好就是解析度應盡可能的高，影像顯
示之亮度也要足夠明亮（尤其是光學透視AR系統），針對’576專利所揭露的技術來看，
其欲解決的問題正是眼動範圍。
所謂的眼動範圍，是指近眼顯示系統與眼球之間，有一塊成像最清晰的錐型區域，若使用
者的眼球超出該區域，則可能會看到影像扭曲、色彩失真，甚至無法顯示內容的問題。舉
例來說，有一種平視顯示器(heads-up display, HUD)應用在飛機駕駛的擋風玻璃上，透
過儀表板的反射作用至擋風玻璃上，可顯示飛行高度、瞬時速率、傾斜角度、經緯度位置
、油料等資訊，因此駕駛只需要平視眼前的飛行狀況即可，而不用低頭看相關飛行資訊。
然而，駕駛的視線一旦轉移過大，則擋風玻璃上的資訊就會部分消失或全部不見。所以，
眼動範圍越大，駕駛就可更靈活地移動，但是代價就是可能會導致系統更大、更重、更昂
貴且效能更低。在’576專利中也有強調傳統的近眼顯示系統，若要增加人工實境系統的
眼動範圍，也將發生前述所提及的缺點，進而有損沈浸式的體驗。
因此，’576專利為改善以上的缺點，特別提出此種近眼顯示系統，如圖五所示，其包含
幾個主要光學元件：影像來源（標號1010）、透鏡（標號1020、1040）、偏光鏡（標號
1030、1050）以及組合器（標號1060）。影像來源可為LCD顯示面板、LED顯示面板、干涉
光源或是空間光調變元件等發光體，而影像來源結合透鏡（標號1020）可形成一種投影裝
置以便輸出影像，並且依序經過（如圖中粗黑實線之光學路徑）偏光鏡（標號1030）、透
鏡（標號1040）、偏光鏡（標號1050）、組合器（標號1060）後，影像最後經由出光瞳孔
（exit pupil標號1070）而映入使用者的眼睛（其位置位在標號1120處）。特別值得一提
的是，以上所有的偏光鏡是採用微機電(MEMS)技術予以微縮，故近眼顯示系統得以做到短
小輕薄。

本發明技術特色在於，當使用者的眼睛位在標號1120’處時，控制器就會自動地將偏光鏡
（標號1030）旋轉某個角度，使得輸出影像可沿著粗黑虛線而抵達使用者的眼睛（其位置
位在標號1120’處）。如此一來，透過追蹤使用者的眼睛位置而自動調整輸出影像的光學
路徑，不僅可解決眼動範圍過小的問題，而且也不需要笨重的光學系統，針對眼動範圍過
小去作任何的補償。(2710字；圖1)

https://imgur.com/N0tVzkC

--