[發明專利]一種基于視線跟蹤的增強現實顯示系統、頭盔和方法

在審

• 申請號: 201910755619.6
• 申請日: 2019-08-15
• 公開（公告）號: CN110572632A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 鄧寶松;鹿迎;閆野;張周;印二威;郄志鵬
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: H04N13/332
• 分類號: H04N13/332;H04N13/366
• 代理公司: 11619 北京辰權知識產權代理有限公司
• 代理人: 劉廣達

1.一種基于視線跟蹤的增強現實顯示系統，其特征在于，包括：眼動追蹤模塊、雙目慣性攝像模塊、處理模塊和增強現實顯示模塊；

所述眼動追蹤模塊，用于采集人眼圖像，發送至處理模塊；

所述雙目慣性攝像模塊，用于采集外部圖像和頭部運動參數，發送至處理模塊；

所述處理模塊，用于根據所述人眼圖像和所述頭部運動參數確定視點坐標；使用所述外部圖像重建外部物理環境；根據視點坐標識別被關注目標，生成被關注目標的虛擬信息，發送至增強現實顯示模塊；

所述增強現實顯示模塊，用于顯示接收到的所述虛擬信息。

2.如權利要求1所述的增強現實顯示系統，其特征在于，所述處理模塊包括處理單元和圖形處理單元；

所述處理單元，用于處理人眼圖像，獲得人眼映射函數；使用頭部運動參數和頭部動態補償模型更新人眼映射函數，得到視點坐標；使用外部圖像重建外部物理環境，根據視點坐標識別被關注目標；

所述圖形處理單元，用于根據被關注目標生成虛擬信息，發送至增強現實顯示模塊。

3.如權利要求1所述的增強現實顯示系統，其特征在于，所述眼動追蹤模塊包括：

紅外光源單元，用于產生紅外光源，照射人眼；

紅外攝像單元，用于采集由于紅外光源照射人眼而產生反射的人眼圖像，將采集到的人眼圖像發送至處理模塊。

4.如權利要求1所述的增強現實顯示系統，其特征在于，所述雙目慣性攝像模塊包括：

多軸慣性測量單元，用于采集頭部運動參數，發送至處理模塊；

高分辨率攝像單元，用于采集周圍環境的圖像數據，得到外部圖像，發送至處理模塊。

5.如權利要求4所述的增強現實顯示系統，其特征在于，所述多軸慣性測量單元包括：陀螺儀、加速度計和地磁計。

6.如權利要求1所述的增強現實顯示系統，其特征在于，所述增強現實顯示模塊包括顯示器、曲面棱鏡和補償鏡。

7.一種基于視線跟蹤的增強現實顯示頭盔，其特征在于，包括如權利要求1-6任一項所述的增強現實顯示系統、自動變色護目罩和電源；

所述自動變色護目罩，用于根據光線強度，改變光線透過率，增強顯示器在不同環境下的顯示效果；

所述電源，用于給頭盔顯示器供電。

8.一種基于視線跟蹤的增強現實顯示方法，其特征在于，包括：

眼動追蹤模塊采集人眼圖像，發送至處理模塊；

雙目慣性攝像模塊采集外部圖像和頭部運動參數，發送至處理模塊；

處理模塊根據所述人眼圖像和所述頭部運動參數確定視點坐標，使用所述外部圖像重建外部物理環境，根據視點坐標識別被關注目標，生成被關注目標的虛擬信息，發送至增強現實顯示模塊；

增強現實顯示模塊顯示接收到的所述虛擬信息。

9.如權利要求8所述的增強現實顯示方法，其特征在于，所述處理模塊根據所述人眼圖像和所述頭部運動參數確定視點坐標，使用所述外部圖像重建外部物理環境，根據視點坐標識別被關注目標，生成被關注目標的虛擬信息，發送至增強現實顯示模塊，包括：

處理模塊處理人眼圖像，獲得人眼映射函數；

使用頭部運動參數和頭部動態補償模型更新人眼映射函數，得到視點坐標；

使用外部圖像重建外部物理環境，根據視點坐標識別被關注目標；

根據被關注目標生成虛擬信息，發送至增強現實顯示模塊。

10.如權利要求8所述的增強現實顯示方法，其特征在于，所述眼動追蹤模塊采集人眼圖像，發送至處理模塊，包括：

眼動追蹤模塊產生紅外光源，照射人眼；

眼動追蹤模塊采集由于紅外光源照射人眼而產生反射的人眼圖像，將采集到的人眼圖像發送至處理模塊。