[發(fā)明專利]基于眼睛注視的相機(jī)自動(dòng)聚焦

在審

• 申請(qǐng)?zhí)枺?/td>: 201480037054.3
• 申請(qǐng)日: 2014-06-26
• 公開（公告）號(hào): CN105393160A
• 公開（公告）日: 2016-03-09
• 發(fā)明（設(shè)計(jì)）人: N·阿克曼;A·C·高里斯;B·西爾弗
• 申請(qǐng)（專利權(quán)）人: 微軟技術(shù)許可有限責(zé)任公司
• 主分類號(hào): G02B27/01
• 分類號(hào): G02B27/01;G06F3/01;G03B13/36;G02B7/28
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 顧嘉運(yùn)

背景

消費(fèi)者電子設(shè)備中的相機(jī)的最大問題之一是用戶想要捕捉圖像(例如，照片或視頻)與實(shí)際上捕捉到該圖像之間的時(shí)間。用于自動(dòng)聚焦相機(jī)的技術(shù)有助于減輕必須手動(dòng)聚焦相機(jī)的用戶負(fù)擔(dān)。然而，自動(dòng)聚焦算法可耗費(fèi)時(shí)間來執(zhí)行。而且，該算法可能使相機(jī)誤聚焦于錯(cuò)誤物體。

用于自動(dòng)聚焦的一種技術(shù)是使相機(jī)掃過一焦距范圍，以便在多個(gè)距離中的每一距離處收集圖像數(shù)據(jù)。然后使用圖像處理來分析圖像數(shù)據(jù)以確定哪一個(gè)圖像提供了最佳聚焦。相機(jī)然后在該最佳焦距拍攝照片。這一技術(shù)的問題在于相機(jī)掃過不同焦距所花費(fèi)的時(shí)間。

另一種技術(shù)是選擇相機(jī)視野中的物體。相機(jī)然后可以自動(dòng)聚焦于該物體。一些相機(jī)可檢測(cè)臉部并自動(dòng)聚焦于臉部。然而，可能難以知曉相機(jī)應(yīng)聚焦于什么物體，因?yàn)橹獣杂脩粝Ｍ臄z什么物體的照片可能是困難的。例如，前景中可以有一個(gè)人，背景中有一棵樹。如果相機(jī)系統(tǒng)不正確地假定用戶期望拍攝前景中的人的照片，則樹將是失焦。當(dāng)然，相機(jī)可以重新聚焦于樹，但這耗費(fèi)額外的時(shí)間。如果用戶曾嘗試拍攝樹中的鳥的照片，則這只鳥可能在相機(jī)聚焦時(shí)已經(jīng)飛走。

概述

公開了用于使相機(jī)自動(dòng)聚焦的方法和系統(tǒng)。技術(shù)包括跟蹤眼睛的眼睛注視以確定用戶所專注的位置。然后，相機(jī)透鏡可以聚焦于該位置。這允許相機(jī)的快速聚焦。

一個(gè)實(shí)施例包括一種用于使相機(jī)自動(dòng)聚焦的方法，包括以下內(nèi)容。使用眼睛跟蹤系統(tǒng)來跟蹤用戶的眼睛注視。基于眼睛跟蹤來確定對(duì)應(yīng)于在一時(shí)間點(diǎn)用戶的眼睛正在注視的方向的向量。該方向在相機(jī)的視野中。基于該向量與相機(jī)透鏡位置來確定距離。透鏡基于該距離來自動(dòng)聚焦。

一個(gè)實(shí)施例包括一種系統(tǒng)，該系統(tǒng)包括具有透鏡的相機(jī)以及耦合到該相機(jī)的邏輯。邏輯被配置成執(zhí)行以下動(dòng)作。邏輯被配置成確定第一向量，該第一向量對(duì)應(yīng)于在一時(shí)間點(diǎn)用戶的第一眼睛正在注視的第一方向。邏輯被配置成確定第二向量，該第二向量對(duì)應(yīng)于在該時(shí)間點(diǎn)用戶的第二眼睛正在注視的第二方向。邏輯被配置成確定第一向量與第二向量的交點(diǎn)位置。邏輯被配置成確定交點(diǎn)位置與透鏡位置之間的距離。邏輯被配置成使透鏡基于該距離來聚焦。

一個(gè)實(shí)施例包括一種用于使相機(jī)自動(dòng)聚焦的方法，包括以下內(nèi)容：使用眼睛跟蹤系統(tǒng)來跟蹤用戶的眼睛。基于眼睛跟蹤來確定多個(gè)第一向量，該多個(gè)第一向量各自對(duì)應(yīng)于在不同時(shí)間點(diǎn)用戶的第一眼睛正在注視的第一方向。基于眼睛跟蹤來確定多個(gè)第二向量，該多個(gè)第二向量各自對(duì)應(yīng)于在這些不同時(shí)間點(diǎn)中的相應(yīng)時(shí)間點(diǎn)用戶的第二眼睛正在注視的第二方向。確定針對(duì)這些不同時(shí)間點(diǎn)中的每一時(shí)間點(diǎn)的第一向量與第二向量的多個(gè)交點(diǎn)。基于多個(gè)交點(diǎn)位置來生成深度圖。基于深度圖來使相機(jī)透鏡自動(dòng)聚焦。

提供本概述以便以簡(jiǎn)化形式介紹將在以下的具體實(shí)施方式中進(jìn)一步描述的一些概念。本概述并不旨在標(biāo)識(shí)出所要求保護(hù)的主題的關(guān)鍵特征或必要特征，也不旨在用于限定所要求保護(hù)的主題的范圍。

附圖簡(jiǎn)述

圖1A和圖1B示出了基于跟蹤一個(gè)人的眼睛注視的方向來使相機(jī)聚焦的示例。

圖2A是使相機(jī)自動(dòng)聚焦的過程的一個(gè)實(shí)施例的流程圖。

圖2B是使用兩個(gè)眼睛向量的交點(diǎn)來使相機(jī)自動(dòng)聚焦的過程的一個(gè)實(shí)施例的流程圖。

圖2C是幫助示出計(jì)算眼睛注視位置的一個(gè)實(shí)施例的原理的圖示。

圖2D是使用眼睛向量和深度圖像來使相機(jī)自動(dòng)聚焦的流程圖。

圖3A是描繪HMD設(shè)備的一個(gè)實(shí)施例的各示例組件的框圖。

圖3B描繪HMD設(shè)備的一部分的俯視圖。

圖3C示出定位成在配備在一副眼鏡中的混合現(xiàn)實(shí)顯示設(shè)備上面對(duì)各相應(yīng)眼睛的、用于每個(gè)眼睛的注視檢測(cè)系統(tǒng)中的相應(yīng)注視檢測(cè)元件的集合的位置的示例性布置。

圖3D示出定位成在配備在一副眼鏡中的混合現(xiàn)實(shí)顯示設(shè)備上面對(duì)各相應(yīng)眼睛的、用于每個(gè)眼睛的注視檢測(cè)系統(tǒng)中的相應(yīng)注視檢測(cè)元件的集合的位置的另一示例性安排。

圖3E示出由該副眼鏡定位成面對(duì)各相應(yīng)眼睛的、用于每個(gè)眼睛的注視檢測(cè)系統(tǒng)中的相應(yīng)注視檢測(cè)元件的集合的位置的又一示例性安排。

圖4是描繪HMD設(shè)備的各個(gè)組件的框圖。

圖5是HMD設(shè)備的處理單元的各組件的一個(gè)實(shí)施例的框圖。

圖6是基于用戶注視的位置的深度圖來使相機(jī)聚焦的過程的一個(gè)實(shí)施例的流程圖。

圖7是用于使相機(jī)自動(dòng)聚焦的過程的一個(gè)實(shí)施例的流程圖。

圖8A是基于眼睛跟蹤來使相機(jī)自動(dòng)聚焦的過程的一個(gè)實(shí)施例的流程圖，其中相機(jī)選擇臉部來聚焦。