[發(fā)明專利]一種視線軌跡的計(jì)算方法、裝置及計(jì)算機(jī)可讀存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010062433.5
• 申請日: 2020-01-19
• 公開（公告）號: CN113139892A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 伊紅;賈海晶;王煒
• 申請（專利權(quán)）人: 株式會社理光
• 主分類號: G06T3/00
• 分類號: G06T3/00
• 代理公司: 北京銀龍知識產(chǎn)權(quán)代理有限公司 11243
• 代理人: 黃燦;姜精斌

1.一種視線軌跡的計(jì)算方法，其特征在于，包括：

從二維全景圖像檢測得到目標(biāo)用戶的一組人臉關(guān)鍵點(diǎn)，并確定所述目標(biāo)用戶對應(yīng)的人臉中心關(guān)鍵點(diǎn)；

將二維全景圖像變換成三維立方體模型，且使所述人臉中心關(guān)鍵點(diǎn)位于所述三維立方體模型的一個(gè)正方形平面的中心；

計(jì)算所述目標(biāo)用戶的視線軌跡決策點(diǎn)在所述正方形平面上的坐標(biāo)位置，所述視線軌跡決策點(diǎn)包括所述人臉中心關(guān)鍵點(diǎn)和一個(gè)預(yù)設(shè)的視線軌跡的參考點(diǎn)；

利用所述正方形平面上的視線軌跡決策點(diǎn)，計(jì)算得到所述目標(biāo)用戶在二維全景圖像中的視線軌跡。

2.如權(quán)利要求1所述的計(jì)算方法，其特征在于，從二維全景圖像檢測得到目標(biāo)用戶的一組人臉關(guān)鍵點(diǎn)，并確定所述目標(biāo)用戶對應(yīng)的人臉中心關(guān)鍵點(diǎn)的步驟，包括：

基于深度學(xué)習(xí)算法，從二維全景圖像中檢測得到目標(biāo)用戶的一組人臉關(guān)鍵點(diǎn)，所述人臉關(guān)鍵點(diǎn)包括以下位置點(diǎn)中的一種以上的位置點(diǎn)：左眼位置點(diǎn)、右眼位置點(diǎn)、左耳位置點(diǎn)、右耳位置點(diǎn)、鼻子位置點(diǎn)、左嘴角位置點(diǎn)，右嘴角位置點(diǎn)和下巴位置點(diǎn)；

將所述左眼位置點(diǎn)和右眼位置點(diǎn)的中心點(diǎn)或所述鼻子位置點(diǎn)，作為所述目標(biāo)用戶對應(yīng)的人臉中心關(guān)鍵點(diǎn)。

3.如權(quán)利要求1所述的計(jì)算方法，其特征在于，將二維全景圖像變換成三維立方體模型，且使所述人臉中心關(guān)鍵點(diǎn)位于所述三維立方體模型的一個(gè)正方形平面的中心的步驟，包括：

對二維全景圖像進(jìn)行等距柱狀投影變換，使所述目標(biāo)用戶的人臉中心關(guān)鍵點(diǎn)位于經(jīng)緯坐標(biāo)系的坐標(biāo)原點(diǎn)，得到一個(gè)二維的等距柱狀投影圖像以及所述目標(biāo)用戶的人臉關(guān)鍵點(diǎn)在等距柱狀投影圖像中的坐標(biāo)；

對所述二維等距柱狀投影圖像進(jìn)行三維立方體投影變換，且使所述人臉中心關(guān)鍵點(diǎn)位于三維立方體模型的一個(gè)正方形平面的中心，并得到所述目標(biāo)用戶的人臉關(guān)鍵點(diǎn)在所述正方形平面中的二維平面坐標(biāo)。

4.如權(quán)利要求1所述的計(jì)算方法，其特征在于，計(jì)算所述目標(biāo)用戶的視線軌跡決策點(diǎn)在所述正方形平面上的坐標(biāo)位置的步驟，包括：

在三維世界坐標(biāo)系中定義一個(gè)人臉模型，所述人臉模型包括所述目標(biāo)用戶的人臉關(guān)鍵點(diǎn)的三維世界坐標(biāo)，且所述人臉中心關(guān)鍵點(diǎn)位于所述三維世界坐標(biāo)系的原點(diǎn)；

利用設(shè)置于所述三維立方體模型的坐標(biāo)原點(diǎn)的虛擬相機(jī)的內(nèi)參數(shù)矩陣、人臉關(guān)鍵點(diǎn)的二維平面坐標(biāo)和三維世界坐標(biāo)，計(jì)算得到所述目標(biāo)用戶的視線軌跡決策點(diǎn)在所述正方形平面中的二維平面坐標(biāo)，其中，所述虛擬相機(jī)的光軸與所述正方形平面垂直，光心與所述目標(biāo)用戶的人臉中心關(guān)鍵點(diǎn)位置重合，且焦距等于所述正方形平面的寬度。

5.如權(quán)利要求4所述的計(jì)算方法，其特征在于，利用所述虛擬相機(jī)的內(nèi)參數(shù)矩陣、人臉關(guān)鍵點(diǎn)的二維平面坐標(biāo)和三維世界坐標(biāo)，計(jì)算得到所述目標(biāo)用戶的視線軌跡決策點(diǎn)在所述正方形平面中的二維平面坐標(biāo)的步驟，包括：

利用所述虛擬相機(jī)的內(nèi)參數(shù)矩陣、人臉關(guān)鍵點(diǎn)的二維平面坐標(biāo)和三維世界坐標(biāo)，計(jì)算得到所述虛擬相機(jī)的旋轉(zhuǎn)矩陣和平移向量；

利用所述視線軌跡決策點(diǎn)的三維世界坐標(biāo)、所述虛擬相機(jī)的內(nèi)參數(shù)矩陣、旋轉(zhuǎn)矩陣和平移向量，計(jì)算得到所述視線軌跡決策點(diǎn)在所述正方形平面中的二維平面坐標(biāo)。

6.如權(quán)利要求1所述的計(jì)算方法，其特征在于，利用所述正方形平面上的視線軌跡決策點(diǎn)，計(jì)算得到所述目標(biāo)用戶在二維全景圖像中的視線軌跡的步驟，包括：

通過投影變換處理，得到所述視線軌跡決策點(diǎn)在二維全景圖像中的坐標(biāo)位置；

根據(jù)所述視線軌跡決策點(diǎn)在二維全景圖像中的坐標(biāo)位置，利用二維全景圖像中的大圓，求解得到經(jīng)過所述視線軌跡決策點(diǎn)的曲線，得到所述目標(biāo)用戶在二維全景圖像中的視線軌跡，其中，所述大圓為球面與通過球心的平面的交線。