[發明專利]基于語義的智能視覺交互方法及系統

有效

• 申請號: 202110458963.6
• 申請日: 2021-04-27
• 公開（公告）號: CN113129419B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 孫其民
• 申請（專利權）人: 南昌虛擬現實研究院股份有限公司
• 主分類號: G06T15/00
• 分類號: G06T15/00
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 何世磊

1.一種基于語義的智能視覺交互方法，其特征在于，所述方法包括：

對于待生成的可視圖像中的一個像素，從設置的虛擬視點出發，向所述像素的中心投射出一條視線，延長該條視線，以獲取虛擬場景中視線所及的最近的實體；

在預設的語義知識庫中查找與所述實體對應的語義本體，并建立所述像素與所述語義本體的關聯關系，以生成所述像素的語義索引，所述語義本體為所述像素的語義信息的來源，并對所述像素執行光線追蹤以得到所述像素的顏色值；

按照預設的抽取語義信息的規則，抽取所述語義本體的部分語義信息作為所述像素的關聯語義信息，并對所述可視圖像中的每個像素，分別執行上述步驟，以生成語義圖像，所述語義圖像包括可視圖像、語義索引圖像和語義信息；

顯示所述語義圖像并進行語義交互；

顯示所述語義圖像并進行語義交互的步驟具體包括：

顯示所述語義圖像中的可視圖像；

獲取視覺交互信息中的定位像素；

在語義圖像中的語義索引圖像中基于所述定位像素的坐標獲得語義索引，所述語義索引圖像中的像素與所述可視圖像的像素按照坐標順序一一對應，所述索引圖像中每個像素的值取所關聯的語義本體的ID；

基于所述語義索引查詢得到目標語義信息；

根據所述目標語義信息執行交互邏輯判斷。

2.根據權利要求1所述的基于語義的智能視覺交互方法，其特征在于，當所述語義知識庫中語義本體的ID的最大二進制字長不超過一個RGB彩色顯示系統的顏色值的二進制字長時，所述語義索引圖像能夠以一個彩色圖像可視化顯示出來。

3.根據權利要求2所述的基于語義的智能視覺交互方法，其特征在于，所述方法還包括：

設定虛擬視點和當前處理像素；

從所述虛擬視點出發向所述當前處理像素的中心發出一條光線，追蹤光線遇到的虛擬場景中的最近的目標實體，返回所述目標實體的ID；

對所述當前處理像素執行光線追蹤以得到所述當前處理像素的顏色值；

確定所述當前處理像素關聯的語義本體，并按照預設規則抽取所述當前處理像素關聯的語義本體的語義信息添加到語義圖像中。

4.根據權利要求2所述的基于語義的智能視覺交互方法，其特征在于，所述方法還包括：

根據場景模型中當前實體和語義知識庫中語義本體的關聯，獲取所述當前實體對應的語義本體、以及所述當前實體對應的語義本體的ID；

將語義索引圖像中當前像素值置為所述當前實體對應的語義本體的ID；

判斷語義圖像中是否已經添加過所述當前實體對應的語義本體的語義信息；

若否，則按照預設的語義篩選規則，從語義知識庫中抽取出所述當前實體對應的語義本體的ID的語義信息，并添加到可視圖像的語義信息數據中。

5.一種基于語義的智能視覺交互系統，其特征在于，所述系統包括：

第一獲取模塊，用于對于待生成的可視圖像中的一個像素，從設置的虛擬視點出發，向所述像素的中心投射出一條視線，延長該條視線，以獲取虛擬場景中視線所及的最近的實體；

查找建立模塊，用于在預設的語義知識庫中查找與所述實體對應的語義本體，并建立所述像素與所述語義本體的關聯關系，以生成所述像素的語義索引，所述語義本體為所述像素的語義信息的來源，并對所述像素執行光線追蹤以得到所述像素的顏色值；

抽取生成模塊，用于按照預設的抽取語義信息的規則，抽取所述語義本體的部分語義信息作為所述像素的關聯語義信息，并對所述可視圖像中的每個像素，分別通過第一獲取模塊、查找建立模塊和抽取生成模塊進行處理，以生成語義圖像，所述語義圖像包括可視圖像、語義索引圖像和語義信息；

顯示交互模塊，用于顯示所述語義圖像并進行語義交互；

所述顯示交互模塊具體用于：

顯示所述語義圖像中的可視圖像；

獲取視覺交互信息中的定位像素；

在語義圖像中的語義索引圖像中基于所述定位像素的坐標獲得語義索引，所述語義索引圖像中的像素與所述可視圖像的像素按照坐標順序一一對應，所述索引圖像中每個像素的值取所關聯的語義本體的ID；

基于所述語義索引查詢得到目標語義信息；

根據所述目標語義信息執行交互邏輯判斷。