[發明專利]用于圖像處理的裝置、方法和介質

有效

• 申請號: 201910147860.0
• 申請日: 2019-02-28
• 公開（公告）號: CN110232303B
• 公開（公告）日: 2023-06-16
• 發明（設計）人: D·烏斯考夫
• 申請（專利權）人: 索尼公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/11;G06T1/20;G06V10/764;G06V10/88;G06V10/94
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 邊海梅

1.一種圖像處理裝置，包括：

至少一個圖像處理器，被配置為：

將圖像幀序列中的每個圖像幀分割成與不同超像素對應的不同分割區域；

通過將所述圖像幀序列中的第一圖像幀的像素值與所述第一圖像幀之前的順序圖像幀的像素值相減來計算所述第一圖像幀的時間導數圖，其中所述時間導數圖包括指示在所述第一圖像幀和所述第一圖像幀之前的順序圖像幀之間沒有移動的零時間導數和指示其間有移動的非零時間導數；

基于計算出的所述第一圖像幀的時間導數圖中的非零時間導數來檢測在所述第一圖像幀中處于第一運動狀態的關節狀對象，其中在所述第一運動狀態下所述關節狀對象的所有部位處于運動中；

通過將所述圖像幀序列中的所述第一圖像幀之后的第二圖像幀的像素值與所述第一圖像幀的像素值相減來計算所述第二圖像幀的時間導數圖；

基于計算出的所述第二圖像幀的時間導數圖來檢測在所述第二圖像幀中處于第二運動狀態的所述關節狀對象，其中在所述第二運動狀態下所述關節狀對象的至少一部分是靜止的；

構造所述第一圖像幀的第一超像素集合的第一連通性圖，其中所述第一連通性圖識別所述第一超像素集合中的每個超像素與相鄰超像素的共同關系；

構造所述第二圖像幀的第二超像素集合的第二連通性圖，其中所述第二連通性圖識別所述第二超像素集合中的每個超像素與相鄰超像素的共同關系；以及

基于所述第一連通性圖和所述第二連通性圖，生成處于第二運動狀態的所述關節狀對象的完整對象掩模。

2.如權利要求1所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為將所述第二圖像幀的所述第二連通性圖與所述第一圖像幀的所述第一連通性圖進行比較，用于所述完整對象掩模的所述生成。

3.如權利要求1所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為根據包括所述第一圖像幀和所述第二圖像幀的三個順序圖像幀來計算所述第二圖像幀的時間導數圖。

4.如權利要求1所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為基于所述非零時間導數在所述第一超像素集合或所述第二超像素集合的超像素中的存在將所述超像素與所述非零時間導數相關聯，其中所述超像素與所述不同分割區域中的分割區域相對應，其中與所述非零時間導數相關聯的所述超像素整體上被包括在所述完整對象掩模中。

5.如權利要求4所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為基于所述第一超像素集合或所述第二超像素集合中的超像素與所述非零時間導數的關聯將所述超像素分類為移動。

6.如權利要求5所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為基于所述第二超像素集合中的超像素被先前分類為在所述第一圖像幀中移動以及在所述第二圖像幀中不存在所述非零時間導數而將所述超像素的分類更新為屬于所述關節狀對象的移動超像素。

7.如權利要求1所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為將所述第二超像素集合的超像素劃分為第一子區域和第二子區域，其中所述超像素包括屬于所述關節狀對象的所述第一子區域中的第一數量的像素和屬于靜止背景的所述第二子區域中的第二數量的像素。

8.如權利要求7所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為更新所述超像素的分割參數，用于所述超像素到所述第一子區域和所述第二子區域的所述劃分，其中所述第一子區域中的像素的所述第一數量小于閾值數量。

9.如權利要求7所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為檢查所述第二超像素集合的被分類為在所述第二圖像幀中靜止的超像素是否先前與用于所述超像素的所述劃分的所述非零時間導數相關聯。

10.如權利要求1所述的圖像處理裝置，其中所述至少一個圖像處理器還被配置為針對所述關節狀對象的每個部分用所述第二連通性圖更新所述第一連通性圖，以反映所述關節狀對象在所述第二圖像幀中的當前外觀。