[發(fā)明專利]基于關(guān)鍵點(diǎn)檢測的計(jì)算機(jī)自動交互活動識別

在審

• 申請?zhí)枺?/td>: 202180051785.3
• 申請日: 2021-07-16
• 公開（公告）號: CN116097322A
• 公開（公告）日: 2023-05-09
• 發(fā)明（設(shè)計(jì)）人: 張丹;張紅兵;忻超;劉雪萍;彭智星;蔡浞
• 申請（專利權(quán)）人: 國際商業(yè)機(jī)器公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/46;G06V10/764;G06V10/774;G06V10/82;G06V10/40;G06V10/62;G06N3/0464
• 代理公司: 北京市柳沈律師事務(wù)所 11105
• 代理人: 陳金林

1.一種用于交互式活動識別的計(jì)算機(jī)實(shí)現(xiàn)的方法，包括：

由一個或多個處理器從視頻記錄中檢索圖像幀的時間序列；

由所述一個或多個處理器識別所述時間序列中的所述圖像幀中的每個圖像幀中的第一關(guān)鍵點(diǎn)，所述第一關(guān)鍵點(diǎn)與所述圖像幀的時間序列中的對象相關(guān)聯(lián)；

由所述一個或多個處理器識別所述時間序列中的所述圖像幀中的每個圖像幀中的第二關(guān)鍵點(diǎn)，所述第二關(guān)鍵點(diǎn)與和所述對象交互的個體相關(guān)聯(lián)；

由所述一個或多個處理器組合所述第一關(guān)鍵點(diǎn)與所述第二關(guān)鍵點(diǎn)；

由所述一個或多個處理器從所述組合的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)提取空間-時間特征；以及

基于所述提取的空間-時間特征，由所述一個或多個處理器訓(xùn)練用于識別所述個體與所述對象之間的交互活動的分類模型。

2.根據(jù)權(quán)利要求1所述的方法，其中識別所述第一關(guān)鍵點(diǎn)進(jìn)一步包括：

由所述一個或多個處理器使用訓(xùn)練的用于識別所述第一關(guān)鍵點(diǎn)的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的檢測模型。

3.根據(jù)權(quán)利要求2所述的方法，進(jìn)一步包括：

由所述一個或多個處理器使用預(yù)標(biāo)記的數(shù)據(jù)來訓(xùn)練用于識別所述第一關(guān)鍵點(diǎn)的所述基于CNN的檢測模型。

4.根據(jù)權(quán)利要求1所述的方法，其中識別所述第二關(guān)鍵點(diǎn)進(jìn)一步包括：

由所述一個或多個處理器使用用于圖像和視頻中的多人姿勢檢測的實(shí)時方法。

5.根據(jù)權(quán)利要求1所述的方法，其中從所述組合的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)提取所述空間-時間特征進(jìn)一步包括：

由所述一個或多個處理器使用所述組合的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)作為圖形卷積神經(jīng)網(wǎng)絡(luò)(GCN)模型的輸入來提取所述空間-時間特征，其中所述GCN模型的結(jié)果包括最終第一關(guān)鍵點(diǎn)和最終第二關(guān)鍵點(diǎn)。

6.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

由所述一個或多個處理器將所述空間-時間特征饋送給所述分類模型。

7.根據(jù)權(quán)利要求1所述的方法，進(jìn)一步包括：

由所述一個或多個處理器識別對應(yīng)于遮擋關(guān)鍵點(diǎn)的第三關(guān)鍵點(diǎn)。

8.根據(jù)權(quán)利要求7所述的方法，其中識別所述第三關(guān)鍵點(diǎn)進(jìn)一步包括：

由所述一個或多個處理器使用跟蹤算法來確定來自所述圖像幀的時間序列的第n幀與第n+1幀之間的關(guān)系，其中，在第n+1幀中所述第三關(guān)鍵點(diǎn)的位置是基于所述第n幀中的其中所述第三關(guān)鍵點(diǎn)可見的所述第三關(guān)鍵點(diǎn)的位置來確定的。

9.一種用于交互活動識別的計(jì)算機(jī)系統(tǒng)，包括：

一個或多個處理器、一個或多個計(jì)算機(jī)可讀存儲器、一個或多個計(jì)算機(jī)可讀有形存儲設(shè)備，以及存儲在所述一個或多個存儲設(shè)備中的至少一個上的用于由所述一個或多個處理器中的至少一個經(jīng)由所述一個或多個存儲器中的至少一個執(zhí)行的程序指令，其中所述計(jì)算機(jī)系統(tǒng)能夠執(zhí)行一種方法，所述方法包括：

由一個或多個處理器從視頻記錄檢索圖像幀的時間序列；

由所述一個或多個處理器識別所述時間序列中的所述圖像幀中的每個圖像幀中的第一關(guān)鍵點(diǎn)，所述第一關(guān)鍵點(diǎn)與所述圖像幀的時間序列中的對象相關(guān)聯(lián)；

由所述一個或多個處理器識別所述時間序列中的所述圖像幀中的每個圖像幀中的第二關(guān)鍵點(diǎn)，所述第二關(guān)鍵點(diǎn)與和所述對象交互的個體相關(guān)聯(lián)；

由所述一個或多個處理器組合所述第一關(guān)鍵點(diǎn)與所述第二關(guān)鍵點(diǎn)；

由所述一個或多個處理器從所述組合的第一關(guān)鍵點(diǎn)和第二關(guān)鍵點(diǎn)提取空間-時間特征；以及

基于所述提取的空間-時間特征，由所述一個或多個處理器訓(xùn)練用于識別所述個體與所述對象之間的交互活動的分類模型。

10.根據(jù)權(quán)利要求9所述的計(jì)算機(jī)系統(tǒng)，其中識別所述第一關(guān)鍵點(diǎn)進(jìn)一步包括：

由所述一個或多個處理器使用訓(xùn)練的用于識別所述第一關(guān)鍵點(diǎn)的基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的檢測模型。