[發(fā)明專利]籃球比賽視頻的球員動(dòng)作識(shí)別方法、裝置和設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202010864529.3
• 申請(qǐng)日: 2020-08-25
• 公開（公告）號(hào): CN112001324A
• 公開（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 宋波
• 申請(qǐng)（專利權(quán)）人: 北京影譜科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04
• 代理公司: 北京知呱呱知識(shí)產(chǎn)權(quán)代理有限公司 11577
• 代理人: 丁彥峰

本發(fā)明實(shí)施例公開了籃球比賽視頻的球員動(dòng)作識(shí)別方法、裝置和設(shè)備，該方法包括：根據(jù)目標(biāo)籃球比賽視頻生成A幀圖像；確定A幀圖像中每幀的球員，并輸出每個(gè)球員的檢測(cè)框；提取A幀圖像的最后一層特征圖，并根據(jù)A幀圖像中每個(gè)球員的檢測(cè)框和最后一層特征圖得到球員特征向量集合；獲取A幀圖像中每個(gè)球員的標(biāo)識(shí)嵌入特征和幀序號(hào)嵌入特征；將每個(gè)球員的特征向量、每個(gè)球員對(duì)應(yīng)的標(biāo)識(shí)嵌入特征和幀序號(hào)特征向量進(jìn)行連接得到初始特征向量；將每個(gè)球員的初始特征向量輸入到關(guān)系提取網(wǎng)絡(luò)中得到特征矩陣；將特征矩陣輸入線性前饋運(yùn)算網(wǎng)絡(luò)降維至B維，根據(jù)降維后的特征矩陣進(jìn)行球員動(dòng)作的識(shí)別。本發(fā)明可以快速準(zhǔn)確地識(shí)別出籃球比賽視頻中球員的動(dòng)作。

技術(shù)領(lǐng)域

本發(fā)明實(shí)施例涉及圖像處理技術(shù)領(lǐng)域，具體涉及籃球比賽視頻的球員動(dòng)作識(shí)別方法、裝置和設(shè)備。

背景技術(shù)

籃球比賽是一種熱門的比賽項(xiàng)目，通常會(huì)通過媒體進(jìn)行轉(zhuǎn)播，觀看人數(shù)眾多。

在籃球比賽結(jié)束后，相關(guān)人員可以觀看籃球比賽視頻統(tǒng)計(jì)籃球運(yùn)動(dòng)員的行為數(shù)據(jù)，例如統(tǒng)計(jì)某個(gè)運(yùn)動(dòng)員的投籃、罰球和傳球等行為，但是這種人工統(tǒng)計(jì)運(yùn)動(dòng)員行為數(shù)據(jù)的方式效率低，準(zhǔn)確度低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供籃球比賽視頻的球員動(dòng)作識(shí)別方法、裝置和設(shè)備，用以解決現(xiàn)有人工對(duì)籃球比賽視頻中球員行為進(jìn)行分析效率低和準(zhǔn)確度低的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明實(shí)施例主要提供如下技術(shù)方案：

第一方面，本發(fā)明實(shí)施例提供了一種籃球比賽視頻的球員動(dòng)作識(shí)別方法，包括：根據(jù)目標(biāo)籃球比賽視頻生成A幀圖像，A為大于0的正整數(shù)；確定所述A幀圖像中每幀的球員，并輸出每個(gè)球員的檢測(cè)框；使用特征提取網(wǎng)絡(luò)提取所述A幀圖像的最后一層特征圖，并根據(jù)所述A幀圖像中每個(gè)球員的檢測(cè)框和所述最后一層特征圖得到球員特征向量集合；根據(jù)所述球員特征向量集合獲取所述A幀圖像中每個(gè)球員的標(biāo)識(shí)嵌入特征和幀序號(hào)嵌入特征；將每個(gè)球員的特征向量、每個(gè)球員對(duì)應(yīng)的標(biāo)識(shí)嵌入特征和每個(gè)球員對(duì)應(yīng)的幀序號(hào)特征向量進(jìn)行連接得到每個(gè)球員的初始特征向量；將每個(gè)球員的初始特征向量輸入到關(guān)系提取網(wǎng)絡(luò)中得到特征矩陣，所述特征矩陣的列向量表示球員的最終特征向量；將所述特征矩陣輸入線性前饋運(yùn)算網(wǎng)絡(luò)降維至B維，根據(jù)降維后的特征矩陣進(jìn)行球員動(dòng)作的識(shí)別，B為大于0的正整數(shù)，且B等于預(yù)定義的球員動(dòng)作類別數(shù)量。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述根據(jù)目標(biāo)籃球比賽視頻生成A幀圖像，包括：獲取所述目標(biāo)籃球比賽視頻的第t幀圖像，t為大于0的正整數(shù)；獲取所述第t幀圖像前后共2A幀圖像，并對(duì)2A幀圖像進(jìn)行隔幀采樣得到所述A幀圖像。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述根據(jù)所述球員特征向量集合獲取所述A幀圖像中每個(gè)球員的標(biāo)識(shí)嵌入特征和幀序號(hào)嵌入特征，包括：將所述球員特征向量集合中每個(gè)球員的標(biāo)識(shí)進(jìn)行編碼轉(zhuǎn)換得到A維的第一特征向量；將所述第一特征向量輸入到兩層的多層感知器MLP網(wǎng)絡(luò)中得到每個(gè)球員的標(biāo)識(shí)嵌入特征；將所述球員特征向量集合中每個(gè)球員出現(xiàn)在A幀圖像的幀序號(hào)進(jìn)行編碼轉(zhuǎn)換得到A維的第二特征向量；將所述第二特征向量輸入到兩層的MLP網(wǎng)絡(luò)中得到每個(gè)球員的幀序號(hào)嵌入特征。

根據(jù)本發(fā)明的一個(gè)實(shí)施例，所述將每個(gè)球員的初始特征向量輸入到關(guān)系提取網(wǎng)絡(luò)中得到特征矩陣，包括：在所述關(guān)系提取網(wǎng)絡(luò)內(nèi)，對(duì)每個(gè)球員的初始特征向量輸入到一層的全連接神經(jīng)網(wǎng)絡(luò)得到每個(gè)球員的索引特征向量、查詢特征向量和值特征向量；將每個(gè)球員的索引特征向量和查詢特征向量進(jìn)行點(diǎn)積運(yùn)算得到每個(gè)球員與其他球員之間的相似度，并根據(jù)每個(gè)球員與其他球員的相似度進(jìn)行歸一化，計(jì)算歸一化后相似度值的Softmax值作為每個(gè)球員的權(quán)重向量；根據(jù)每個(gè)球員的權(quán)重向量和權(quán)重系數(shù)得到每個(gè)球員融合了其他球員信息的特征向量；將每個(gè)球員的融合了其他球員信息的特征向量和對(duì)應(yīng)的初始特征向量進(jìn)行相加得到每個(gè)球員的最終特征向量；將所有球員的最終特征向量進(jìn)行組合、LayerNorm運(yùn)算和線性前饋運(yùn)算，得到所述特征矩陣。