[發(fā)明專利]一種跨場(chǎng)景遷移的交通行為識(shí)別方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210395868.0
• 申請(qǐng)日: 2022-04-15
• 公開（公告）號(hào): CN114758309A
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計(jì)）人: 楊元峰;鮮學(xué)豐;李亞琴;董虎勝;劉剛
• 申請(qǐng)（專利權(quán)）人: 蘇州市職業(yè)大學(xué)
• 主分類號(hào): G06V20/54
• 分類號(hào): G06V20/54;G06V20/40
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 耿苑

1.一種跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，包括：

獲取目標(biāo)場(chǎng)景對(duì)應(yīng)的目標(biāo)交通視頻；

基于預(yù)設(shè)的運(yùn)動(dòng)詞典將所述目標(biāo)交通視頻轉(zhuǎn)換成相應(yīng)的目標(biāo)文本數(shù)據(jù)；所述運(yùn)動(dòng)詞典為基于源交通視頻的監(jiān)控畫面構(gòu)建的詞典；

利用預(yù)先訓(xùn)練好的行為識(shí)別模型對(duì)所述目標(biāo)文本數(shù)據(jù)進(jìn)行處理，以得到與所述目標(biāo)交通視頻對(duì)應(yīng)的交通行為；其中，所述行為識(shí)別模型為利用與所述源交通視頻對(duì)應(yīng)的文本數(shù)據(jù)對(duì)基于自然語(yǔ)言算法構(gòu)建的模型進(jìn)行訓(xùn)練后得到的模型。

2.根據(jù)權(quán)利要求1所述的跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，所述獲取目標(biāo)場(chǎng)景對(duì)應(yīng)的目標(biāo)交通視頻，包括：

獲取與所述源交通視頻對(duì)應(yīng)的監(jiān)控畫面大小一致的目標(biāo)場(chǎng)景對(duì)應(yīng)的目標(biāo)交通視頻。

3.根據(jù)權(quán)利要求1所述的跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，所述基于預(yù)設(shè)的運(yùn)動(dòng)詞典將所述目標(biāo)交通視頻轉(zhuǎn)換成相應(yīng)的目標(biāo)文本數(shù)據(jù)，包括：

利用目標(biāo)跟蹤算法對(duì)所述目標(biāo)交通視頻中的目標(biāo)交通工具進(jìn)行跟蹤，以得到所述目標(biāo)交通工具的運(yùn)動(dòng)軌跡；

將所述目標(biāo)交通視頻分割為目標(biāo)視頻片段，并基于所述運(yùn)動(dòng)詞典與所述目標(biāo)交通工具的運(yùn)動(dòng)軌跡對(duì)所述目標(biāo)視頻片段進(jìn)行編碼，以得到包含與不同所述目標(biāo)視頻片段對(duì)應(yīng)的編碼后文檔的目標(biāo)文本數(shù)據(jù)。

4.根據(jù)權(quán)利要求3所述的跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，所述利用預(yù)先訓(xùn)練好的行為識(shí)別模型對(duì)所述目標(biāo)文本數(shù)據(jù)進(jìn)行處理，以得到與所述目標(biāo)交通視頻對(duì)應(yīng)的交通行為之前，還包括：

創(chuàng)建所述編碼后文檔的主題，并提取所述主題中的目標(biāo)詞語(yǔ)，以得到相應(yīng)的文檔主題矩陣和主題詞語(yǔ)矩陣；

將所述目標(biāo)交通視頻與所述源交通視頻進(jìn)行主題匹配以得到所述目標(biāo)場(chǎng)景中的每一個(gè)主題在所述源交通視頻中的匹配主題；

基于所述目標(biāo)交通視頻對(duì)應(yīng)的文檔主題矩陣、主題詞語(yǔ)矩陣和所述匹配主題構(gòu)建目標(biāo)交通視頻對(duì)應(yīng)的目標(biāo)主題詞向量矩陣。

5.根據(jù)權(quán)利要求4所述的跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，所述將所述目標(biāo)交通視頻與所述源交通視頻進(jìn)行主題匹配以得到所述目標(biāo)場(chǎng)景中的每一個(gè)主題在所述源交通視頻中的匹配主題，包括：

采用權(quán)重二分圖對(duì)所述目標(biāo)交通視頻的主題與所述源交通視頻的主題進(jìn)行相對(duì)熵建模，以得到建模后二分圖，并利用KM算法求所述建模后二分圖的最佳匹配，以得到所述目標(biāo)交通視頻中的每一個(gè)主題在所述源交通視頻中的匹配主題。

6.根據(jù)權(quán)利要求4所述的跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，還包括：

在傳統(tǒng)的文本分類模型基礎(chǔ)網(wǎng)絡(luò)中添加第一卷積層和第二卷積層，以得到改進(jìn)后的文本分類模型基礎(chǔ)網(wǎng)絡(luò)；其中，所述第一卷積層用于提取所述目標(biāo)主題詞向量矩陣的特征向量，所述第二卷積層用于對(duì)經(jīng)過拼接處理的所述特征向量進(jìn)行卷積運(yùn)算；

利用包含所述源交通視頻對(duì)應(yīng)的文本數(shù)據(jù)的數(shù)據(jù)集對(duì)所述改進(jìn)后的文本分類模型基礎(chǔ)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以得到所述行為識(shí)別模型。

7.根據(jù)權(quán)利要求1至6中任一項(xiàng)所述的跨場(chǎng)景遷移的交通行為識(shí)別方法，其特征在于，還包括：

根據(jù)預(yù)設(shè)區(qū)域高度與預(yù)設(shè)區(qū)域?qū)挾葘⑺鲈唇煌ㄒ曨l對(duì)應(yīng)的監(jiān)控畫面劃分為矩形監(jiān)控畫面區(qū)域；

分別為每個(gè)所述矩形監(jiān)控畫面區(qū)域分配相應(yīng)的用于表征不同運(yùn)動(dòng)方向的詞語(yǔ)，以得到所述運(yùn)動(dòng)詞典。

8.一種跨場(chǎng)景遷移的交通行為識(shí)別裝置，其特征在于，包括：

視頻獲取模塊，用于獲取目標(biāo)場(chǎng)景對(duì)應(yīng)的目標(biāo)交通視頻；

文本數(shù)據(jù)獲取模塊，用于基于預(yù)設(shè)的運(yùn)動(dòng)詞典將所述目標(biāo)交通視頻轉(zhuǎn)換成相應(yīng)的目標(biāo)文本數(shù)據(jù)；所述運(yùn)動(dòng)詞典為基于源交通視頻的監(jiān)控畫面構(gòu)建的詞典；

交通行為確定模塊，用于利用預(yù)先訓(xùn)練好的行為識(shí)別模型對(duì)所述目標(biāo)文本數(shù)據(jù)進(jìn)行處理，以得到與所述目標(biāo)交通視頻對(duì)應(yīng)的交通行為；其中，所述行為識(shí)別模型為利用與源交通視頻對(duì)應(yīng)的文本數(shù)據(jù)對(duì)基于自然語(yǔ)言算法構(gòu)建的模型進(jìn)行訓(xùn)練后得到的模型。