[發(fā)明專利]智能設(shè)備性能測(cè)試方法、裝置及智能設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911347490.1
• 申請(qǐng)日: 2019-12-24
• 公開（公告）號(hào): CN111124863A
• 公開（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 于振北
• 申請(qǐng)（專利權(quán)）人: 北京安兔兔科技有限公司
• 主分類號(hào): G06F11/34
• 分類號(hào): G06F11/34;G06K9/62
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 戎鄭華

本申請(qǐng)?zhí)岢鲆环N智能設(shè)備性能測(cè)試方法、裝置及智能設(shè)備。其中，該方法包括：利用預(yù)設(shè)的分類模型，對(duì)圖片集中的每幀圖片進(jìn)行分類處理，確定每幀圖片對(duì)應(yīng)的預(yù)測(cè)類別標(biāo)簽；利用預(yù)設(shè)的目標(biāo)檢測(cè)模型，對(duì)圖片集中的每幀圖片進(jìn)行目標(biāo)檢測(cè)，確定每幀圖片中包含的各檢測(cè)物體信息；根據(jù)圖片集中每幀圖片對(duì)應(yīng)的預(yù)測(cè)類別標(biāo)簽與實(shí)際類別標(biāo)簽的第一匹配度，及圖片集中每幀圖片中包含的各檢測(cè)物體信息與實(shí)際物體信息的第二匹配度，確定設(shè)備的性能。由此，通過這種智能設(shè)備性能測(cè)試方法，通過多維度的數(shù)字化指標(biāo)衡量設(shè)備的AI性能，有助于用戶直觀了解設(shè)備的AI性能。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)應(yīng)用技術(shù)領(lǐng)域，尤其涉及一種智能設(shè)備性能測(cè)試方法、裝置及智能設(shè)備。

背景技術(shù)

人工智能(Artificial Intelligence，簡(jiǎn)稱AI)，是研究、開發(fā)用于模擬、延伸和擴(kuò)展人的智能的理論、方法、技術(shù)以及應(yīng)用的一門新的技術(shù)科學(xué)。AI的應(yīng)用很廣泛，機(jī)器翻譯、智能控制、專家系統(tǒng)、機(jī)器人學(xué)、語言和圖像理解、遺傳編程機(jī)器人工廠、自動(dòng)程序設(shè)計(jì)、航天應(yīng)用、龐大的信息處理、儲(chǔ)存與管理、執(zhí)行化合生命體無法執(zhí)行的或復(fù)雜或規(guī)模龐大的任務(wù)等等。

相關(guān)技術(shù)中，AI技術(shù)在智能設(shè)備中的應(yīng)用快速發(fā)展，市面上的智能設(shè)備的AI性能正在快速提升。但是，不同廠商生產(chǎn)的智能設(shè)備，以及相同廠商生產(chǎn)的不同代產(chǎn)品的AI性能差異較大，并且不存在衡量設(shè)備AI性能的數(shù)字化指標(biāo)，導(dǎo)致用戶無法直觀了解設(shè)備的AI性能。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)岢龅闹悄茉O(shè)備性能測(cè)試方法、裝置及智能設(shè)備，用于解決相關(guān)技術(shù)中，不同廠商生產(chǎn)的智能設(shè)備，以及相同廠商生產(chǎn)的不同代產(chǎn)品的AI性能差異較大，并且不存在衡量設(shè)備AI性能的數(shù)字化指標(biāo)，導(dǎo)致用戶無法直觀了解設(shè)備的AI性能的問題。

本申請(qǐng)一方面實(shí)施例提出的智能設(shè)備性能測(cè)試方法，包括：獲取圖片集，所述圖片集中包括多幀圖片、每幀圖片對(duì)應(yīng)的實(shí)際類別標(biāo)簽及每幀圖片中包含的實(shí)際物體信息；利用預(yù)設(shè)的分類模型，對(duì)所述圖片集中的每幀圖片進(jìn)行分類處理，確定每幀圖片對(duì)應(yīng)的預(yù)測(cè)類別標(biāo)簽；利用預(yù)設(shè)的目標(biāo)檢測(cè)模型，對(duì)所述圖片集中的每幀圖片進(jìn)行目標(biāo)檢測(cè)，確定每幀圖片中包含的各檢測(cè)物體信息；根據(jù)所述圖片集中每幀圖片對(duì)應(yīng)的預(yù)測(cè)類別標(biāo)簽與實(shí)際類別標(biāo)簽的第一匹配度，及所述圖片集中每幀圖片中包含的各檢測(cè)物體信息與實(shí)際物體信息的第二匹配度，確定所述設(shè)備的性能。

可選地，在第一方面實(shí)施例一種可能的實(shí)現(xiàn)形式中，所述根據(jù)所述圖片集中每幀圖片對(duì)應(yīng)的預(yù)測(cè)類別標(biāo)簽與實(shí)際類別標(biāo)簽的第一匹配度，及所述圖片集中每幀圖片中包含的各檢測(cè)物體信息與實(shí)際物體信息的第二匹配度，確定所述設(shè)備的性能，包括：

根據(jù)所述每幀圖片對(duì)應(yīng)的預(yù)測(cè)類別標(biāo)簽與實(shí)際類別標(biāo)簽的第一匹配度，確定所述設(shè)備的第一性能參數(shù)；

根據(jù)所述每幀圖片中包含的各檢測(cè)物體信息與實(shí)際物體信息的第二匹配度，確定所述設(shè)備的第二性能參數(shù)；

根據(jù)所述第一性能參數(shù)與所述第二性能參數(shù)，確定所述設(shè)備的性能。

可選地，在第一方面實(shí)施例另一種可能的實(shí)現(xiàn)形式中，所述確定所述設(shè)備的第二性能參數(shù)，包括：

根據(jù)所述每幀圖片中包含的各檢測(cè)物體信息與實(shí)際物體信息的第二匹配度，確定每幀圖片中的有效檢測(cè)物體；

根據(jù)每幀圖片中的有效檢測(cè)物體在實(shí)際物體中的占比，確定每幀圖片是否為有效圖片；

根據(jù)有效圖片在所述圖片集中的占比，確定所述設(shè)備的第二性能參數(shù)。

可選地，在第一方面實(shí)施例再一種可能的實(shí)現(xiàn)形式中，所述確定所述設(shè)備的第二性能參數(shù)，包括：

根據(jù)所述每幀圖片中包含的各檢測(cè)物體信息與實(shí)際物體信息的第二匹配度，確定每幀圖片中的有效檢測(cè)物體；

根據(jù)每幀圖片中的有效檢測(cè)物體在實(shí)際物體中的占比，確定每幀圖片是否為有效圖片；