[發(fā)明專利]AI識(shí)別裝置的自動(dòng)測(cè)試方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110067399.5
• 申請(qǐng)日: 2021-01-19
• 公開（公告）號(hào): CN112395208A
• 公開（公告）日: 2021-02-23
• 發(fā)明（設(shè)計(jì)）人: 不公告發(fā)明人
• 申請(qǐng)（專利權(quán)）人: 珠海億智電子科技有限公司
• 主分類號(hào): G06F11/36
• 分類號(hào): G06F11/36
• 代理公司: 深圳青年人專利商標(biāo)代理有限公司 44350
• 代理人: 吳桂華

1.一種AI識(shí)別裝置的自動(dòng)測(cè)試方法，其特征在于，所述方法包括下述步驟：

根據(jù)已加載的測(cè)試用例確定當(dāng)前識(shí)別測(cè)試項(xiàng)，基于基準(zhǔn)數(shù)據(jù)的信息將當(dāng)前識(shí)別測(cè)試項(xiàng)的基準(zhǔn)圖像數(shù)據(jù)導(dǎo)入到待測(cè)試的AI識(shí)別裝置，其中，所述基準(zhǔn)數(shù)據(jù)的信息包含于所述測(cè)試用例中，所述基準(zhǔn)數(shù)據(jù)包括所述基準(zhǔn)圖像數(shù)據(jù)和圖像標(biāo)注數(shù)據(jù)；

控制所述待測(cè)試的AI識(shí)別裝置識(shí)別導(dǎo)入的基準(zhǔn)圖像數(shù)據(jù)，并獲取識(shí)別結(jié)果；

判斷是否完成所述測(cè)試用例中的所有識(shí)別測(cè)試項(xiàng)，若已完成，則基于所述圖像標(biāo)注數(shù)據(jù)和所述識(shí)別結(jié)果輸出所述待測(cè)試的AI識(shí)別裝置的測(cè)試結(jié)果，否則跳轉(zhuǎn)至根據(jù)已加載的測(cè)試用例確定當(dāng)前識(shí)別測(cè)試項(xiàng)的步驟。

2.如權(quán)利要求1所述的方法，其特征在于，所述基準(zhǔn)圖像數(shù)據(jù)基于多種待測(cè)場(chǎng)景下拍攝得到，所述圖像標(biāo)注數(shù)據(jù)至少包括圖像拍攝場(chǎng)景數(shù)據(jù)、圖像內(nèi)容數(shù)據(jù)和目標(biāo)描述數(shù)據(jù)中的一種，所述圖像拍攝場(chǎng)景數(shù)據(jù)至少包括拍攝的時(shí)間、地點(diǎn)、環(huán)境亮度、光照方向、天氣情況、室內(nèi)外情況、目標(biāo)背景紋理和目標(biāo)清晰度中的一種，所述圖像內(nèi)容數(shù)據(jù)至少包括圖像像素格式、圖像分辨率、目標(biāo)類型和目標(biāo)描述中的一種，所述目標(biāo)描述數(shù)據(jù)至少包括目標(biāo)的特征、目標(biāo)的數(shù)量和目標(biāo)在圖像中的位置中的一種。

3.如權(quán)利要求1所述的方法，其特征在于，所述測(cè)試結(jié)果至少包括識(shí)別準(zhǔn)確度、識(shí)別速度和識(shí)別位置偏差中的一種。

4.如權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

保存測(cè)試數(shù)據(jù)，所述測(cè)試數(shù)據(jù)至少包括所述圖像標(biāo)注數(shù)據(jù)、所述識(shí)別結(jié)果和所述測(cè)試結(jié)果；

當(dāng)接收到數(shù)據(jù)查詢請(qǐng)求時(shí)，輸出與所述數(shù)據(jù)查詢請(qǐng)求對(duì)應(yīng)的測(cè)試數(shù)據(jù)。

5.如權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

基于相同基準(zhǔn)數(shù)據(jù)下不同版本的AI識(shí)別裝置的測(cè)試數(shù)據(jù)，分析所述待測(cè)試的AI識(shí)別裝置的測(cè)試結(jié)果變化趨勢(shì)，其中，所述測(cè)試結(jié)果變化趨勢(shì)包括識(shí)別速度變化趨勢(shì)、識(shí)別準(zhǔn)確度變化趨勢(shì)和/或識(shí)別位置偏差變化趨勢(shì)。

6.如權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

基于多種場(chǎng)景基準(zhǔn)數(shù)據(jù)下所述待測(cè)試的AI識(shí)別裝置的測(cè)試數(shù)據(jù)，分析所述待測(cè)試的AI識(shí)別裝置針對(duì)不同場(chǎng)景的測(cè)試結(jié)果變化趨勢(shì)，其中，所述測(cè)試結(jié)果變化趨勢(shì)包括識(shí)別速度變化趨勢(shì)、識(shí)別準(zhǔn)確度變化趨勢(shì)和/或識(shí)別位置偏差變化趨勢(shì)。

7.如權(quán)利要求5或6所述的方法，其特征在于，所述方法還包括：

將所述測(cè)試結(jié)果變化趨勢(shì)以圖像化的方式顯示。

8.一種AI識(shí)別裝置的自動(dòng)測(cè)試裝置，其特征在于，所述裝置包括：

數(shù)據(jù)導(dǎo)入單元，用于根據(jù)已加載的測(cè)試用例確定當(dāng)前識(shí)別測(cè)試項(xiàng)，基于基準(zhǔn)數(shù)據(jù)的信息將當(dāng)前識(shí)別測(cè)試項(xiàng)的基準(zhǔn)圖像數(shù)據(jù)導(dǎo)入到待測(cè)試的AI識(shí)別裝置，其中，所述基準(zhǔn)數(shù)據(jù)的信息包含于所述測(cè)試用例中，所述基準(zhǔn)數(shù)據(jù)包括所述基準(zhǔn)圖像數(shù)據(jù)和圖像標(biāo)注數(shù)據(jù)；

識(shí)別結(jié)果獲取單元，用于控制所述待測(cè)試的AI識(shí)別裝置識(shí)別導(dǎo)入的基準(zhǔn)圖像數(shù)據(jù)，并獲取識(shí)別結(jié)果；以及

測(cè)試結(jié)果輸出單元，用于判斷是否完成所述測(cè)試用例中的所有識(shí)別測(cè)試項(xiàng)，若已完成，則基于所述圖像標(biāo)注數(shù)據(jù)和所述識(shí)別結(jié)果輸出所述待測(cè)試的AI識(shí)別裝置的測(cè)試結(jié)果，否則觸發(fā)所述數(shù)據(jù)導(dǎo)入單元執(zhí)行根據(jù)已加載的測(cè)試用例確定當(dāng)前識(shí)別測(cè)試項(xiàng)，基于基準(zhǔn)數(shù)據(jù)的信息將當(dāng)前識(shí)別測(cè)試項(xiàng)的基準(zhǔn)圖像數(shù)據(jù)導(dǎo)入到待測(cè)試的AI識(shí)別裝置的步驟。

9.一種測(cè)試設(shè)備，包括存儲(chǔ)器、處理器以及存儲(chǔ)在所述存儲(chǔ)器中并可在所述處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述方法的步驟。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述方法的步驟。