[發(fā)明專利]一種基于眾測(cè)過程的眾測(cè)任務(wù)關(guān)閉時(shí)間自動(dòng)預(yù)測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911247610.0
• 申請(qǐng)日: 2019-12-09
• 公開（公告）號(hào): CN111090585B
• 公開（公告）日: 2021-06-01
• 發(fā)明（設(shè)計(jì)）人: 王俊杰;王青;胡軍
• 申請(qǐng)（專利權(quán)）人: 中國(guó)科學(xué)院軟件研究所
• 主分類號(hào): G06F11/36
• 分類號(hào): G06F11/36;G06Q10/10
• 代理公司: 北京君尚知識(shí)產(chǎn)權(quán)代理有限公司 11200
• 代理人: 陳艷

本發(fā)明提供了一種基于眾測(cè)過程的眾測(cè)任務(wù)關(guān)閉時(shí)間自動(dòng)預(yù)測(cè)方法，該方法包括：監(jiān)控眾測(cè)過程，按時(shí)間順序收集眾測(cè)報(bào)告；自動(dòng)評(píng)估眾測(cè)任務(wù)需求的術(shù)語(yǔ)覆蓋度，判斷術(shù)語(yǔ)覆蓋度是否滿足設(shè)定閾值；將特定數(shù)目的眾測(cè)報(bào)告作為一個(gè)增量采樣組；自動(dòng)檢測(cè)眾測(cè)報(bào)告間的重復(fù)性；基于眾測(cè)報(bào)告間的重復(fù)性，得到以增量采樣組為單元的缺陷到達(dá)趨勢(shì)，采用捕獲再捕獲方法預(yù)測(cè)被測(cè)軟件含有的缺陷數(shù)目，如果已經(jīng)發(fā)現(xiàn)的缺陷數(shù)目和預(yù)測(cè)的缺陷數(shù)目相同且術(shù)語(yǔ)覆蓋度已經(jīng)滿足，則當(dāng)前時(shí)間為任務(wù)的關(guān)閉時(shí)間，否則繼續(xù)監(jiān)控眾測(cè)過程。本發(fā)明通過實(shí)時(shí)監(jiān)控眾測(cè)過程，預(yù)測(cè)合適的眾測(cè)任務(wù)關(guān)閉時(shí)間，既保證測(cè)試充分性又可降低眾測(cè)成本。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)技術(shù)領(lǐng)域，涉及軟件測(cè)試技術(shù)，尤其是眾包軟件測(cè)試(簡(jiǎn)稱眾測(cè))，用于管理眾測(cè)過程，通過實(shí)時(shí)監(jiān)控眾測(cè)過程，預(yù)測(cè)合適的眾測(cè)任務(wù)關(guān)閉時(shí)間，既保證測(cè)試充分性又降低眾測(cè)成本，為一種基于眾測(cè)過程的眾測(cè)任務(wù)關(guān)閉時(shí)間自動(dòng)預(yù)測(cè)方法。

背景技術(shù)

眾測(cè)是指在軟件正式發(fā)布前，軟件公司將測(cè)試任務(wù)發(fā)布到互聯(lián)網(wǎng)上的眾測(cè)平臺(tái)，平臺(tái)上的眾測(cè)人員執(zhí)行測(cè)試，并提交眾測(cè)報(bào)告。由于軟件錯(cuò)誤會(huì)導(dǎo)致用戶流失和經(jīng)濟(jì)損失，在軟件公司專業(yè)測(cè)試人員相對(duì)短缺的情況下，眾測(cè)技術(shù)在當(dāng)前互聯(lián)網(wǎng)公司軟件研發(fā)或更新過程中被廣泛采用。

測(cè)試工程師時(shí)常面臨評(píng)估“多少測(cè)試就足夠了”的問題。不充分的測(cè)試會(huì)降低軟件質(zhì)量，過量的測(cè)試會(huì)潛在的延長(zhǎng)項(xiàng)目周期、導(dǎo)致成本浪費(fèi)。因眾測(cè)環(huán)境下移動(dòng)應(yīng)用程序的復(fù)雜性和分布式眾測(cè)過程的不可預(yù)測(cè)性，這個(gè)問題在眾測(cè)環(huán)境下表現(xiàn)得尤為突出。為了更好的計(jì)劃和管理眾測(cè)過程，軟件測(cè)試管理已有實(shí)踐采用基于經(jīng)驗(yàn)的、基于風(fēng)險(xiǎn)的、基于價(jià)值的方法等。然而，這些方法對(duì)于新興的眾測(cè)場(chǎng)景是不適用的，因?yàn)楸姕y(cè)環(huán)境下眾測(cè)人員的活動(dòng)是自發(fā)的、不可控的，且管理者對(duì)于眾測(cè)過程的干預(yù)也很難發(fā)揮作用。

在當(dāng)前的眾測(cè)實(shí)踐中，項(xiàng)目管理人員嚴(yán)重的依賴專家經(jīng)驗(yàn)來(lái)決定何時(shí)關(guān)閉眾測(cè)任務(wù)，包括設(shè)置固定的任務(wù)周期(例如5天)、設(shè)置固定的參與人員(例如400個(gè)人)等。基于真實(shí)的眾測(cè)平臺(tái)數(shù)據(jù)調(diào)查發(fā)現(xiàn)，不同的眾測(cè)任務(wù)在1)缺陷達(dá)到速率，2)任務(wù)周期，3)達(dá)到特定質(zhì)量等級(jí)所需要的成本等方面差異很大。為了應(yīng)對(duì)這些差異帶來(lái)的影響，管理者傾向于設(shè)置很大的閾值(例如任務(wù)周期、參與人員)，這導(dǎo)致眾測(cè)過程非常的低效，有很多的成本浪費(fèi)，也就是在眾測(cè)過程的后面階段，沒有或者只有極少的缺陷發(fā)現(xiàn)。

因此，對(duì)于如何管理眾測(cè)過程、何時(shí)關(guān)閉眾測(cè)任務(wù)以便降低眾測(cè)成本同時(shí)保證測(cè)試充分性，管理者面臨很大的挑戰(zhàn)。本發(fā)明通過自動(dòng)監(jiān)控眾測(cè)過程，建模缺陷的到達(dá)趨勢(shì)，從而自動(dòng)評(píng)估測(cè)試完成情況，預(yù)測(cè)合適的任務(wù)關(guān)閉時(shí)間，既保證測(cè)試充分性，又降低眾測(cè)成本。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題是：提出一種基于眾測(cè)過程的眾測(cè)任務(wù)關(guān)閉時(shí)間自動(dòng)預(yù)測(cè)方法，為進(jìn)行中的眾測(cè)任務(wù)實(shí)時(shí)確定關(guān)閉時(shí)間，既保證測(cè)試充分性，又降低眾測(cè)成本。

本發(fā)明的技術(shù)方案為：

一種基于眾測(cè)過程的眾測(cè)任務(wù)關(guān)閉時(shí)間自動(dòng)預(yù)測(cè)方法，包括以下步驟：

(1)監(jiān)控眾測(cè)過程，按時(shí)間順序收集眾測(cè)報(bào)告；

(2)基于收集到的眾測(cè)報(bào)告自動(dòng)評(píng)估眾測(cè)任務(wù)需求的術(shù)語(yǔ)覆蓋度，判斷術(shù)語(yǔ)覆蓋度是否滿足設(shè)定閾值；

(3)采用增量采樣方法處理按時(shí)間順序收集的眾測(cè)報(bào)告，將特定數(shù)目的眾測(cè)報(bào)告作為一個(gè)增量采樣組；

(4)自動(dòng)檢測(cè)眾測(cè)報(bào)告間的重復(fù)性；

(5)基于眾測(cè)報(bào)告間的重復(fù)性，得到以增量采樣組為單元的缺陷到達(dá)趨勢(shì)，采用捕獲再捕獲方法預(yù)測(cè)被測(cè)軟件含有的缺陷數(shù)目，如果已經(jīng)發(fā)現(xiàn)的缺陷數(shù)目和預(yù)測(cè)的缺陷數(shù)目相同且術(shù)語(yǔ)覆蓋度已經(jīng)滿足，則當(dāng)前時(shí)間為任務(wù)的關(guān)閉時(shí)間，否則繼續(xù)監(jiān)控眾測(cè)過程。

進(jìn)一步地，步驟(1)包括以下幾個(gè)子步驟：

1a)記錄每個(gè)眾測(cè)報(bào)告的到達(dá)時(shí)間、ID及報(bào)告自然語(yǔ)言描述；