[發(fā)明專利]一種面向協(xié)作式眾包測試的質(zhì)量控制方法

在審

• 申請?zhí)枺?/td>: 201910724955.4
• 申請日: 2019-08-07
• 公開（公告）號: CN112346958A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計(jì)）人: 陳振宇;宋少行;韓鵬飛;房春榮;馮洋
• 申請（專利權(quán)）人: 南京慕測信息科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種面向協(xié)作式眾包測試的質(zhì)量控制方法，其特征是眾包工人在獨(dú)立填寫B(tài)ug報(bào)告、協(xié)作式填寫B(tài)ug報(bào)告或者審核他人Bug報(bào)告時(shí)，系統(tǒng)實(shí)時(shí)評估并反饋眾包工人的每個(gè)操作。對于眾包工人的合理操作實(shí)時(shí)反饋激勵(lì)，對于失信行為實(shí)時(shí)記錄；同時(shí)，系統(tǒng)可對獨(dú)立提交生成的單一狀報(bào)告，以及協(xié)作提交生成的樹狀報(bào)告進(jìn)行自動(dòng)評分；最后，系統(tǒng)提供報(bào)告審核功能，通過展示每個(gè)報(bào)告的詳細(xì)信息幫助管理者審核報(bào)告。

2.根據(jù)權(quán)利要求1中所述的實(shí)時(shí)評估反饋，其特征在于：

1)對于用戶提交的每個(gè)Bug報(bào)告，分析報(bào)告基礎(chǔ)屬性，并提取質(zhì)量指標(biāo)，依據(jù)質(zhì)量指標(biāo)評估每個(gè)報(bào)告的有效性，并實(shí)時(shí)反饋給用戶；

2)對于用戶提交的每個(gè)Bug報(bào)告，系統(tǒng)使用Word2vec模型計(jì)算已有報(bào)告與提交報(bào)告的相似度，若相似度超過閾值，則判定兩個(gè)報(bào)告相似；若系統(tǒng)不存在與用戶提交報(bào)告相似的報(bào)告，則反饋激勵(lì)；若存在相似報(bào)告，則反饋警告，提示用戶禁止提交相似報(bào)告；

3)對于用戶協(xié)作式提交的子Bug報(bào)告，由于子報(bào)告是在父報(bào)告基礎(chǔ)上修改補(bǔ)充得到，所以系統(tǒng)自動(dòng)評估子報(bào)告相對于父報(bào)告的信息增益，包括文本增益、截圖增益和審核增益等；若子報(bào)告存在信息增益，則反饋激勵(lì)；若不存在，則反饋警告，提示眾包工人要在父報(bào)告基礎(chǔ)上提交存在增益的子報(bào)告；

4)用戶可在系統(tǒng)中以點(diǎn)贊和點(diǎn)踩的形式審核他人報(bào)告，若用戶點(diǎn)贊系統(tǒng)自動(dòng)評估為有效的報(bào)告，則系統(tǒng)反饋激勵(lì)，若點(diǎn)贊自動(dòng)評估為無效的報(bào)告，則系統(tǒng)反饋要慎重點(diǎn)贊；同樣，對于點(diǎn)踩行為，若用戶點(diǎn)踩無效報(bào)告，則系統(tǒng)反饋激勵(lì)；若點(diǎn)踩有效報(bào)告，則系統(tǒng)反饋警告，提示其慎重點(diǎn)踩。

3.根據(jù)權(quán)利要求1中所述的報(bào)告自動(dòng)評分，其特征在于：

1)對于用戶提交的單一狀報(bào)告，由于其貢獻(xiàn)歸眾包工人個(gè)人所有，則需依據(jù)其質(zhì)量指標(biāo)對所有報(bào)告公平評分；系統(tǒng)選擇各指標(biāo)最優(yōu)的報(bào)告作為標(biāo)準(zhǔn)報(bào)告，通過灰色關(guān)聯(lián)分析法和熵權(quán)法計(jì)算其他報(bào)告與標(biāo)準(zhǔn)報(bào)告的接近程度，越接近的報(bào)告質(zhì)量越好，其分?jǐn)?shù)也越高；

2)對于用戶提交的樹狀報(bào)告，由于樹狀報(bào)告是在父報(bào)告的基礎(chǔ)上Fork而來，因此其貢獻(xiàn)歸多個(gè)眾包工人所有，需要根據(jù)父報(bào)告分?jǐn)?shù)和樹狀報(bào)告信息增益對其進(jìn)行評分；系統(tǒng)首先提取樹狀報(bào)告的父報(bào)告分?jǐn)?shù)，再提取該報(bào)告相對于父報(bào)告的信息增益，以父報(bào)告分?jǐn)?shù)作為該樹狀報(bào)告的基礎(chǔ)分?jǐn)?shù)，并依據(jù)信息增益對基礎(chǔ)分?jǐn)?shù)做加減變化，經(jīng)過一系列變化之后得到樹狀報(bào)告的最終分?jǐn)?shù)。

4.據(jù)權(quán)利要求1中所述的報(bào)告審核，其特征在于：

1)提供單一狀報(bào)告審核，通過展示單一狀報(bào)告的描述信息、截圖、截圖標(biāo)注和自動(dòng)評分等信息，幫助管理者更快的識別報(bào)告質(zhì)量，從而以人工評分的方式對報(bào)告審核；

2)提供樹狀報(bào)告審核，通過展示樹狀報(bào)告的描述信息、截圖、截圖標(biāo)注、自動(dòng)評分和信息增益等信息，幫助管理者更容易的識別報(bào)告質(zhì)量及其補(bǔ)充的增益信息，同樣以人工評分的方式對報(bào)告審核。