[發(fā)明專利]一種面向協(xié)作式眾包測試的質(zhì)量控制方法

在審

• 申請?zhí)枺?/td>: 201910724955.4
• 申請日: 2019-08-07
• 公開（公告）號: CN112346958A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計）人: 陳振宇;宋少行;韓鵬飛;房春榮;馮洋
• 申請（專利權(quán)）人: 南京慕測信息科技有限公司
• 主分類號: G06F11/36
• 分類號: G06F11/36
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明提出了一種面向協(xié)作式眾包測試的質(zhì)量控制方法，并在其基礎(chǔ)上實現(xiàn)了面向協(xié)作式眾包測試的質(zhì)量控制系統(tǒng)。本發(fā)明的特點在于：1.通過對眾包工人的每個操作實時評估反饋，提高眾包工人的質(zhì)量意識，記錄眾包工人的失信行為。2.通過報告自動評分確定報告的質(zhì)量等級，為管理者識別有效報告提供有利參考。3.提供報告審核功能，使管理者可便捷查看報告所有信息，并快速準確的審核報告。本發(fā)明的有益效果是：通過設(shè)計的多種質(zhì)量控制方法，提高了眾包工人的質(zhì)量意識，提高了測試任務(wù)中有效Bug報告的比率，幫助管理者更快速準確的識別Bug報告和眾包工人的質(zhì)量。

技術(shù)領(lǐng)域

本發(fā)明涉及面向協(xié)作式眾包測試的質(zhì)量控制方法，以及實現(xiàn)該質(zhì)量控制方法的質(zhì)量控制系統(tǒng)，目的在于研究質(zhì)量控制的相關(guān)技術(shù)和方法，包括Bug報告質(zhì)量評估方法、信息增益評估方法、眾包工人行為評估與反饋方法、管理者報告審核方法等，實現(xiàn)質(zhì)量控制系統(tǒng)，保證協(xié)作式眾包測試收集到高質(zhì)量的Bug報告。

背景技術(shù)

協(xié)作式眾包測試平臺旨在集中大眾智慧進行軟件測試，通過給眾包工人提供協(xié)作和審核方式，降低眾包測試對眾包工人的專業(yè)要求；同時可通過聚合Bug報告產(chǎn)生高質(zhì)量測試結(jié)果，提高Bug報告質(zhì)量，減少報告重復(fù)率。但是參與任務(wù)的眾包工人具有獨立匿名的特點，導(dǎo)致眾包工人中不可避免的出現(xiàn)惡意眾包工人。該類工人為了個人利益，隨意提交無效Bug報告或者抄襲他人報告，導(dǎo)致Bug報告質(zhì)量參差不齊，使得管理者難以識別有效報告并整理為可交付的缺陷列表，影響眾包平臺的聲譽。

隨著協(xié)作式眾包測試模式應(yīng)用越來越廣泛，如何根據(jù)協(xié)作式眾包測試的特點，設(shè)計合理的質(zhì)量控制方法，使管理者可更快速的識別Bug報告以及眾包工人的質(zhì)量，并提升Bug報告數(shù)據(jù)集的整體質(zhì)量是平臺管理者關(guān)注的重點。一款在線的、可視化的、面向協(xié)作式眾包測試的質(zhì)量控制系統(tǒng)是平臺管理者所期待的。

發(fā)明內(nèi)容

為了實現(xiàn)上述目標，本發(fā)明提出了一個具備Bug報告有效性檢測、Bug報告自動評估和信息增益評估等功能，可幫助管理者識別報告和眾包工人質(zhì)量的方法，并以此為基礎(chǔ)實現(xiàn)了質(zhì)量控制系統(tǒng)。

本發(fā)明的技術(shù)方案為：一種面向協(xié)作式眾包測試的質(zhì)量控制方法，以及以此實現(xiàn)的質(zhì)量控制系統(tǒng)。其特征是系統(tǒng)對Bug報告質(zhì)量自動評估，包括單一狀報告和樹狀報告；對子報告信息增益自動評估，包括文本增益、截圖增益和協(xié)作增益等；對眾包工人行為實時評估與反饋，包括報告有效性評估、報告重復(fù)性評估、信息增益評估、點贊和點踩行為評估等；為管理者提供審核報告的功能，通過展示報告的詳細信息，幫助管理者快速識別Bug報告質(zhì)量，并以此為依據(jù)評定眾包工人的具體貢獻和能力水平。平臺前端基于Angular2框架和Echarts實現(xiàn)；服務(wù)端基于Spring Boot框架構(gòu)建，通過Redis實現(xiàn)數(shù)據(jù)緩存，數(shù)據(jù)儲存在MongodDB上，通過數(shù)據(jù)庫主從備份提高數(shù)據(jù)庫的容災(zāi)能力。前端部署在docker上，使用Nginx對前端請求做負載均衡，服務(wù)端可單獨或以集群方式部署在docker上，保證了服務(wù)端的水平擴展性。

質(zhì)量控制系統(tǒng)主要包括實時評估反饋、報告自動評分和報告審核等，以下詳細描述。

1.實時評估反饋設(shè)計：眾包工人在協(xié)作式眾測平臺可獨立提交單一狀報告，也可復(fù)制修改(Fork)他人報告生成樹狀報告并提交，因此需要對單一狀報告進行有效性和重復(fù)性檢測，對樹狀報告進行信息增益評估。眾包工人能以點贊和點踩的方式審核他人報告，系統(tǒng)需要對點贊和點踩的合理性進行評估。在以上評估的基礎(chǔ)上，系統(tǒng)對眾包工人的每個操作進行實時反饋。若眾包工人的操作被評估為合理，則反饋激勵眾包工人；若眾包工人操作不合理，則反饋警告眾包工人，要求其提高質(zhì)量意識，同時記錄其失信行為并實時展示給管理者，幫助管理者提早發(fā)現(xiàn)并剔除惡意眾包工人。

該模塊核心為對眾包工人每個操作的評估與檢測，以下詳細介紹四種評估與檢測。