[發(fā)明專(zhuān)利]一種定標(biāo)集確定方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 201910361757.6
• 申請(qǐng)日: 2019-04-30
• 公開(kāi)（公告）號(hào): CN110096708A
• 公開(kāi)（公告）日: 2019-08-06
• 發(fā)明（設(shè)計(jì)）人: 王棟;付瑞吉;宋巍;王士進(jìn);胡國(guó)平;秦兵;劉挺
• 申請(qǐng)（專(zhuān)利權(quán)）人: 科大訊飛股份有限公司
• 主分類(lèi)號(hào): G06F17/27
• 分類(lèi)號(hào): G06F17/27;G06F16/35;G06K9/62
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王雨;王寶筠

本申請(qǐng)公開(kāi)了一種定標(biāo)集確定方法及裝置，本方法首先獲取各答題對(duì)象對(duì)目標(biāo)題目的答題內(nèi)容，然后根據(jù)各所述答題內(nèi)容間的屬性差別，對(duì)各答題內(nèi)容進(jìn)行聚類(lèi)，通過(guò)聚類(lèi)可以將屬性相近的答題內(nèi)容聚集到一個(gè)聚類(lèi)簇中，由此得到至少兩個(gè)聚類(lèi)簇，其中，從屬于同一聚類(lèi)簇的各答題內(nèi)容的屬性差別更小，而從屬于不同聚類(lèi)簇的答題內(nèi)容的屬性差別更大。進(jìn)一步，從每個(gè)聚類(lèi)簇中抽取答題內(nèi)容，由抽取的答題內(nèi)容組成定標(biāo)集。綜上可見(jiàn)，本申請(qǐng)抽取的定標(biāo)集包含了各個(gè)聚類(lèi)簇中的答題內(nèi)容，也即覆蓋了各屬性的答題內(nèi)容，保證了定標(biāo)集的均衡性。進(jìn)一步，基于本申請(qǐng)抽取的定標(biāo)集訓(xùn)練的自動(dòng)評(píng)測(cè)模型，其評(píng)測(cè)準(zhǔn)確度也會(huì)更高。

技術(shù)領(lǐng)域

本申請(qǐng)涉及自然語(yǔ)言處理領(lǐng)域，更具體地說(shuō)，涉及一種定標(biāo)集確定方法及裝置。

背景技術(shù)

當(dāng)今社會(huì)各行各業(yè)都存在對(duì)用戶(hù)的考評(píng)，且考試的種類(lèi)越來(lái)越多，考試過(guò)程需要對(duì)答題者提交的答題內(nèi)容進(jìn)行評(píng)測(cè)，以對(duì)答題者的水平進(jìn)行衡量。評(píng)測(cè)過(guò)程可以采用有定標(biāo)評(píng)測(cè)方法，即自動(dòng)評(píng)測(cè)前，需要預(yù)先抽取一部分答題內(nèi)容進(jìn)行人工評(píng)測(cè)，人工評(píng)測(cè)后的答題內(nèi)容可以作為自動(dòng)評(píng)測(cè)模型的定標(biāo)集。

目前，定標(biāo)集的抽取方法為在所有答題內(nèi)容中隨機(jī)抽取一定數(shù)量的答題內(nèi)容。可以理解的是，由于答題者的水平參差不齊，所以答題內(nèi)容間也存在差別。按照現(xiàn)有的隨機(jī)抽取法抽取的定標(biāo)集，可能無(wú)法均勻的覆蓋各水平答題者的答題內(nèi)容，由此造成定標(biāo)集的不均衡，基于該定標(biāo)集訓(xùn)練后的自動(dòng)評(píng)測(cè)模型的準(zhǔn)確度也會(huì)降低。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)?zhí)峁┝艘环N定標(biāo)集確定方法及裝置，以解決現(xiàn)有定標(biāo)集確定方法中抽取的定標(biāo)集不均衡的缺點(diǎn)。

為了實(shí)現(xiàn)上述目的，現(xiàn)提出的方案如下：

一種定標(biāo)集確定方法，包括：

獲取各答題對(duì)象對(duì)目標(biāo)題目的答題內(nèi)容；

根據(jù)各所述答題內(nèi)容間的屬性差別，對(duì)各所述答題內(nèi)容進(jìn)行聚類(lèi)，得到至少兩個(gè)聚類(lèi)簇；

從每個(gè)所述聚類(lèi)簇中抽取答題內(nèi)容，由抽取的答題內(nèi)容組成定標(biāo)集。

優(yōu)選地，根據(jù)各所述答題內(nèi)容間的屬性差別，對(duì)各所述答題內(nèi)容進(jìn)行聚類(lèi)，包括：

確定每?jī)蓷l答題內(nèi)容的相似度，所述相似度表征了該兩條答題內(nèi)容的屬性差別；

根據(jù)所述每?jī)蓷l答題內(nèi)容的相似度，對(duì)各所述答題內(nèi)容進(jìn)行聚類(lèi)。

優(yōu)選地，確定每?jī)蓷l答題內(nèi)容的相似度，包括：

確定每?jī)蓷l答題內(nèi)容的相似度特征向量；

根據(jù)每?jī)蓷l答題內(nèi)容的相似度特征向量，確定每?jī)蓷l答題內(nèi)容的相似度。

優(yōu)選地，確定每?jī)蓷l答題內(nèi)容的相似度特征向量，包括：

確定每一所述答題內(nèi)容的聚類(lèi)特征；

針對(duì)每?jī)蓷l答題內(nèi)容，根據(jù)該兩條答題內(nèi)容各自的聚類(lèi)特征，確定該兩條答題內(nèi)容的相似度特征向量。

優(yōu)選地，根據(jù)每?jī)蓷l答題內(nèi)容的相似度特征向量，確定每?jī)蓷l答題內(nèi)容的相似度，包括：

確定所述目標(biāo)題目所屬的目標(biāo)題型；

確定與所述目標(biāo)題型對(duì)應(yīng)的權(quán)重向量，所述權(quán)重向量表示目標(biāo)題型的目標(biāo)題目下，每?jī)蓷l答題內(nèi)容的相似度特征向量中，各維度對(duì)相似度值的影響比重；

基于所述權(quán)重向量，對(duì)所述每?jī)蓷l答題內(nèi)容的相似度特征向量做加權(quán)求和或加權(quán)平均，得到每?jī)蓷l答題內(nèi)容的相似度值。

優(yōu)選地，確定與所述目標(biāo)題型對(duì)應(yīng)的權(quán)重向量，包括：

查詢(xún)預(yù)設(shè)的題型與權(quán)重向量的對(duì)應(yīng)關(guān)系，確定所述目標(biāo)題型對(duì)應(yīng)的權(quán)重向量；

或，