[發明專利]沒有參考標準的簡答題評分

在審

• 申請號: 201910612487.1
• 申請日: 2019-07-09
• 公開（公告）號: CN110705580A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 馬騰飛;P·沃特森;安哉昱;M·常;A·斯珀林森
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G09B7/02
• 代理公司: 11038 中國國際貿易促進委員會專利商標事務所
• 代理人: 周磊

1.一種用于使用未標記的數據對目標答案進行評分的計算機實現的方法，所述方法包括：

識別一組偽參考答案；

對所述一組偽參考答案進行評分；

至少部分地基于一組專業知識度量來對所述一組經評分的偽參考答案進行加權；和

至少部分地基于經加權的一組經評分的偽參考答案確定所述目標答案的分數。

2.根據權利要求1所述的計算機實現的方法，進一步包括：

為多個學生中的每一個生成相應的學生簡檔，每一個相應的學生簡檔都包括賦予給由相應學生提供的歷史答案的分數；和

至少部分地基于相應的學生簡檔來確定每個專業知識度量，

其中確定所述目標答案的分數包括對經加權的一組經評分的偽參考答案進行求和以獲得總和，并針對所述一組專業知識度量的總和規格化所述總和。

3.根據權利要求2所述的計算機實現的方法，其中對所述一組偽參考答案進行加權還包括將每個加權的偽參考答案乘以指示問題難度水平的問題難度度量。

4.根據權利要求2所述的計算機實現的方法，其中確定所述目標答案的分數進一步包括：

使用標記的學生答案來訓練分類器；和

利用經訓練的分類器對所述一組偽參考答案進行評分。

5.根據權利要求1所述的計算機實現的方法，進一步包括：

至少部分地基于一個或多個基于文本的特征將一組初始偽參考答案聚集成一組聚類，以獲得一組聚類；

將所述一組聚類與所述一組專業知識度量進行比較，以將相應的標記分配給所述一組聚類中的每一個聚類；

將所述一組聚類的一組聚類中心指定為所述一組偽參考答案。

6.根據權利要求5所述的計算機實現的方法，其中所述一個或多個基于文本的特征包括以下中的至少一項：所述一組初始偽參考答案之間的詞重疊，或所述一組初始偽參考答案之間的語義相似性。

7.根據權利要求1所述的計算機實現的方法，其中所述目標答案是第一目標答案，所述方法進一步包括：

將所述一組偽參考答案聚集成一組聚類，所述一組聚類定義所有潛在答案的矢量空間；和

至少部分地通過將矢量代數應用于所述矢量空間來確定第二目標答案的分數。

8.一種用于使用未標記的數據對目標答案進行評分的系統，所述系統包括：

存儲計算機可執行指令的至少一個存儲器；和

發送設備的至少一個處理器，其中所述至少一個處理器被配置為訪問所述至少一個存儲器并執行所述計算機可執行指令，以執行根據權利要求1至7中任一項所述的方法中的步驟。

9.一種用于使用未標記的數據對目標答案進行評分的計算機程序產品，所述計算機程序產品包括可由處理電路讀取的存儲介質，所述存儲介質存儲可由所述處理電路執行以使根據權利要求1至7中任一項所述的方法中的步驟被執行的指令。

10.一種計算機系統，包括被配置為執行根據權利要求1至7中任一項所述的方法中的步驟的模塊。