[發明專利]沒有參考標準的簡答題評分

在審

• 申請號: 201910612487.1
• 申請日: 2019-07-09
• 公開（公告）號: CN110705580A
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 馬騰飛;P·沃特森;安哉昱;M·常;A·斯珀林森
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G09B7/02
• 代理公司: 11038 中國國際貿易促進委員會專利商標事務所
• 代理人: 周磊

本公開涉及沒有參考標準的簡答題評分。描述了用于使用未標記的數據來確定目標學生答案的分數的系統、方法和計算機可讀介質。目標答案是由學生對沒有參考標準答案數據的問題給出的。一組學生答案用作一組偽參考答案，分類器用于基于每個其他答案對每個答案進行評分。以這種方式，每個學生答案作為每個其他學生答案的偽參考答案。也可以使用聚類方法將一組學生答案聚集成多個聚類。聚類的質心則可以作為所述一組偽參考答案。聚類提高了為目標學生答案確定的分數的魯棒性和效率。

技術領域

本發明一般地涉及答案評分，更具體地涉及在沒有參考答案的情況下的答案評分。

背景技術

在沒有參考答案的情況下，自動評估諸如學生對論文或簡答題的答案之類的簡短回答可能是一項困難的任務。參考答案可能由于數據不完整而不可用，或者在某些情況下因為問題集合沒有一組清晰、封閉的“正確”答案而不可用。

發明內容

在一個或多個示例實施例中，公開了一種用于使用未標記的數據對目標答案進行評分的方法。該方法包括識別一組偽參考答案并對該組偽參考答案進行評分。該方法還包括至少部分地基于一組專業知識度量來對該組經評分的偽參考答案進行加權，并且至少部分地基于經加權的該組經評分的偽參考答案來確定目標答案的分數。

在一個或多個其他示例實施例中，公開了一種用于使用未標記的數據對目標答案進行評分的系統。該系統包括存儲計算機可執行指令的至少一個存儲器和被配置為訪問該至少一個存儲器并執行計算機可執行指令以執行一組操作的至少一個處理器。操作包括識別一組偽參考答案并對該組偽參考答案進行評分。這些操作還包括至少部分地基于一組專門知識度量來對該組經評分的偽參考答案進行加權，并且至少部分地基于經加權的該組經評分的偽參考答案來確定目標答案的分數。

在一個或多個其他示例實施例中，公開了一種用于使用未標記的數據對目標答案進行評分的計算機程序產品。該計算機程序產品包括可由處理電路讀取的非暫時性存儲介質，該存儲介質存儲可由處理電路執行以使得方法得以執行的指令。該方法包括識別一組偽參考答案并對該組偽參考答案進行評分。該方法還包括至少部分地基于一組專業知識度量來對該組經評分的偽參考答案進行加權，并且至少部分地基于經加權的該組經評分的偽參考答案來確定目標答案的分數。

附圖說明

參考附圖闡述詳細描述。附圖僅僅是為了說明的目的而提供的，并且僅僅描述了本公開的示例性實施例。提供附圖是為了便于理解本公開，并且不應被視為限制本公開的寬度、范圍或適用性。在附圖中，參考數字的最左邊的數字標識參考數字首次出現的附圖。使用相同的參考數字來表示相似但不一定相同的組件。然而，不同的參考數字也可以用來標識相似的組件。各種實施例可以利用不同于附圖所示的元件或組件，并且一些元件和/或組件可以不存在于各種實施例中。根據上下文，使用單數術語來描述組件或元件可以包括多個這樣的組件或元件，反之亦然。

圖1是示意性混合數據流/框圖，示出了根據示例實施例的使用未標記的數據的答案評分。

圖2是根據一個或多個示例實施例的用于至少部分地基于賦予一組偽參考答案的分數對目標答案進行評分的說明性方法的過程流程圖。

圖3是根據一個或多個示例實施例的用于聚集一組答案以獲得聚類并選擇聚類中心為該組偽參考答案的說明性方法的過程流程圖。

圖4是被配置為實現一個或多個示例實施例的說明性計算設備的示意圖。

具體實施方式

示例實施例涉及用于使用未標記的數據來確定目標學生答案分數的系統、方法、計算機可讀介質、技術和方法等。在示例實施例中，目標答案是由學生對沒有參考標準答案數據的問題提供的。例如，問題可以是開放式論文問題，或者要求不能被標記為明確正確答案的基于文本的答案的其他簡短問題。