[發明專利]基于異構圖神經網絡的跨模態問題Q矩陣自動構建方法

有效

• 申請號: 202110876668.2
• 申請日: 2021-07-31
• 公開（公告）號: CN113569870B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 宋凌云;劉至臻;尚學群;張穎;李戰懷
• 申請（專利權）人: 西北工業大學
• 主分類號: G06V10/44
• 分類號: G06V10/44;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉新瓊

本發明公開了一種基于異構圖神經網絡的跨模態問題Q矩陣自動構建方法，構建了一個同時包含跨模態問題和知識點的異構圖，根據相似度建立問題之間與知識點之間的連接，并提出了一個用于學習此異構圖節點表示的異構圖神經網絡，對異構圖中的節點特征表示和問題節點和知識點節點間的鏈接預測進行學習，找出問題和知識點之間的對應關系，以此達到Q矩陣自動構建的目的。本發明通過圖神經網絡中的鏈接預測在異構圖中直接尋找問題與知識點的關聯，減少了計算機的運算負擔。此外，將問題間的相似度信息引入到知識點的預測過程中，增加問題節點之間的聯系，以此提高后續知識點預測的準確性。

技術領域

本發明屬于專家系統技術領域，具體涉及一種跨模態問題Q矩陣自動構建方法。

背景技術

認知診斷是在線教育系統的重要功能，可以通過學生的答題得分，自動評估學生在相關知識點上的掌握情況，幫助教師更好地分析出學生學習的不足與缺陷，使教師了解到教學的不足之處并加以改進，更好地實現教學與評價相結合，促進學生更有效地成長。Q矩陣由問題和知識點的關聯關系構成，它是認知診斷模型進行參數估計和結果預測的一個重要依據。

現有的Q矩陣往往由專家根據問題本身人工構建而成，這需要耗費大量的人工成本，難以在大規模數據集上實現。因此，研究Q矩陣的自動構建方法，是認知診斷模型應用于大規模問題數據集的前提和基礎。目前已有的Q矩陣自動構建方法通常針對僅包含文字描述的單模態問題，它們存在如下缺陷：①不適用于跨模態問題。在圖文混合的跨模態問題中，只利用問題中的文本描述往往難以無法全面地找出問題考察的所有知識點，必須結合文本和圖片信息，所以這些方法難以直接應用于跨模態問題。②忽視問題與問題之間的聯系。相似的問題往往會考察類似的知識點，而考察相同知識點的兩個問題之間往往比較相似。③依賴于數據量。不少方法在構建Q矩陣時基于學生的作答成績，當學生的作答成績數據較少時，現有的許多方法會失去其準確性。

發明內容

為了克服現有技術的不足，本發明提供了一種基于異構圖神經網絡的跨模態問題Q矩陣自動構建方法，構建了一個同時包含跨模態問題和知識點的異構圖，根據相似度建立問題之間與知識點之間的連接，并提出了一個用于學習此異構圖節點表示的異構圖神經網絡，對異構圖中的節點特征表示和問題節點和知識點節點間的鏈接預測進行學習，找出問題和知識點之間的對應關系，以此達到Q矩陣自動構建的目的。本發明通過圖神經網絡中的鏈接預測在異構圖中直接尋找問題與知識點的關聯，減少了計算機的運算負擔。此外，將問題間的相似度信息引入到知識點的預測過程中，增加問題節點之間的聯系，以此提高后續知識點預測的準確性。

本發明解決其技術問題所采用的技術方案包括如下步驟：

步驟1：構建異構圖；

步驟1-1：設置節點；

將每個跨模態問題分別對應一個跨模態問題節點，將每個知識點分別對應一個知識點節點，得到兩種節點，它們分別為總數為N的跨模態問題節點和總數為M的知識點節點；

步驟1-2：構建問題-問題邊；

使用BERT和感知哈希算法分別計算跨模態問題間的文本相似度和圖片相似度，將文本相似度大于y₁，且圖片相似度大于y₂的跨模態問題對應的節點連接起來，得到問題-問題邊；

步驟1-3：構建問題-知識點邊；

根據數據集中對跨模態問題所考察知識點的標注信息判斷跨模態問題是否考察了知識點，如果已考察，則將跨模態問題對應的節點與被考察的知識點所對應的節點連接起來，得到問題-知識點邊；

步驟1-4：構建知識點-知識點邊；

使用BERT計算得出知識點間的文本相似度，將文本相似度大于y₁的知識點對應的節點連接起來，得到知識點-知識點邊；

步驟2：構建基于異構圖神經網絡的Q矩陣；