[發明專利]基于半監督學習的軟件工程知識庫的自動化構建實現方法

有效

• 申請號: 201710120880.X
• 申請日: 2017-03-02
• 公開（公告）號: CN106875014B
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 董翔;沈備軍;陳凱
• 申請（專利權）人: 上海交通大學
• 主分類號: G06N5/02
• 分類號: G06N5/02;G06F16/21
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種基于半監督學習的軟件工程知識庫的自動化構建實現方法，解決軟件工程領域知識庫現階段較為匱乏、概念數目難以達到大規模程度、概念間的關系較為稀疏、同時需要投入大量人工精力的問題，本發明通過：一、根據標簽傳播，采用維基百科和StackOverflow數據源擴充軟件工程領域的概念集合；二、構建對軟件工程領域概念進行上下位關系抽取的機器學習特征；三、分別采用模版匹配和規則匹配的方法自動化標注關系抽取的正例和反例訓練數據；四、根據迭代的半監督的學習方法進行概念間關系的抽取工作，并結合評估規則優化每次迭代的抽取結果；五、采用RDF語言對知識庫進行標準化構建得以實現。

技術領域

本發明涉及的是一種軟件工程領域的技術，具體是一種基于半監督學習的軟件工程知識庫的自動化構建實現方法。

背景技術

當今社會是以語義萬維網(Semantic Web)作為未來發展主要方向的時代，構造能讓計算機理解和處理的Web信息成為現階段非常重要的工作。而知識庫(Knowledge Base)作為具有概念、實體、關系所組成的知識集合，使其在信息檢索，知識問答等蓬勃發展的環境下，具有越來越重要的應用價值和工業價值。而軟件工程領域知識庫作為知識庫中的一個重要分支，同樣凸顯著難以替代的作用。尤其是在：缺陷預測、語義關聯性計算、文本正確性分析、軟件文檔相關性監測、軟件質量度量等領域的研究，大都基于軟件工程領域知識庫展開。因此，軟件工程領域知識庫的質量，很大程度上決定并影響研究的質量與效果。因此，構建高質量、大規模的軟件工程領域知識庫具有非常重要的意義。

由于現階段大規模的軟件工程知識庫尚無完備的構建方法和構建成果，獲取軟件工程知識庫主要通過以下兩種方法：

通過一般領域的開源知識庫獲得軟件工程領域知識。

該方法主要通過開源的且為一般領域的知識庫，例如：WordNet、YAGO、DBpedia、WikiTaxonomy等知識庫，或者通過著名知識搜索計算平臺如Google知識圖譜、WolframAlpha、Data.gov等平臺獲取。首先，獲得其中一個一般領域的知識庫或知識平臺，然后通過人工驗證、類別驗證(根據知識庫中標注的類別，選取相關類別抽取知識集)的方式，將其中關于軟件工程領域的知識分離出來構造集合，并進行結構化的構建，以此來作為軟件領域的知識庫。但由于一般領域知識庫中關于軟件工程領域知識不夠全面，同時人工驗證和類別驗證的準確度不高，得到的軟件工程領域知識庫存在關系稀疏、構建質量低的問題，同時會投入極大的人工成本。

通過現階段已有的軟件工程領域知識庫獲得。

該方法是直接使用現階段已構建的軟件工程領域知識庫。其相關可供使用的知識庫有：Kavi Mahesh等人發布的LOaD-IT，這個知識庫致力于幫助軟件工程師更快閱讀文檔而構建，其中的概念的語義關系非常稀疏，難以運用到軟件工程的其它領域。Mr.IzzeddinA.O.Abuhassan等人構造的關于軟件工程編程語言方面的知識庫，該知識庫沒有涉及到全部的軟件工程領域范圍。Lexical Views，該知識庫通過運用自然語言處理技術從軟件工程領域抽取出部分的概念，其概念大多為軟件工程中術語，并將其組織成類似于WordNet的樹狀結構，構建成知識庫。上海交通大學的Software.Zhishi.Schema，該知識庫主要抽取StackOverflow中的標簽作為知識庫的概念集合，并抽取標簽之間的關系構建知識庫，其構建結果局限于StackOverflow的標簽范圍之內。上述研究成果都具有各自的局限性，其主要特點是缺乏包含較為全面的、大規模的軟件工程領域概念，并且其中語義關系的豐富性(如上下位關系的數目與深度)，都有待進一步的提高。

發明內容