[發明專利]基于IT技術問答網站的計算機技術領域發展趨勢分析方法

有效

• 申請號: 202110585021.4
• 申請日: 2021-05-27
• 公開（公告）號: CN113220855B
• 公開（公告）日: 2022-07-22
• 發明（設計）人: 萬志遠;王懿豐;楊小虎
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/338;G06F16/35
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 陳升華

本發明公開了一種基于IT技術問答網站的計算機技術領域發展趨勢分析方法，包括：識別技術領域關鍵字；以關鍵字為初始輸入，識別IT技術問答網站上與該技術領域相關的標簽，基于標簽提取并過濾該技術領域的相關帖子；按照領域內的不同技術平臺劃分數據集；從該技術領域的多項代表性技術平臺中，提取該技術領域的參考架構；在每一個子數據集上采用LDA主題模型對數據集進行聚類，其中以梯度式搜索方法確定最佳主題數量；將主題與參考架構進行映射，確定主題名稱；設置評估指標，分析該技術領域內不同主題、不同層次的知識的發展趨勢。本發明以IT技術問答網站中某技術領域知識的帖子為數據集，分析該技術領域知識的發展趨勢。

技術領域

本發明涉及計算機大數據分析技術領域，具體涉及一種基于IT技術問答網站的計算機技術領域發展趨勢分析方法。

背景技術

IT技術問答網站是計算機領域從業者常用的技術知識交流平臺，網站中通常包含了數以百萬計的帖子，涵蓋編程、移動、安全、算法等與軟件開發和維護相關的主題。其參與者中有相當一部分人在不同的領域有著深厚的專業知識。開發人員會詢問關于各種領域的技術問題，主題多樣。因此，IT技術問答網站成為了計算機各個技術領域的知識庫，其豐富的數據集也成為研究者們重要的研究對象，Stack Overflow問答網站便是其中之一。

參考架構描述了某個技術領域的重要組件以及各個組件的關系，它為軟件系統建立了一個共同的機制，以提高系統及各組件之間的互操作性，為特定領域的軟件系統提供了通用構件、體系結構樣式和領域詞匯表等，有助于統一體系結構的描述。已有的經典參考架構包括計算機網絡的參考體系模型等。

主題模型是一種從給定文本語料庫中確定其主題的數據分析模型，它將文檔視為主題的概率分布，將主題視為單詞的概率分布。潛在狄利克雷分布(latent Dirichletallocation，簡稱LDA)主題模型是著名的主題模型之一，它以文檔詞匯矩陣a(a_ij表示第j個詞匯在第i個文檔中出現的次數)為輸入，得出文檔主題矩陣b(b_ij表示第i個文檔屬于第j個主題的概率)與主題詞匯矩陣c(c_ij表示第j個詞匯屬于第i個主題主題的概率)，將每個帖子屬于的最高概率的主題作為該帖子的主題，再將分配同一主題的帖子分為一組。LDA主題模型已被大量應用于分析技術領域的信息數據，并為軟件工程提供經驗。

發明內容

本發明提出一種基于IT技術問答網站的計算機技術領域發展趨勢分析方法，以IT技術問答網站中某技術領域知識的帖子為數據集，提取該技術領域的參考架構，采用潛在狄利克雷分布(latent Dirichlet allocation，簡稱LDA)主題模型進行聚類，獲取該技術領域內各個主題、各個層次的知識討論情況，通過設置各項評估指標，分析該技術領域知識的發展趨勢。

一種基于IT技術問答網站的計算機技術領域發展趨勢分析方法，該方法包括以下步驟：

步驟1：數據采集與劃分，具體包括：

識別技術領域關鍵字，以關鍵字為輸入識別技術領域標簽，提取該技術領域的標簽，基于標簽提取并過濾IT技術問答網站中該技術領域的相關帖子，獲取數據集，隨后按照目標領域的不同技術平臺劃分數據集，形成多個子數據集。

步驟2：提取技術領域的參考架構。

步驟3：確定主題與數據處理，具體包括：

對步驟1得到的數據集進行預處理，以一種優化的梯度式搜索方法確定LDA主題模型的最佳主題數量，隨后分別在每個子數據集上采用LDA主題模型對子數據集按主題進行聚類，并自動化命名主題；

步驟4：將步驟3獲得的主題與步驟2獲得的該技術領域的參考架構進行匹配；

步驟5：設置評估指標進行度量，分析技術領域的知識發展趨勢。