[發明專利]基于動態網絡圖挖掘的Github開源代碼庫推薦系統

有效

• 申請號: 201711392111.1
• 申請日: 2017-12-21
• 公開（公告）號: CN108073710B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 劉瀚誠;朱彤
• 申請（專利權）人: 儒安物聯科技集團有限公司
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06Q50/00
• 代理公司: 無錫市大為專利商標事務所(普通合伙) 32104
• 代理人: 曹祖良;屠志力

本發明提供一種基于動態網絡圖挖掘的Github開源代碼庫推薦系統，包括：任務調度模塊、演示網站中的用戶交互頁面、推薦算法模塊、日志管理模塊、以及數據庫；該系統利用Github數據接口與Github Archive數據平臺作為數據源進行數據采集，在圖數據庫Neo4J中建立社交網絡數據圖譜，并在此基礎上，一方面利用數據爬蟲與Github數據推送服務實時更新網絡數據；另一方面設計有關推薦算法與用戶交互界面，向用戶提供推薦服務。

技術領域

本發明利用從公開數據源采集的Github開源代碼庫數據，構建以天為單位進行更新的動態網絡圖，并在此基礎上設計數據挖掘算法與交互式界面，向用戶提供綜合且行之有效的個性化開源代碼庫推薦系統。確切地說，是涉及到網絡信息采集(數據爬蟲)、社交網絡數據挖掘與推薦系統技術的數據科學技術領域。

背景技術

在推薦系統領域中，隨著諸如協同過濾、PersonalRank算法等推薦算法的普及，面向用戶個人需求的個性化推薦系統已成為眾多內容服務類產品中不可或缺的信息服務。當前，在電子商務、電影、圖書、音樂、新聞等領域中，優秀的個性化推薦系統能夠允許用戶更有效地獲得與期待相符的信息，進而提升對服務的滿意程度。

當前，在包括上文所述的眾多領域，推薦系統已獲得廣泛應用。但是在以Github為代表的開源代碼庫領域，有效的個性化推薦系統仍然有待發展。在本發明的調研階段，可以發現，諸如Github Ranking和Github Explore等現有推薦服務均采用非個性化推薦的模式；而在相關個性化推薦算法的研究中，所使用的數據又均為靜態數據集，不具備實時性與市場化能力。綜上所述，可以認為，在開源代碼庫這一領域，個性化推薦仍然處于萌芽期。

與此同時，當前推薦系統的支持技術，包括數據服務(Github Archive平臺與Github數據接口)、爬蟲技術與推薦算法已基本趨于成熟。因此以成熟技術為基礎，利用公開數據源構造開源代碼庫上的社交網絡數據結構，并在此基礎上進行有效的數據挖掘與分析，構造個性化推薦系統，一方面能夠確保軟件開發者在開發過程中能夠更加有效地尋找所需要的開源代碼庫，另一方面也能夠為處在學習期的相關人士提供有效的源碼學習資源，起到加快學習與開發效率的積極意義。

發明內容

本發明的目的在于克服現有技術中存在的不足，提供一種基于動態網絡圖挖掘的Github開源代碼庫推薦系統，圍繞Github平臺實現，旨在提供一種行之有效的實時開源代碼庫個性化推薦系統，以網站服務的形式，向開發者提供與時俱進、且與用戶個人需求密切關聯的代碼庫推薦服務。本發明采用的技術方案是：

一種基于動態網絡圖挖掘的Github開源代碼庫推薦系統，包括：

任務調度模塊、演示網站中的用戶交互頁面、推薦算法模塊、日志管理模塊、以及數據庫；

任務調度模塊負責控制推薦算法模塊的推薦結果更新和至少部分數據爬蟲的運行；

日志管理模塊從多方獲取數據信息，并向其他模塊開放查詢接口；

推薦算法模塊則根據相關數據計算推薦列表；相關數據將根據不同需要存儲在不同類型的數據庫，包括文檔式數據庫、圖數據庫和內存數據庫三種數據庫。

進一步地，圖數據庫中主要實體包括用戶、代碼庫、編程語言、排名四項，用戶的行為包括：創建代碼庫、成為代碼庫的成員，貢獻代碼、提問、收藏、復制、關注其他用戶；

以不同時間粒度為基準，代碼庫擁有多種形式的排名，以創建于屬性標注排名產生時間；此外，開發者使用一種或多種編程語言編寫代碼庫，語言名稱以語言名稱屬性描述；對于用戶，圖數據庫存儲其編號、頭像地址、郵箱、用戶名與登錄用戶名；對于代碼庫，存儲其編號、代碼庫名稱、收藏人數、關注人數與復制代碼庫數量；

在文檔式數據庫和內存數據庫中緩存推薦列表。

進一步地，