[發明專利]一種面向GitHub與Travis CI的完整持續集成數據收集方法

有效

• 申請號: 201910519306.0
• 申請日: 2019-06-17
• 公開（公告）號: CN110286880B
• 公開（公告）日: 2020-12-01
• 發明（設計）人: 朱家鑫;陳偉;竇文生;吳國全;魏峻
• 申請（專利權）人: 中國科學院軟件研究所
• 主分類號: G06F8/10
• 分類號: G06F8/10;G06F8/20;G06F16/24;G06F16/25
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗;鄧治平

本發明提供一種面向GitHub與Travis CI的完整持續集成數據收集方法，持續監控目標項目在Travis CI上的構建活動，下載并保存新的構建記錄，根據新的構建記錄從GitHub上精準收集對應的未被收集的代碼提交記錄。相比于現有技術，本發明能夠完整地收集面向GitHub與Travis CI的持續集成數據。

技術領域

本發明涉及軟件開發數據收集領域，尤其涉及一種面向GitHub與Travis CI的完整持續集成數據收集方法。

背景技術

軟件開發活動數據是軟件項目在開發過程中各種開發工具自動記錄的數字化的各類開發活動歷史。

軟件開發活動數據可以用來分析軟件開發實踐獲取相關洞察幫助軟件項目提高開發效率和質量。

持續集成數據是軟件項目所使用的持續集成工具及版本控制工具所記錄的持續集成活動歷史。

GitHub是目前一種主流的線上協作平臺，該平臺的代碼變更管理基于Git版本控制系統實現，開發者所提交的代碼變更被稱為代碼提交(commit)，Travis CI是常常與GitHub共同使用的一種主流的線上持續集成工具，用于自動檢查新的代碼提交是否存在質量缺陷。

GitHub與Travis CI均提供了REST API，兩個平臺上的持續集成數據也都是開放的，可以使用這些API獲取。

由于GitHub所記錄的部分代碼提交歷史會被開發者或者GitHub平臺刪除，能夠被收集到的歷史持續集成數據常常是不完整的。

目前，面向GitHub與Travi sCI進行持續集成數據收集的有TravisTorrent項目(https://travistorrent.testroots.org/)，而該項目在數據收集中并沒有對上述歷史數據不完整問題提出有針對性的方法，而是使用虛擬數據彌補已發現的數據遺漏，這在一定程度上造成了該項目所收集的數據不準確的問題。

本發明通過監控式的、持續的、增量式的數據收集方法，有效解決了數據不完整的問題。

發明內容

本發明所要解決的技術問題是：克服現有的持續集成數據易失性所引起的數據收集不完整問題，提供一種面向GitHub與Travis CI的完整持續集成數據收集方法。

本發明技術解決方案：一種面向GitHub與Travis CI的完整持續集成數據收集方法，包括：

(1)設置需要收集持續集成數據的目標項目，包括目標項目在GitHub與TravisCI上的ID；

(2)以一小時一次的頻率，使用Travis CI的項目構建記錄查詢接口輪詢目標項目的線上構建記錄，以此實現持續地監控目標項目在Travis CI上的新構建，在每一輪查詢中，首先查詢線上構建記錄的第一頁，對比已收集的構建記錄，如果沒有新的構建記錄則停止，否則繼續查詢下一頁并保存新的構建記錄；

(3)從步驟(2)收集到的每一條構建記錄中抽取該次構建的代碼版本所對應的GitHub中代碼提交(commit)的ID；

(4)對于步驟(3)中提取的每一個代碼提交ID，如果本地沒有保存該代碼提交的信息則使用GitHub的代碼提交查詢接口獲取其詳細信息并保存，同時檢查本地是否保存其父代碼提交信息，如果沒有則繼續查詢并保存其父代碼提交信息，依此類推，直到本地已保存了正在查詢的代碼提交的父代碼提交信息或正在查詢的代碼提交無父代碼提交，以此實現增量式的精準代碼提交數據獲取，即獲取且僅獲取新增代碼提交的信息。

本發明與現有技術相比的優點在于：

(1)有效解決了持續集成歷史數據易失的問題，通過本發明收集的數據能夠真實反映目標項目過去的持續集成活動，基于這些數據所得的分析結果更為可靠。