[發明專利]一種基于用戶行為的編程能力評估方法

在審

• 申請號: 201710776947.5
• 申請日: 2017-09-01
• 公開（公告）號: CN107704993A
• 公開（公告）日: 2018-02-16
• 發明（設計）人: 鄭萌
• 申請（專利權）人: 北京猿圈科技有限責任公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 北京匯信合知識產權代理有限公司11335
• 代理人: 夏靜潔

技術領域

本發明涉及一種能力評估方法，特別是一種基于用戶行為的編程能力評估方法。

背景技術

目前主流的評估方法，主要分為兩類：基于動態運行測試的評估方法和基于靜態分析的評估。

基于動態運行測試的方法包括：記錄test case通過率，分析代碼編譯出錯次數等。基于靜態分析的評估方法包括：軟件工程矩陣，程序予以分析，程序相似度，最佳實踐，代碼風格，代碼健壯性等。

現有的兩種評估方法，均存在較為明顯的缺陷，如評估成本高，評估過程時間久，評估結果不全面，無法反應被評估者全面的編程能力。

發明內容

為解決上述問題，本發明的一個實施例提供了一種基于用戶行為的編程能力評估方法，所述方法包括：(1)采集編程過程數據；(2)提取所述編程過程數據中編程行為特征；(3)對所述編程行為特征進行數據處理；(4)建立訓練模型；(5)根據所述訓練模型對處理后的所述數據進行實驗，并生成實驗結果；(6)根據所述實驗結果生成實驗結論。

上述的基于用戶行為的編程能力評估方法，(1)所述采集編程過程數據，具體包括：對用戶在所述編程過程中的行為進行采集，并對數據進行預處理。

上述的基于用戶行為的編程能力評估方法，(2)所述提取所述編程過程數據中編程行為特征的具體步驟如下：WEB瀏覽器發送編譯請求代碼至服務器；所述服務器發送符合所述編譯請求代碼的類型的編譯器的開發環境信息至所述WEB瀏覽器，并且在所述WEB瀏覽器中形成與所述開發環境信息對應的開發環境；所述WEB瀏覽器發送在所述開發環境下編寫的源代碼至所述編譯器；所述編譯器發送運行所述源代碼的運行結果至所述WEB瀏覽器；所述WEB瀏覽器將編寫源代碼過程的過程信息實時發送至服務器，所述服務器根據所述過程信息生成并存儲記錄文件，所述WEB瀏覽器與所述服務器之間通過websocket實時通信。

上述的基于用戶行為的編程能力評估方法，所述過程信息包括：用時、間隔用時，代碼編輯活動的編輯內容、工作量；通過統計算法，得到所述編譯事件類型特征中基礎事件的統計，解決編譯錯誤的行為模式，編譯錯誤的發生模式，編譯錯誤的類型模式；通過統計算法，得到所述組合特征包括中事件放到用戶不同編輯階段中進行統計信息，事件與用戶所處編程環境相結合信息。

上述的基于用戶行為的編程能力評估方法，所述基礎事件的統計包括插入、刪除、復制和粘貼。

上述的基于用戶行為的編程能力評估方法，(3)所述編程行為特征進行數據處理包括：無效的編譯提交、含注釋操作的編譯提交及同一次編譯提交的編譯錯誤；

其中，無效的編譯提交為去除“無效編譯事件”的發生次數；含注釋操作的編譯提交包括：通過所述行為特征的正則表達式找出每次編譯事件所對應的代碼快照中的注釋內容，根據編譯事件對的組織形式，對編譯事件所對應的代碼快照進行對比，從而辨認識別出編譯提交所屬的類型；根據是否包含注釋內容把一次編譯提交分為僅包含注釋內容的編譯提交和包含注釋內容以及其他代碼改動的編譯提交；若編譯提交屬于僅包含注釋內容的編譯提交的情況，則這次編譯提交事件需要被標注為無效編譯提交；若編譯提交屬于包含注釋內容以及其他代碼改動的編譯提交的情況，則這次編譯提交事件仍然有效；同一次編譯提交的編譯錯誤為：在一次編譯提交中，同一種類型的編譯錯誤數量最多只計兩次封頂，而不是全部計入統計。

上述的基于用戶行為的編程能力評估方法，(4)所述建立訓練模型的具體步驟如下，

編程過程建模

首先，根據如下公式，

S＝(s0,s1,……,si,……,sn)

其中，s0為編程過程的起始用程序的初始狀態；sn為編程過程的最終的程序狀態；

其次，根據如下公式

P＝(s0,A1,e1,sI,……,Ai,ei,si,……,An,en,sn)；及

Ai＝(a1,a2,……,ai,……,an)

其中，s表示程序某一時刻的狀態，n表示用戶提交編譯事件的次數，ei表示si與si+1之間的提交編譯事件，Ai表示si與si+1之間的編程活動過程，即由一系列編程活動a組成的有序行為序列。

上述的基于用戶行為的編程能力評估方法，(5)所述根據所述訓練模型對處理后的數據進行實驗，并生成實驗結果具體包括：對不同分類器進行打分的準確率和預測分和時機評價分的差值的分布。

上述的基于用戶行為的編程能力評估方法，(6)所述根據所述實驗結果生成實驗結論，包括：預測準確性、計算高分段和低分段的樣本區分能力和二類用戶行為特征集的算法及效果預測。