[發(fā)明專利]考勤數(shù)據(jù)的處理方法及裝置

有效

• 申請?zhí)枺?/td>: 201610705087.1
• 申請日: 2016-08-22
• 公開（公告）號: CN107766388B
• 公開（公告）日: 2020-09-01
• 發(fā)明（設(shè)計）人: 蔣守壯
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G07C1/10
• 代理公司: 深圳市沃德知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44347
• 代理人: 高杰;于志光

本發(fā)明涉及一種考勤數(shù)據(jù)的處理方法及裝置，所述考勤數(shù)據(jù)的處理方法包括：考勤數(shù)據(jù)庫系統(tǒng)建立用于存放以一天為時間維度的考勤數(shù)據(jù)的、預(yù)設(shè)數(shù)量的考勤數(shù)據(jù)文件，每一考勤數(shù)據(jù)文件對應(yīng)一reduce節(jié)點，且不同的考勤數(shù)據(jù)文件對應(yīng)不同的reduce節(jié)點；將每天的考勤數(shù)據(jù)隨機(jī)均勻分配給預(yù)設(shè)數(shù)量的reduce節(jié)點，并由預(yù)設(shè)數(shù)量的各reduce節(jié)點將收到的考勤數(shù)據(jù)插入所對應(yīng)的考勤數(shù)據(jù)文件中對應(yīng)的時間維度下。本發(fā)明不會因為文件小而多導(dǎo)致系統(tǒng)異常，保證系統(tǒng)的正常運行；考勤數(shù)據(jù)分布均勻，提高考勤數(shù)據(jù)的查詢性能。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)庫技術(shù)領(lǐng)域，尤其涉及一種考勤數(shù)據(jù)的處理方法及裝置。

背景技術(shù)

目前，企業(yè)中針對員工考勤數(shù)據(jù)的大數(shù)據(jù)產(chǎn)品通常使用的是Hive作為數(shù)據(jù)倉庫，然而，采用Hive作為數(shù)據(jù)倉庫會出現(xiàn)如下的一些問題或存在如下的缺陷：1、如果考勤數(shù)據(jù)根據(jù)時間維度來自動創(chuàng)建Hive表的動態(tài)分區(qū)(每個動態(tài)分區(qū)用來保存具體某一天的考勤數(shù)據(jù))時，則生成的Hive表的底層對應(yīng)的文件數(shù)量較多，甚至達(dá)到10萬多個，例如原始考勤數(shù)據(jù)為610G，產(chǎn)生的文件數(shù)量＝分區(qū)數(shù)*作業(yè)數(shù)，且每個文件很小，文件數(shù)量容易超過系統(tǒng)的限制而導(dǎo)致系統(tǒng)異常；2、如果通過Hive的算法將相同日期的考勤數(shù)據(jù)置于集群的一個reduce節(jié)點進(jìn)行處理時，容易導(dǎo)致每個動態(tài)分區(qū)中的考勤數(shù)據(jù)分布不均勻，即有的reduce節(jié)點處理的考勤數(shù)據(jù)較大(例如，20G)，有的reduce節(jié)點處理的考勤數(shù)據(jù)較小(例如，5k)，使得數(shù)據(jù)查詢性能差。

發(fā)明內(nèi)容

本發(fā)明所要解決的技術(shù)問題是提供一種考勤數(shù)據(jù)的處理方法及裝置。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案如下：一種考勤數(shù)據(jù)的處理方法，所述考勤數(shù)據(jù)的處理方法包括：

S1，考勤數(shù)據(jù)庫系統(tǒng)建立用于存放以一天為時間維度的考勤數(shù)據(jù)的、預(yù)設(shè)數(shù)量的考勤數(shù)據(jù)文件，每一考勤數(shù)據(jù)文件對應(yīng)一reduce節(jié)點，且不同的考勤數(shù)據(jù)文件對應(yīng)不同的reduce節(jié)點；

S2，將每天的考勤數(shù)據(jù)隨機(jī)均勻分配給預(yù)設(shè)數(shù)量的reduce節(jié)點，并由預(yù)設(shè)數(shù)量的各reduce節(jié)點將收到的考勤數(shù)據(jù)插入所對應(yīng)的考勤數(shù)據(jù)文件中對應(yīng)的時間維度下。

優(yōu)選地，所述考勤數(shù)據(jù)處理方法還包括：

S3，在接收到包括時間維度信息和查詢對象信息的考勤數(shù)據(jù)查詢請求后，將所述考勤數(shù)據(jù)查詢請求分發(fā)給各reduce節(jié)點，以由各reduce節(jié)點從考勤數(shù)據(jù)文件對應(yīng)的時間維度下的考勤數(shù)據(jù)中查詢出所述查詢對象信息的考勤數(shù)據(jù)。

優(yōu)選地，所述步驟S2包括：

將每天的考勤數(shù)據(jù)隨機(jī)均勻分割成預(yù)設(shè)數(shù)量的考勤數(shù)據(jù)子集；

獲取一所述考勤數(shù)據(jù)子集的大小與一所述考勤數(shù)據(jù)文件的大小的總和，分析所述總和是否小于等于預(yù)設(shè)閾值；

若所述總和小于等于所述預(yù)設(shè)閾值，則將各所述考勤數(shù)據(jù)子集隨機(jī)分配給預(yù)設(shè)數(shù)量的reduce節(jié)點，并由各reduce節(jié)點將收到的所述考勤數(shù)據(jù)子集的考勤數(shù)據(jù)插入所對應(yīng)的考勤數(shù)據(jù)文件中對應(yīng)的時間維度下。

優(yōu)選地，所述步驟S2還包括：

若所述總和大于所述預(yù)設(shè)閾值，則向預(yù)定的終端發(fā)送提醒信息，以提醒增加reduce節(jié)點的數(shù)量并重新分配考勤數(shù)據(jù)至reduce節(jié)點；或者自動增加reduce節(jié)點的數(shù)量，以重新分配考勤數(shù)據(jù)至reduce節(jié)點。

本發(fā)明解決上述技術(shù)問題的技術(shù)方案還如下：一種考勤數(shù)據(jù)的處理裝置，所述考勤數(shù)據(jù)的處理裝置包括：

建立模塊，用于考勤數(shù)據(jù)庫系統(tǒng)建立用于存放以一天為時間維度的考勤數(shù)據(jù)的、預(yù)設(shè)數(shù)量的考勤數(shù)據(jù)文件，每一考勤數(shù)據(jù)文件對應(yīng)一reduce節(jié)點，且不同的考勤數(shù)據(jù)文件對應(yīng)不同的reduce節(jié)點；