[發(fā)明專利]一種NiFi同步數(shù)據(jù)量統(tǒng)計方法

有效

• 申請?zhí)枺?/td>: 202110001764.2
• 申請日: 2021-01-04
• 公開（公告）號: CN112732662B
• 公開（公告）日: 2023-03-28
• 發(fā)明（設計）人: 翟建峰;胡清;李國濤
• 申請（專利權(quán)）人: 浪潮云信息技術(shù)股份公司
• 主分類號: G06F16/178
• 分類號: G06F16/178;G06F16/16
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 郗艷榮

1.一種NiFi同步數(shù)據(jù)量統(tǒng)計方法，其特征在于：基于NiFi數(shù)據(jù)文件批次標識，數(shù)據(jù)文件編碼以及數(shù)據(jù)文件數(shù)據(jù)量標識屬性實現(xiàn)對同步數(shù)量的統(tǒng)計；

具體包括以下步驟：

第一步，生成NiFi數(shù)據(jù)文件批次標識；

第二步，對數(shù)據(jù)文件進行編碼，并生成數(shù)據(jù)文件數(shù)據(jù)量標識屬性；

具體獲取數(shù)據(jù)的組件對每個批次的所有數(shù)據(jù)文件都進行編碼，并將每個數(shù)據(jù)文件都增加current.index和next.index屬性，從而生成數(shù)據(jù)文件序號標識，用于標識數(shù)據(jù)文件的順序，以便在多線程并發(fā)處理后重新排序；

根據(jù)數(shù)據(jù)的類別不同添加不同的屬性，生成所述數(shù)據(jù)文件數(shù)據(jù)量標識屬性，用于標識數(shù)據(jù)文件中數(shù)據(jù)的量；

數(shù)據(jù)量結(jié)構(gòu)化數(shù)據(jù)添加resultCount屬性，二進制數(shù)據(jù)則添加file.size屬性；

第三步，將數(shù)據(jù)文件進行分塊處理

當數(shù)據(jù)進入到NiFi集群后存在數(shù)據(jù)處理場景時，在數(shù)據(jù)處理過程中將一個帶有current.index變量的數(shù)據(jù)文件拆分成多個數(shù)據(jù)文件；

在數(shù)據(jù)文件中增加拆分序號標識FragmentNumber和NextFragmentNumber，并更新數(shù)據(jù)文件FlowFile的數(shù)據(jù)量標識屬性resultCount；

第四步，將數(shù)據(jù)文件進行重新排序；

數(shù)據(jù)文件經(jīng)過并發(fā)處理或者進行分塊之后，數(shù)據(jù)文件FlowFile順序會有變動，針對對數(shù)據(jù)順序敏感的增量數(shù)據(jù)流程，將亂序的FlowFile數(shù)據(jù)文件根據(jù)數(shù)據(jù)文件序號標識和分塊標識值進行重新排序；

第五步，數(shù)據(jù)入庫

根據(jù)數(shù)據(jù)類型和目標庫不同，選用不同的數(shù)據(jù)加載組件，對數(shù)據(jù)進行加載；

第六步，數(shù)據(jù)完整性判斷及數(shù)據(jù)量統(tǒng)計

使用BitMap方式存儲同一批次數(shù)據(jù)文件所有接收到的FlowFile Index和Fragment相關屬性值；根據(jù)同一批次數(shù)據(jù)文件的flowFlag標識值，判斷該批次的所有數(shù)據(jù)文件是否全部接收完畢；若全部接收完畢，則利用EndFlow組件統(tǒng)計該批次同步數(shù)據(jù)文件的數(shù)量。

2.根據(jù)權(quán)利要求1所述的NiFi同步數(shù)據(jù)量統(tǒng)計方法，其特征在于：所述第一步中，通過StartFlow組件來生成NiFi數(shù)據(jù)文件批次標識；所述NiFi數(shù)據(jù)文件批次標識對應的數(shù)據(jù)文件屬性為flowFlag，相同的批次標識對應同一個批次的NiFi數(shù)據(jù)文件。