[發明專利]多線程數據文件處理方法、設備和介質

在審

• 申請號: 202211320758.4
• 申請日: 2022-10-26
• 公開（公告）號: CN115756828A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 王佳
• 申請（專利權）人: 中國建設銀行股份有限公司上海市分行
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06F9/48;G06F16/16
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 羅婷婷

1.一種多線程數據文件處理方法，包括：

響應于接收到對包括多行記錄的待處理數據文件執行處理任務的操作請求，啟動主線程，所述主線程被配置為在被啟動后執行以下操作：

基于機器性能確定文件切片大小以及最大空閑任務線程數；

基于所述文件切片大小為所述待處理數據文件逐個地生成文件切片節點，以供添加到待處理切片節點列表中；

如果確定線程池存在一個或多個空閑任務線程，將所述待處理切片節點列表中接下來待處理的一個或多個文件切片節點分別分派給所述一個或多個空閑任務線程，以啟動所述一個或多個空閑任務線程來分別對所分派的相應文件切片節點執行所述處理任務，每一任務線程在完成所述處理任務后由線程池回收為空閑任務線程，所述一個或多個空閑任務線程的數目小于或等于所述最大空閑任務線程數。

2.根據權利要求1所述的多線程數據文件處理方法，其中每一任務線程被配置為在被啟動后執行以下操作：

加載所述處理任務；

對所分派的相應文件切片節點中包括的記錄執行所述處理任務；

在對所分派的相應文件切片節點所包括的所有記錄都完成所述處理任務后，將所得到的處理結果整合成一個字符串寫入所分派的相應文件切片節點中。

3.根據權利要求1所述的多線程數據文件處理方法，其中基于所述文件切片大小為所述待處理數據文件逐個地生成文件切片節點包括：

根據預先定義的頭切片節點行數，為所述待處理數據文件生成首個文件切片節點；

基于所述首個文件切片節點的平均行字節數和所述文件切片大小確定文件切片行數；

如果檢測到內存占用率小于預定閾值，則根據所述文件切片行數，為所述待處理數據文件逐個地生成后續文件切片節點。

4.根據權利要求3所述的多線程數據文件處理方法，基于所述文件切片大小為所述待處理數據文件逐個地生成文件切片節點還包括：

如果檢測到內存占用率大于或等于所述預定閾值，則等待直到檢測到內存占用率回升到大于所述預定閾值為止。

5.根據權利要求1所述的多線程數據文件處理方法，還包括在啟動所述主線程的同時，還啟動合并節點線程，所述合并節點線程被配置為在被啟動后執行以下操作：

周期性地檢查所述待處理切片節點列表的第一個文件切片節點是否已被處理完畢；

響應于確定所述第一個文件切片節點已被處理完畢，根據所述第一個文件切片節點中的處理結果的類型將所述處理結果寫入相應的結果文件；

在所述第一個文件切片節點中的處理結果已被寫入相應的結果文件中之后，從所述待處理切片節點列表中刪除所述第一個文件切片節點。

6.根據權利要求5所述的多線程數據文件處理方法，其中每一文件切片節點的處理結果為正常處理結果、異常處理結果和修復處理結果之一，所述結果文件包括正常處理結果文件、異常處理結果文件以及修復處理結果文件，并且根據所述第一個文件切片節點中的處理結果的類型將所述處理結果寫入相應的結果文件包括：

如果所述處理結果屬于正常處理結果，則將所述處理結果寫入相應的正常處理結果文件；

如果所述處理結果屬于異常處理結果，則將所述處理結果寫入相應的異常處理結果文件；

如果所述處理結果屬于修復處理結果，則將所述處理結果寫入相應的修復處理結果文件。

7.根據權利要求5所述的多線程數據文件處理方法，還包括：

在合并節點線程尚未完成時，周期性地啟動檢查線程，所述檢查線程被配置為在被啟動后執行以下操作：檢查所述主線程是否已中斷運行超過預定的第一超時時間間隔，并在確定所述主線程已中斷運行超過所述第一超時時間間隔時，重新啟動所述主線程；

檢查工作中的任務線程是否已中斷運行超過預定的第二超時時間間隔，并在確定工作中的任務線程已中斷運行超過所述第二超時時間間隔時，重新啟動該工作中的任務線程；

檢查所述合并節點線程是否已中斷運行超過預定的第三超時時間間隔，并在確定所述合并節點線程已中斷運行超過所述第三超時時間間隔時，重新啟動所述合并節點線程。