[發明專利]話單文件處理方法及裝置有效
| 申請號: | 202010016727.4 | 申請日: | 2020-01-08 |
| 公開(公告)號: | CN111274209B | 公開(公告)日: | 2023-05-30 |
| 發明(設計)人: | 周興博;史志鵬;李東宇;邊思楠;劉玉杰 | 申請(專利權)人: | 中國聯合網絡通信集團有限公司 |
| 主分類號: | G06F16/16 | 分類號: | G06F16/16;G06F16/182 |
| 代理公司: | 北京同立鈞成知識產權代理有限公司 11205 | 代理人: | 朱穎;臧建明 |
| 地址: | 100033 *** | 國省代碼: | 北京;11 |
| 權利要求書: | 查看更多 | 說明書: | 查看更多 |
| 摘要: | |||
| 搜索關鍵詞: | 文件 處理 方法 裝置 | ||
本申請實施例提供一種話單文件處理方法及裝置,該方法包括:獲取話單文件,其中,話單文件包括省份標識。根據省份標識,將話單文件發送至省份標識對應的第一KAFKA分區,其中,第一KAFKA分區對應有至少一個省份標識。將第一KAFKA分區中省份標識相同的話單文件進行合并,得到合并后的省份標識對應的話單文件。通過根據話單文件的省份標識將話單文件發送至對應的KAFKA分區,以使得將省份標識相同的話單文件進行合并,能夠有效保證將話單文件按省份分類的正確性,同時將話單文件按照省份標識進行分區處理,能夠有效提升對于話單文件合并的處理效率。
技術領域
本發明實施例涉及計算機技術,尤其涉及一種話單文件處理方法及裝置。
背景技術
伴隨著拜訪地業務的展開,用戶在出訪地所產生的話單文件會產生于出訪地的網元,因此對分散的話單文件進行合并處理就顯得尤為重要。
目前,現有技術通常是利用Hadoop分布式文件系統(Hadoop?Distributed?FileSystem,HDFS)進行話單文件的合并,具體的,Hadoop會將每一個話單文件傳遞給map()函數,其中,Hadoop在調用map()函數時會創建一個映射器,因此各個分散的話單文件就會分別創建各自對應的映射器。
然而,創建了大量的映射器以實現文件的合并,會造成合并的處理效率低下。
發明內容
本發明實施例提供一種話單文件處理方法及裝置,以克服話單文件合并的處理效率低下的問題。
第一方面,本發明實施例提供一種話單文件處理方法,包括:
獲取話單文件,其中,所述話單文件包括省份標識;
根據所述省份標識,將所述話單文件發送至所述省份標識對應的第一KAFKA分區,其中,所述第一KAFKA分區對應有至少一個所述省份標識;
將所述第一KAFKA分區中省份標識相同的話單文件進行合并,得到合并后的所述省份標識對應的話單文件。
在一種可能的設計中,所述將所述第一KAFKA分區中省份標識相同的話單文件進行合并,包括:
判斷所述第一KAFKA分區中省份標識相同的話單文件是否滿足預設條件;
若是,則將所述省份標識相同的話單文件進行合并;
若否,則持續判斷,直至所述省份標識相同的話單文件滿足預設條件。
在一種可能的設計中,所述預設條件為文件大小大于或等于預設大小;或者
所述省份標識相同的話單文件對應的第一時長是否到達預設時長。
在一種可能的設計中,所述根據所述省份標識,將所述話單文件發送至所述省份標識對應的第一KAFKA分區,包括:
判斷所述話單文件的大小是否大于預設大小;
若是,則將所述話單文件進行拆分,得到多個拆分后的話單文件,并將所述多個拆分后的話單文件分別發送至所述第一KAFKA分區;
若否,則直接將所述話單文件發送至所述第一KAFKA分區。
在一種可能的設計中,所述根據所述省份標識,將所述話單文件發送至所述省份標識對應的第一KAFKA分區之前,所述方法還包括:
對預設的多個省份標識進行分類處理,得到預設數量個分組,其中,各所述分組包括至少一個省份標識,每個分組對應一個KAFKA分區;
將各所述KAFKA分區注冊至ZOOKEEPER服務器,以使得所述ZOOKEEPER服務器對各所述KAFKA分區進行管理。
該專利技術資料僅供研究查看技術是否侵權等信息,商用須獲得專利權人授權。該專利全部權利屬于中國聯合網絡通信集團有限公司,未經中國聯合網絡通信集團有限公司許可,擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作,請聯系【客服】
本文鏈接:http://www.szxzyx.cn/pat/books/202010016727.4/2.html,轉載請聲明來源鉆瓜專利網。
- 上一篇:負載均衡方法、裝置及電子設備
- 下一篇:基于雙線性插值改進的視頻圖像縮放方法





