[發明專利]數據處理方法和裝置

有效

• 申請號: 202010849131.2
• 申請日: 2020-08-21
• 公開（公告）號: CN111966495B
• 公開（公告）日: 2022-02-01
• 發明（設計）人: 李雷孝;鄧丹;王慧;王洪彬;李杰;王永生
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06F9/50
• 分類號: G06F9/50;G06N3/00
• 代理公司: 西安匯恩知識產權代理事務所(普通合伙) 61244
• 代理人: 張偉花

本發明公開了一種數據處理方法和裝置。其中，該數據處理方法包括：獲取分布式系統的基于粒子群優化實現負載均衡的數據分發算法；依據基于粒子群優化實現負載均衡的數據分發算法，計算分布式系統中負載均衡的粒子最佳位置；獲取分布式系統的基于粒子群優化實現最優化存儲的數據分發算法；依據基于粒子群優化實現最優化存儲的數據分發算法和負載均衡的粒子最佳位置，對分布式系統中各節點所需的存儲空間進行優化。本發明解決了由于現有的全比較計算研究采用的是分支定界法的方法來完成全比較計算的數據分發，導致的計算時間長，效率低的技術問題。

技術領域

本發明涉及計算機技術應用領域，具體而言，涉及一種數據處理方法和裝置。

背景技術

全比較計算是一種典型的計算模式，該計算模式用于解決兩兩數據文件相關聯的一類計算。全比較計算作為一類特殊的計算模式在眾多學科領域中頻繁出現，如：生物信息學，生物測定學，傳統機器學習領域，自然語言處理領域，交通大數據領域。在生物信息學領域，典型的全比較計算存在于核酸序列比對與蛋白質序列比對中。在生物測定學領域，常見的測定任務有人臉識別，在指紋比對中也能見到全比較計算的身影。在傳統的機器學習領域，全比較計算以相似矩陣的形式出現在分類算法和聚類算法中。近年來自然語言處理在人工智能領域掀起了一片浪潮，語義相似度計算作為自然語言處理中的一個關鍵步驟而存在，其使用的計算模式仍是全比較計算。在交通大數據領域，路徑規劃一直是研究熱點，在路徑規劃工作里面計算數據集中任意兩個地點之間的距離形成距離矩陣是一個較為典型的全比較計算。

國內外學者針對全比較計算一直在開展研究，是研究的熱點之一。在國外，有學者曾將全比較任務所需的全部數據在分布式集群中的各個計算節點均復制一份。這種分發方式適用于小數據量的情況，在面對海量數據時將造成嚴重的網絡擁堵與存儲空間的浪費。有人曾使用Hadoop的分布式存儲文件系統(Hadoop Distributed File System,HDFS)來存儲執行全比較任務所需的數據。HDFS采用分布式的副本存儲方案，該組件默認采用副本數為3的存儲方案。這種數據存儲方式，雖然能夠節約存儲空間，但無法保證在執行比較任務時數據的完全本地化。Chaudhary等人在分析生物序列時搭建了一個異構計算平臺，為了實現整個系統的負載均衡，他們根據節點的硬件配置來分配任務，在數據分配方面，他們將數據庫進行分割，然后將其分發到各個節點上，盡管使用異構計算平臺進行計算，但仍然無法避免從集群中的其它節點上請求數據方案。在相關技術中使用圖覆蓋的方式來進行全比較計算的數據分配，該方法無法適用于數據文件個數與節點個數不同的場景。以及在另一種現有技術中采用了分支定界法的方法來完成全比較計算的數據分發，這種方法雖然能夠獲得最優化的數據分發方案，但需要犧牲一定的求解時間。

針對上述由于現有的全比較計算研究采用的是分支定界法的方法來完成全比較計算的數據分發，導致的計算時間長，效率低的問題，目前尚未提出有效的解決方案。

發明內容

本發明實施例提供了一種數據處理方法和裝置，以至少解決由于現有的全比較計算研究采用的是分支定界法的方法來完成全比較計算的數據分發，導致的計算時間長，效率低的技術問題。

根據本發明實施例的一個方面，提供了一種數據處理方法，包括：獲取分布式系統的基于粒子群優化實現負載均衡的數據分發算法；依據基于粒子群優化實現負載均衡的數據分發算法，計算分布式系統中負載均衡的粒子最佳位置；獲取分布式系統的基于粒子群優化實現最優化存儲的數據分發算法；依據基于粒子群優化實現最優化存儲的數據分發算法和負載均衡的粒子最佳位置，對分布式系統中各節點所需的存儲空間進行優化。

可選的，獲取分布式系統的基于粒子群優化實現負載均衡的數據分發算法包括：獲取初始化粒子群參數；依據初始化粒子群參數對預設計算式進行優化，得到基于粒子群優化實現負載均衡的數據分發算法。

進一步地，可選的，初始化粒子群參數包括：最大迭代次數、粒子種群規模、粒子維度、慣性權重、第一加速系數、第二加速系數和粒子速度。