[發明專利]一種基于B樹數據結構的MapReduce計算過程優化方法有效
| 申請號： | 201910565930.4 | 申請日： | 2019-06-27 |
| 公開（公告）號： | CN110377601B | 公開（公告）日： | 2022-04-12 |
| 發明（設計）人： | 王笑風;田延峰;楊博;侯明業;郭霄;孫云龍;劉滿 | 申請（專利權）人： | 河南省交通規劃設計研究院股份有限公司 |
| 主分類號： | G06F16/22 | 分類號： | G06F16/22;G06F16/2458;G06F9/50 |
| 代理公司： | 鄭州立格知識產權代理有限公司 41126 | 代理人： | 田磊 |
| 地址： | 450000 河*** | 國省代碼： | 河南;41 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 基于 數據結構 mapreduce 計算 過程 優化 方法 | ||
1.一種基于B樹數據結構的MapReduce計算過程優化方法，其特征在于：包括如下步驟：
1）對輸入到片區內的數據執行Map任務；
2）執行Map任務后輸出的結果包含索引文件*.index和數據文件*.out；
3）將索引文件*.index和數據文件*.out存放在一個環形內存緩沖區中；索引文件*.index在環形內存緩沖區中以類B樹的形式保存；
4）當該環形內存緩沖區快要溢出時，判斷是否是最后一個Map任務；
5）如果否，則數據文件*.out排序合并后寫入磁盤，索引文件*.index留在環形內存緩沖區中；如果是，則數據文件*.out直接輸入到reduce函數，索引文件*.index留在環形內存緩沖區中；
其中索引文件的類B樹包含三層結構，第一層是根節點，第二層是根據Map操作中的分區情況增加的子樹節點；
每一個Map計算完成后將結果中的索引文件信息按照分區情況保存到響應的分區子節點中，并且每個分區的子節點都是升序排列，在進行合并操作時順序讀取磁盤文件，讀頭不需要頻繁變更位置。
2.如權利要求1所述的基于B樹數據結構的MapReduce計算過程優化方法，其特征在于：數據文件*.out存入磁盤之前合并的過程不斷地進行排序和壓縮操作。
3.如權利要求1所述的基于B樹數據結構的MapReduce計算過程優化方法，其特征在于：判斷該環形內存緩沖區是否快要溢出的標準為：當環形內存緩沖區存儲量達到百分之八十時判斷為快要溢出。
4.如權利要求1所述的基于B樹數據結構的MapReduce計算過程優化方法，其特征在于：在步驟5）數據文件*.out排序合并后寫入磁盤之前需要根據reduce任務的數目將數據劃分為相同數目的分區，一個reduce任務對應一個分區的數據。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于河南省交通規劃設計研究院股份有限公司，未經河南省交通規劃設計研究院股份有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910565930.4/1.html，轉載請聲明來源鉆瓜專利網。
