[發明專利]大數據優化分析方法

在審

• 申請號: 201710358005.5
• 申請日: 2017-05-19
• 公開（公告）號: CN107193940A
• 公開（公告）日: 2017-09-22
• 發明（設計）人: 賴真霖;文君
• 申請（專利權）人: 成都四象聯創科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京天奇智新知識產權代理有限公司11340
• 代理人: 楊春

1.一種大數據優化分析方法，用于在云計算環境下處理小文件，其特征在于，包括：

以K維空間數據集劃分的樹構建文件索引樹形結構的主干，判斷K維樹是否為空，若為空則直接作為根節點；否則比較該點與K維樹根節點相應維的值的大小關系，進入其左、右子樹進行下一步操作；若該點小于根節點相應維的值，則進入左子樹進行查找操作直至某個節點的左子樹或右子樹為空；則將該點插入作為其葉子節點；若該點大于根節點相應維的值，則進入右子樹進行插入操作；然后，在該K維樹的葉子節點上加載位置敏感散列結構，即將剩余的點放置入位置敏感散列中；將數據集X轉化為空間中的二進制串；預先選取參數r>0，c>1，隨機選取K個散列函數；利用這些散列函數將數據點存入相應的散列表中；

基于上述文件索引結構，對小文本文件進行合并，設有多個文件A₁,A₂…A_n，其中A_i＝a_i1,a_i2,…,a_ik…，且a_ik為文件名的第k個字符，具體步驟為：

步驟1，對輸入的字符串A_i，i＝l，2，...n找到a_ik＝‘.’，截取a_ik后面的所有字符，統計這個塊中具有此類文件的個數，記為m_ij；依次計算同一節點中每一塊所包含的此類文件的個數，得到序列m_i1，m_i2，...m_in，求m_i＝∑m_ij；表示這個節點中包含的擴展名的類別；j＝0,1,…，n；

步驟2.計算這個節點中存放的所有小文本文件的數目M，獲取小文本文件在分類過程中設置的權值；

步驟3.求解每個類型文件所占的比例m_i/M，按比例從大到小排序；形成的擴展名列表在datanode中維護；

步驟4.統計這個節點上的m_i中的根節點，形成根節點列表；在每個擴展名中都有一個根節點列表，此列表在datanode中維護；

步驟5.根據待放置的塊所在的Reduce任務，得到此塊的擴展名；

步驟6.讀取待放置的塊的根節點，設置根節點列表，按照權值相似度最大原則對根進行排序；

步驟7.選擇此塊中排在第一位的根；

步驟8.在集群中找到擴展名所占比例最大的節點；在其中查找此根，如果存在，放置此塊；

步驟9.將此節點從候選列表中排除，然后判斷列表是否為空；不為空，轉步驟8；

步驟10.將此根從根的列表中排除，判斷根的列表是否為空；若不為空，轉步驟7；若為空，隨機存放在有此擴展名的節點上。