[發明專利]基于Hadoop平臺的海量圖片的快速檢索方法

在審

• 申請號: 201510908363.X
• 申請日: 2015-12-08
• 公開（公告）號: CN106855872A
• 公開（公告）日: 2017-06-16
• 發明（設計）人: 孫玉林;徐寶華;賈春樸;張福元;陳守森
• 申請（專利權）人: 山東商務職業學院
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.搭建Hadoop集群平臺：每臺計算機安裝操作系統和Hadoop軟件，將一臺計算機配置成NameNode，其它計算機配置成DataNodes；各個機器通過SSH直接通信；NameNode負責的是整個存儲層的管理，DataNode主要作為存儲節點；驗證DataNode和NameNode之間聯通性是通過心跳檢測來實現，并且DataNode還要定期將自己的存儲區信息發送給NameNode；當客戶端訪問時，首先訪問NameNode，NameNode會分配相應的空間，在得到相應的空間后開始各個作業。

2.設置安全策略：Hadoop集群平臺中新增一臺DataNode2作為NameNode備份機，將原有NameNode中的數據復制到選定的DataNode2中，在NameNode運行時，NameNode2會實時的檢測NameNode的運行狀態，同時把NameNode中的操作實時更新到本地，在NameNode出現故障時，NameNode2代替NameNode保證服務的正常進行。

3.單圖片存儲處理：圖片先經過負載均衡模塊過濾，進入應用服務器隊列等待進入HDFS存儲系統，通過NameNode分配DataNode進行存儲，圖片寫入過程中先確定寫入Block，再確定Sequence File，系統將二者的ID組合命名為圖片的系統內的名稱；圖片元數據保存在HBase，同時元數據也保存在由Redis構建的緩存系統中；圖片完成寫入操作。

4.文件預處理合并：將指定目錄下的圖片文件讀取進圖片數組，并初始化byte數組，用相應的輸出文件流將byte中的圖片讀入到指定路徑下的合并文件中去。

5.建立圖片索引：圖片名用的是聯合編碼的方式，主要包含BlockId和FileId兩部分；其中BlockId代表的是一個存儲單元，NameNode可以根據其確定最近的DateNode地址，FileId代表的是小圖片在拼接的時候SequenceFile的Id；offset代表的是相應key值的一個的偏移量；HDFS前端在接收到客戶端的請求后首先會解析文件名，根據相關信息定位到相應的Block文件、FileId和 offset，然后客戶端直接對圖片進行讀取；在對文件名解析以后，可以直接讀取DateNode節點數據，并可以通過偏移量定位到圖片的開始位置。

6.客戶端以圖片名稱和創建時間為參數發起訪問請求，NameNode運算獲取圖片所在分鐘時間段和合并文件對應的Blocks信息，返回給客戶端；客戶端向最近的DataNode發起圖片讀取請求；DataNode運算獲得圖片具體地址信息。