[發(fā)明專利]一種基于云計(jì)算平臺(tái)的海量圖片并行處理方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201310365091.4
• 申請(qǐng)日: 2013-08-20
• 公開（公告）號(hào): CN103473121A
• 公開（公告）日: 2013-12-25
• 發(fā)明（設(shè)計(jì)）人: 張亮;沈沛意;宋娟;董洛兵;王劍;胡正川;孫庚澤
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06F9/46
• 分類號(hào): G06F9/46;G06F17/30;H04L29/06
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

技術(shù)領(lǐng)域

本發(fā)明涉及云計(jì)算技術(shù)領(lǐng)域和圖像處理領(lǐng)域，尤其涉及一種基于云計(jì)算平臺(tái)的海量圖片并行處理的方法。

背景技術(shù)

云計(jì)算（Cloud?Computing）是網(wǎng)格計(jì)算（Grid?Computing）、分布式計(jì)算（Distributed?Computing）、并行計(jì)算（Parallel?Computing）、效用計(jì)算（Utility?Computing）、網(wǎng)絡(luò)存儲(chǔ)（Network?Storage?Technologies）、虛擬化（Virtualization）、負(fù)載均衡（Load?Balance）等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物，云計(jì)算是一種通過(guò)Internet以服務(wù)的方式提供動(dòng)態(tài)可伸縮的虛擬化資源的計(jì)算模式。云計(jì)算基于互聯(lián)網(wǎng)相關(guān)服務(wù)的增加、使用和交付模式，通常涉及通過(guò)互聯(lián)網(wǎng)來(lái)提供動(dòng)態(tài)易擴(kuò)展且經(jīng)常是虛擬化的資源。

在云計(jì)算蓬勃發(fā)展的今天，海量圖片處理成為一個(gè)非常熱門和值得研究的領(lǐng)域，該研究領(lǐng)域涉及如何有效的存儲(chǔ)和處理海量圖片，其中圖片按容量大小又分為幾KB的小圖片和幾GB的大圖片。為了高效的對(duì)不同大小的海量圖片進(jìn)行處理，所采用的處理方法也不同。

國(guó)內(nèi)在海量小圖片存儲(chǔ)和處理領(lǐng)域，淘寶TFS文件系統(tǒng)針對(duì)于小圖片的存儲(chǔ)和處理進(jìn)行了有針對(duì)性的優(yōu)化，使得淘寶能夠應(yīng)付海量商品小圖片的讀取。

國(guó)外Facebook在海量圖片存儲(chǔ)和處理領(lǐng)域也是比較權(quán)威的，它們的架構(gòu)要處理全球幾億用戶上傳的圖片并進(jìn)行存儲(chǔ)和處理，以及接受相應(yīng)高并發(fā)量的用戶請(qǐng)求。

淘寶和Facebook在處理海量圖片方面也是有針對(duì)性的，它們的主要目的是高效的圖片數(shù)據(jù)存取，并不是有針對(duì)性的對(duì)海量圖片進(jìn)行算法處理和分析，并且目前針對(duì)GB級(jí)別大圖片處理的相關(guān)方法研究仍然比較少。

發(fā)明內(nèi)容

本發(fā)明提出了一種基于云計(jì)算平臺(tái)的海量圖片并行處理方法，其主要目的在于使用云計(jì)算平臺(tái)的并行處理模型對(duì)海量小圖片（小圖片的大小判定依賴于算法、單個(gè)節(jié)點(diǎn)處理能力等）和單個(gè)大圖片（一般可能幾GB或幾十GB）文件實(shí)現(xiàn)并行分析處理，提升圖片分析處理的響應(yīng)速度和吞吐量。

一種基于云計(jì)算平臺(tái)的海量圖片并行處理方法，基于云計(jì)算的分布式并行計(jì)算模型，該模型包括數(shù)據(jù)存儲(chǔ)服務(wù)器，一個(gè)主節(jié)點(diǎn)和多個(gè)任務(wù)節(jié)點(diǎn)，包括以下幾個(gè)步驟：

1）客戶端將分配策略、處理代碼和儲(chǔ)存在數(shù)據(jù)存儲(chǔ)服務(wù)器中待處理的圖片信息遞交至主節(jié)點(diǎn)；

2）主節(jié)點(diǎn)依據(jù)接收到圖片信息，對(duì)數(shù)據(jù)存儲(chǔ)服務(wù)器中的圖片進(jìn)行遍歷，得到圖片信息對(duì)應(yīng)的圖片位置信息，并對(duì)圖片位置信息依據(jù)分配策略進(jìn)行分包，然后將分包及處理代碼傳送至各任務(wù)節(jié)點(diǎn)；

3）各任務(wù)節(jié)點(diǎn)讀取所接收到的分包中的圖片位置信息，然后根據(jù)圖片位置信息從數(shù)據(jù)存儲(chǔ)服務(wù)器中讀取相應(yīng)的圖片，并根據(jù)處理代碼對(duì)圖片進(jìn)行并行處理；

4）各任務(wù)節(jié)點(diǎn)將處理后的圖片存儲(chǔ)在數(shù)據(jù)存儲(chǔ)服務(wù)器中，并將圖片的處理狀態(tài)信息反饋給主節(jié)點(diǎn)。

在整個(gè)處理過(guò)程中，主節(jié)點(diǎn)作為一個(gè)控制節(jié)點(diǎn)，負(fù)責(zé)管理多個(gè)任務(wù)節(jié)點(diǎn)，主節(jié)點(diǎn)對(duì)將要處理的海量圖片進(jìn)行分發(fā)，將圖片分發(fā)給不同的任務(wù)節(jié)點(diǎn)進(jìn)行處理，然后等待各個(gè)任務(wù)節(jié)點(diǎn)處理完成，按照此方法將海量圖片的處理進(jìn)行了高效的并行化，任務(wù)節(jié)點(diǎn)越多處理速度越快。

針對(duì)大圖片和小圖片的處理，主節(jié)點(diǎn)在分發(fā)策略上有所不同。若圖片為海量的小圖片，且圖片大小為幾兆甚至幾十兆時(shí)，所述的分包中包括對(duì)應(yīng)的小圖片在數(shù)據(jù)存儲(chǔ)服務(wù)器的位置信息。可以將多個(gè)這種小圖片打包分發(fā)給一個(gè)任務(wù)節(jié)點(diǎn)進(jìn)行批量處理，分發(fā)小圖片策略主要依賴于任務(wù)節(jié)點(diǎn)的數(shù)量、單個(gè)任務(wù)節(jié)點(diǎn)的處理能力，以及圖片存儲(chǔ)的節(jié)點(diǎn)位置。

當(dāng)所述圖片為單個(gè)大圖片，且圖片大小大于100兆時(shí)，由于單個(gè)任務(wù)節(jié)點(diǎn)對(duì)一張大圖片進(jìn)行算法處理的速度較慢，甚至單個(gè)任務(wù)節(jié)點(diǎn)的計(jì)算資源根本無(wú)法滿足這張大圖片的計(jì)算需求時(shí)，主節(jié)點(diǎn)可以根據(jù)圖片本身的特點(diǎn)、單個(gè)任務(wù)節(jié)點(diǎn)的計(jì)算能力、算法限制等，將一張大于GB的圖片按一定大小進(jìn)行分割，將不同的分片分發(fā)給不同的任務(wù)節(jié)點(diǎn)進(jìn)行處理，主節(jié)點(diǎn)負(fù)責(zé)等待任務(wù)節(jié)點(diǎn)返回圖片分片的處理結(jié)果，再進(jìn)行圖片拼接。

所述主節(jié)點(diǎn)將大圖片分割成若干小圖片并對(duì)小圖片進(jìn)行排序，所述分包中包括大圖片的位置信息和每個(gè)小圖片的分割片段信息，所述的分割片段信息包括對(duì)應(yīng)小圖片的分片ID、偏移和長(zhǎng)度信息。主節(jié)點(diǎn)將待處理的大圖片根據(jù)任務(wù)節(jié)點(diǎn)的數(shù)量和相應(yīng)的圖片分割策略進(jìn)行分割，然后將圖片位置信息和分割片段信息打包分發(fā)給各個(gè)任務(wù)節(jié)點(diǎn)，各個(gè)任務(wù)節(jié)點(diǎn)從數(shù)據(jù)存儲(chǔ)服務(wù)器中獲取指定的分割圖片信息，并對(duì)其進(jìn)行處理。