[發(fā)明專(zhuān)利]HDFS中基于事件密集度的交通監(jiān)控視頻存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410490195.2
• 申請(qǐng)日: 2014-09-23
• 公開(kāi)（公告）號(hào): CN104301671B
• 公開(kāi)（公告）日: 2017-09-29
• 發(fā)明（設(shè)計(jì)）人: 蔣昌俊;閆春鋼;陳閎中;喻劍;臧繼昆
• 申請(qǐng)（專(zhuān)利權(quán)）人: 同濟(jì)大學(xué)
• 主分類(lèi)號(hào): H04N7/18
• 分類(lèi)號(hào): H04N7/18;H04N21/231;H04N21/647;H04L29/08
• 代理公司: 上海天協(xié)和誠(chéng)知識(shí)產(chǎn)權(quán)代理事務(wù)所31216
• 代理人: 葉鳳

技術(shù)領(lǐng)域

本發(fā)明涉及海量視頻數(shù)據(jù)的存儲(chǔ)，尤其涉及一種HDFS中基于事件密集度的交通監(jiān)控視頻存儲(chǔ)方法。

背景技術(shù)

隨著視頻壓縮技術(shù)和網(wǎng)絡(luò)傳輸技術(shù)的不斷發(fā)展，智能視頻監(jiān)控系統(tǒng)逐漸普及。城市智能交通視頻監(jiān)控由于監(jiān)控設(shè)備增加且高清化，產(chǎn)生的監(jiān)控視頻數(shù)據(jù)量非常龐大，以用于違章事件檢測(cè)等功能的200萬(wàn)像素高清攝像頭為例，其最高視頻碼率為4Mbps/s，那么8個(gè)路口(每個(gè)路口設(shè)置4個(gè)攝像頭)的監(jiān)控區(qū)域30天內(nèi)將產(chǎn)生40TB的視頻數(shù)據(jù)。快速增長(zhǎng)的數(shù)據(jù)量對(duì)監(jiān)控系統(tǒng)的存儲(chǔ)性能提出了嚴(yán)峻的考驗(yàn)。同時(shí)存儲(chǔ)的監(jiān)控視頻中包含了發(fā)生的各種交通事件，這些交通事件后期會(huì)被有關(guān)部門(mén)進(jìn)行檢索查證。在保證實(shí)時(shí)保存新產(chǎn)生的監(jiān)控視頻的同時(shí)需要及時(shí)對(duì)事件查詢(xún)請(qǐng)求做出快速響應(yīng)，這又提高了對(duì)于監(jiān)控系統(tǒng)的性能要求。

除了大容量，監(jiān)控視頻還具有高可靠性(視頻數(shù)據(jù)至少30天之內(nèi)正確地存儲(chǔ)在存儲(chǔ)空間中，以備取證)和可擴(kuò)展性等方面的要求。同時(shí)，城市交通視頻監(jiān)控存儲(chǔ)又具有非永久性存儲(chǔ)(一般只要求存儲(chǔ)15～30d)、一致性要求相對(duì)較低、視頻讀寫(xiě)時(shí)間長(zhǎng)等特點(diǎn)。隨著視頻監(jiān)控經(jīng)歷的模擬、數(shù)字、網(wǎng)絡(luò)三個(gè)階段，視頻監(jiān)控存儲(chǔ)中存儲(chǔ)的主要形態(tài)包括了DVR、NVR、IPSAN三種，雖然能夠滿(mǎn)足系統(tǒng)對(duì)于存儲(chǔ)方面的需求，但是系統(tǒng)的部署和管理維護(hù)成本較高，且不利于視頻數(shù)據(jù)分析等應(yīng)用的拓展。

隨著GFS(Googlefilesystem)、Hadoop等分布式數(shù)據(jù)處理架構(gòu)的出現(xiàn)，云存儲(chǔ)技術(shù)逐漸發(fā)展成熟，其具有存儲(chǔ)虛擬化、高可擴(kuò)展性、成本低、易于管理和方式靈活等優(yōu)勢(shì)，突破了傳統(tǒng)存儲(chǔ)方式的性能和容量瓶頸，在存儲(chǔ)領(lǐng)域具有重要的意義，尤其是為視頻類(lèi)等大容量、非結(jié)構(gòu)化的數(shù)據(jù)的存儲(chǔ)，提供了重要的解決辦法。其中HDFS是GFS的開(kāi)源實(shí)現(xiàn)，是Hadoop架構(gòu)的兩大核心之一，設(shè)計(jì)用來(lái)部署在低廉的硬件上,能夠提供高傳輸率分布式數(shù)據(jù)管理。利用Hadoop構(gòu)建應(yīng)用于交通監(jiān)控視頻存儲(chǔ)的分布式存儲(chǔ)系統(tǒng)，可以為智能交通監(jiān)控領(lǐng)域提供一個(gè)低成本、高性能的分布式存儲(chǔ)方案。

但是HDFS在數(shù)據(jù)塊的放置時(shí)采用了隨機(jī)的數(shù)據(jù)放置策略。這可能會(huì)造成過(guò)多的數(shù)據(jù)相對(duì)集中在某些節(jié)點(diǎn)上從而產(chǎn)生存儲(chǔ)熱點(diǎn)，導(dǎo)致系統(tǒng)負(fù)載不均衡，影響系統(tǒng)的吞吐量。雖然交通監(jiān)控視頻數(shù)據(jù)規(guī)模較大，但實(shí)際應(yīng)用當(dāng)中用戶(hù)的訪問(wèn)請(qǐng)求往往集中于包含交通事件的視頻片段。如果過(guò)多的事件視頻數(shù)據(jù)因?yàn)殡S機(jī)的放置而被集中存放在某些數(shù)據(jù)節(jié)點(diǎn)，則這些節(jié)點(diǎn)可能會(huì)由于負(fù)載較高而成為存儲(chǔ)熱點(diǎn)。因此HDFS用于交通監(jiān)控視頻的存儲(chǔ)相對(duì)于其他數(shù)據(jù)存儲(chǔ)應(yīng)用，采用默認(rèn)的機(jī)架感知策略可能會(huì)導(dǎo)致更多的負(fù)載不均衡情況。

批注：Hadoop Distributed File System，簡(jiǎn)稱(chēng)HDFS，是一個(gè)分布式文件系統(tǒng)。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種HDFS中基于事件密集度的交通監(jiān)控視頻存儲(chǔ)方法，其能夠解決HDFS存儲(chǔ)海量交通監(jiān)控視頻時(shí)產(chǎn)生的節(jié)點(diǎn)負(fù)載不均衡問(wèn)題，從而實(shí)現(xiàn)交通監(jiān)控?cái)?shù)據(jù)的高效存儲(chǔ)。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下的技術(shù)方案：

HDFS中基于事件密集度的交通監(jiān)控視頻存儲(chǔ)方法，具體包括如下步驟：

(1)智能攝像頭獲取交通監(jiān)控?cái)?shù)據(jù)，同時(shí)進(jìn)行交通事件的檢測(cè)，然后將交通視頻流數(shù)據(jù)和數(shù)據(jù)中所包含的事件類(lèi)型描述信息同時(shí)發(fā)送到視頻服務(wù)器。

(2)視頻服務(wù)器收到攝像頭發(fā)來(lái)的視頻流數(shù)據(jù)后對(duì)視頻數(shù)據(jù)進(jìn)行編碼及分割，然后生成視頻文件，并根據(jù)視頻數(shù)據(jù)的事件描述信息為文件標(biāo)明事件類(lèi)型。將視頻數(shù)據(jù)上傳到HDFS。

(3)HDFS中的NameNode節(jié)點(diǎn)接收到數(shù)據(jù)存儲(chǔ)請(qǐng)求后，調(diào)用基于事件密集度的數(shù)據(jù)放置策略為將要存放的數(shù)據(jù)文件選擇目標(biāo)數(shù)據(jù)節(jié)點(diǎn)。

(4)將文件存入步驟(3)中選中的目標(biāo)數(shù)據(jù)節(jié)點(diǎn)中。

所述步驟(3)基于事件密集度的數(shù)據(jù)放置策略，具體步驟如下：

1)當(dāng)系統(tǒng)收到客戶(hù)端的文件操作請(qǐng)求時(shí)，判斷操作為何種類(lèi)型；

2)如果操作為文件寫(xiě)入操作，獲得系統(tǒng)中即時(shí)維護(hù)的各事件類(lèi)型的事件影響度；事件影響度代表包含不同類(lèi)型事件的視頻文件由于用戶(hù)的訪問(wèn)量不同對(duì)其所在數(shù)據(jù)節(jié)點(diǎn)負(fù)載影響程度。本發(fā)明定義e類(lèi)型文件在時(shí)間間隔T內(nèi)的訪問(wèn)量與e類(lèi)型文件在系統(tǒng)中的文件總數(shù)之比為e類(lèi)型事件的事件影響度，且每隔時(shí)間T更新一次。設(shè)a_e表示事件類(lèi)型e的影響度，計(jì)算公式如下：