[發(fā)明專利]海量AIS軌跡數(shù)據(jù)存儲(chǔ)方法

在審

• 申請?zhí)枺?/td>: 202110624490.2
• 申請日: 2021-06-04
• 公開（公告）號: CN113407116A
• 公開（公告）日: 2021-09-17
• 發(fā)明（設(shè)計(jì)）人: 呂太之;韓玉
• 申請（專利權(quán)）人: 南京匯海交通科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市創(chuàng)富知識(shí)產(chǎn)權(quán)代理有限公司 44367
• 代理人: 朱易順

本發(fā)明提供海量AIS軌跡數(shù)據(jù)存儲(chǔ)方法。包括以下步驟：步驟一接收需要儲(chǔ)存的海量AIS軌跡數(shù)據(jù)，并對AIS軌跡數(shù)據(jù)進(jìn)行加密處理，得到加密數(shù)據(jù)；步驟二分析AIS軌跡數(shù)據(jù)的類型，并基于需要存儲(chǔ)的AIS軌跡數(shù)據(jù)的類型，將AIS軌跡數(shù)據(jù)發(fā)送至混合硬盤的閃存區(qū)或磁性硬盤區(qū)存儲(chǔ)，以實(shí)現(xiàn)對數(shù)據(jù)的優(yōu)化存，并將加密數(shù)據(jù)發(fā)送給服務(wù)器。本發(fā)明提供的海量AIS軌跡數(shù)據(jù)存儲(chǔ)方法通過自動(dòng)監(jiān)控與決策模塊、數(shù)據(jù)儲(chǔ)存規(guī)劃模塊與數(shù)據(jù)儲(chǔ)存優(yōu)化模塊的配合提高船舶系統(tǒng)中數(shù)據(jù)智能存儲(chǔ)優(yōu)化方法，使用數(shù)據(jù)相關(guān)性多副本一致的哈希值存儲(chǔ)優(yōu)化方法，該方法可按照系統(tǒng)主屬性相關(guān)性的數(shù)據(jù)在集群節(jié)點(diǎn)中聚集，進(jìn)而加快數(shù)據(jù)存儲(chǔ)優(yōu)化速度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)儲(chǔ)存技術(shù)領(lǐng)域，尤其涉及海量AIS軌跡數(shù)據(jù)存儲(chǔ)方法。

背景技術(shù)

船舶自動(dòng)識(shí)別系統(tǒng)AIS可對船舶的運(yùn)動(dòng)狀態(tài)進(jìn)行實(shí)時(shí)監(jiān)控，對船舶操縱人員來說，利用AIS數(shù)據(jù)可了解本船及其他目標(biāo)船舶的航行動(dòng)態(tài)信息，有利于船舶導(dǎo)航和避碰等行動(dòng)；對海事交管部門來將，利用AIS數(shù)據(jù)信息可對船舶進(jìn)行管理及控制；對事故調(diào)查人員來講，利用AIS數(shù)據(jù)信息回顧船舶發(fā)生事故前的動(dòng)態(tài)信息，并提取有效的特征信息，有利于事故的調(diào)查，目前，作為船舶避碰和自動(dòng)交換信息的重要助航工具，越來越多的船舶配置了AIS設(shè)備，補(bǔ)充了雷達(dá)獲取信息的不足，船舶通過該設(shè)備能夠自動(dòng)實(shí)時(shí)地與其他裝有同類設(shè)備的船舶交換位置、航速和航向等動(dòng)態(tài)信息，可有效避免船舶碰撞等海損事故的發(fā)生，通過AIS船舶也能向AIS基站發(fā)送船名、識(shí)別碼、目的地、是否裝載危險(xiǎn)貨物等靜態(tài)信息，同時(shí)還能接收管理當(dāng)局通過基站發(fā)送來的助航和告警等信息。

所以在海量AIS軌跡存在著大量的數(shù)據(jù)，導(dǎo)致數(shù)據(jù)在存儲(chǔ)時(shí)的時(shí)間變長，導(dǎo)致存儲(chǔ)的速度降低，同時(shí)由于AIS軌跡數(shù)據(jù)存在大量的數(shù)據(jù)，在對數(shù)據(jù)進(jìn)行讀取與檢索時(shí)，也要耗費(fèi)大量的時(shí)間，降低了查詢數(shù)據(jù)的效率。

發(fā)明內(nèi)容

本發(fā)明提供海量AIS軌跡數(shù)據(jù)存儲(chǔ)方法，解決了在海量AIS軌跡存在著大量的數(shù)據(jù)，導(dǎo)致數(shù)據(jù)在存儲(chǔ)時(shí)的時(shí)間變長，導(dǎo)致存儲(chǔ)的速度降低，同時(shí)由于AIS軌跡數(shù)據(jù)存在大量的數(shù)據(jù)，在對數(shù)據(jù)進(jìn)行讀取與檢索時(shí)，也要耗費(fèi)大量的時(shí)間，降低了查詢數(shù)據(jù)的效率的問題。

為解決上述技術(shù)問題，本發(fā)明提供的海量AIS軌跡數(shù)據(jù)存儲(chǔ)方法，包括以下步驟：

步驟一，接收需要儲(chǔ)存的海量AIS軌跡數(shù)據(jù)，并對AIS軌跡數(shù)據(jù)進(jìn)行加密處理，得到加密數(shù)據(jù)；

步驟二，分析AIS軌跡數(shù)據(jù)的類型，并基于需要存儲(chǔ)的AIS軌跡數(shù)據(jù)的類型，將AIS軌跡數(shù)據(jù)發(fā)送至混合硬盤的閃存區(qū)或磁性硬盤區(qū)存儲(chǔ)，以實(shí)現(xiàn)對數(shù)據(jù)的優(yōu)化存，并將加密數(shù)據(jù)發(fā)送給服務(wù)器；

步驟三，如果需要存儲(chǔ)的AIS軌跡數(shù)據(jù)的類型為靜態(tài)信息，則將該AIS軌跡數(shù)據(jù)發(fā)送至混合硬盤的磁性硬盤區(qū)存儲(chǔ)；

步驟四，如果需要存儲(chǔ)的AIS軌跡數(shù)據(jù)的類型為動(dòng)態(tài)信息、影音文件等，則將所述數(shù)據(jù)發(fā)送至混合硬盤的閃存區(qū)存儲(chǔ)；

步驟五，如果AIS軌跡數(shù)據(jù)所需的存儲(chǔ)空間未超過混合硬盤的閃存區(qū)剩余的存儲(chǔ)空間，則AIS軌跡數(shù)據(jù)存儲(chǔ)至混合硬盤的閃存區(qū)。

優(yōu)選的，所述步驟一內(nèi)包括自動(dòng)監(jiān)控模塊與決策模塊，所述決策模塊是用于船舶數(shù)據(jù)庫中的判斷。

優(yōu)選的，所述步驟二包括數(shù)據(jù)儲(chǔ)存規(guī)劃模塊，所述數(shù)據(jù)儲(chǔ)存規(guī)劃模塊內(nèi)的數(shù)據(jù)均勻分布在各個(gè)集群之中，保持負(fù)載均衡，出現(xiàn)故障節(jié)點(diǎn)數(shù)據(jù)為常態(tài)數(shù)據(jù)。

優(yōu)選的，所述常態(tài)數(shù)據(jù)內(nèi)包括關(guān)聯(lián)數(shù)據(jù)，所述關(guān)聯(lián)數(shù)據(jù)采用標(biāo)準(zhǔn)Hadoop布局方案，對數(shù)據(jù)進(jìn)行連續(xù)操作需要在約定時(shí)間內(nèi)完成，在此過程中，有大量無用數(shù)據(jù)被傳輸，如果該數(shù)據(jù)在上傳保留了一部分設(shè)備屬性，那么可將該設(shè)備上的全部數(shù)據(jù)都存儲(chǔ)到相同節(jié)點(diǎn)的位置，利用自映射功能，實(shí)現(xiàn)存儲(chǔ)的連續(xù)性操作行為，進(jìn)而大大降低階段數(shù)據(jù)通信時(shí)間，提高整體存儲(chǔ)效率。

優(yōu)選的，所述步驟三中的AIS數(shù)據(jù)靜態(tài)信息是指舶系統(tǒng)固有的屬性信息，所述步驟四中的AIS數(shù)據(jù)動(dòng)態(tài)信息包含船舶的實(shí)時(shí)數(shù)據(jù)。