[發(fā)明專利]一種基于MinIO工業(yè)質(zhì)檢文件分布式存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011471657.8
• 申請(qǐng)日: 2020-12-14
• 公開(kāi)（公告）號(hào): CN112579567B
• 公開(kāi)（公告）日: 2022-02-08
• 發(fā)明（設(shè)計(jì)）人: 王星宇;韓錦;潘正頤;侯大為
• 申請(qǐng)（專利權(quán)）人: 常州微億智造科技有限公司
• 主分類號(hào): G06F16/21
• 分類號(hào): G06F16/21;G06F16/242;G06F16/27;G06F16/215
• 代理公司: 常州至善至誠(chéng)專利代理事務(wù)所(普通合伙) 32409
• 代理人: 趙旭

本發(fā)明公開(kāi)了一種基于MinIO工業(yè)質(zhì)檢文件分布式存儲(chǔ)方法，包括順次連接的數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)同步模塊、數(shù)據(jù)存儲(chǔ)模塊以及數(shù)據(jù)清洗模塊，包括順次開(kāi)展的數(shù)據(jù)預(yù)處理階段、數(shù)據(jù)同步階段、數(shù)據(jù)存儲(chǔ)階段以及數(shù)據(jù)清洗階段。該基于MinIO工業(yè)質(zhì)檢文件分布式存儲(chǔ)系統(tǒng)及方法，解決了海量質(zhì)檢圖片大量存儲(chǔ)導(dǎo)致的系統(tǒng)擴(kuò)展差、資源利用率低的問(wèn)題，MinIO本身較為輕量，能進(jìn)一步降低運(yùn)維維護(hù)成本。

技術(shù)領(lǐng)域

本發(fā)明涉及存儲(chǔ)方法的技術(shù)領(lǐng)域，尤其是一種基于MinIO工業(yè)質(zhì)檢文件分布式存儲(chǔ)方法。

背景技術(shù)

基于工業(yè)質(zhì)檢現(xiàn)場(chǎng)產(chǎn)生的海量質(zhì)檢圖片，在實(shí)際工業(yè)生產(chǎn)中，傳統(tǒng)方式單點(diǎn)存儲(chǔ)，且實(shí)際擴(kuò)展性差，資源可利用率低，運(yùn)維維護(hù)成本往往較高。

中國(guó)發(fā)明專利文獻(xiàn)CN110491478A(申請(qǐng)?zhí)枺?01910777317.9，申請(qǐng)日：2019年08月22日，申請(qǐng)人：中電健康云科技有限公司)公開(kāi)了一種基于ceph的影像文件分布式儲(chǔ)存系統(tǒng)及其實(shí)現(xiàn)方法，包括ceph分布式文件系統(tǒng)、接收緩存模塊、作業(yè)調(diào)度模塊和元數(shù)據(jù)存儲(chǔ)模塊，方法流程為：1、部署ceph分布式存儲(chǔ)集群，在服務(wù)器中配置用于臨時(shí)存放接收到的影像文件的臨時(shí)文件目錄，并使作業(yè)調(diào)度模塊能讀取接收緩存模塊中的數(shù)據(jù)；2、接收緩存模塊接收并存儲(chǔ)客戶端發(fā)送的影像文件；3、啟動(dòng)文件讀取處理任務(wù)和文件清除任務(wù)，文件讀取處理任務(wù)用于周期性讀取并處理臨時(shí)文件目錄中的影像文件，文件清除任務(wù)用于周期性刪除已處理過(guò)的影像文件。然而，該方法基于CEPH運(yùn)維部署，成本較高。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問(wèn)題是：為了解決上述背景技術(shù)中存在的問(wèn)題，提供一種基于MinIO工業(yè)質(zhì)檢文件分布式存儲(chǔ)方法，解決了海量質(zhì)檢圖片大量存儲(chǔ)導(dǎo)致的系統(tǒng)擴(kuò)展差、資源利用率低的問(wèn)題，MinIO本身較為輕量，能進(jìn)一步降低運(yùn)維維護(hù)成本。

本發(fā)明解決其技術(shù)問(wèn)題所采用的技術(shù)方案是：一種基于MinIO工業(yè)質(zhì)檢文件分布式存儲(chǔ)系統(tǒng)的方法，包括順次連接的數(shù)據(jù)預(yù)處理模塊、數(shù)據(jù)同步模塊、數(shù)據(jù)存儲(chǔ)模塊以及數(shù)據(jù)清洗模塊；所述數(shù)據(jù)預(yù)處理模塊用于掃描配置信息并存儲(chǔ)臨時(shí)文件到磁盤(pán)；所述數(shù)據(jù)同步模塊用于實(shí)時(shí)監(jiān)聽(tīng)并將發(fā)起請(qǐng)求將臨時(shí)文件上傳；所述數(shù)據(jù)存儲(chǔ)模塊用于將臨時(shí)文件存儲(chǔ)到MinIO集群并添加文件記錄；所述數(shù)據(jù)清洗模塊用于定時(shí)清理臨時(shí)文件節(jié)約系統(tǒng)資源；所述數(shù)據(jù)預(yù)處理模塊生成臨時(shí)文件并進(jìn)行事件發(fā)布，所述數(shù)據(jù)同步模塊監(jiān)聽(tīng)所述數(shù)據(jù)預(yù)處理模塊發(fā)布的事件并發(fā)起請(qǐng)求上傳臨時(shí)文件，所述數(shù)據(jù)存儲(chǔ)模塊將所述數(shù)據(jù)同步模塊上傳的臨時(shí)文件進(jìn)行存儲(chǔ)并落表記錄，所述數(shù)據(jù)清洗模塊查詢所述數(shù)據(jù)存儲(chǔ)模塊的記錄進(jìn)行臨時(shí)文件定期清理完成磁盤(pán)空間整理；包括順次開(kāi)展的數(shù)據(jù)預(yù)處理階段、數(shù)據(jù)同步階段、數(shù)據(jù)存儲(chǔ)階段以及數(shù)據(jù)清洗階段。具體步驟如下：第一步驟、數(shù)據(jù)預(yù)處理階段加載系統(tǒng)配置，掃描并加載系統(tǒng)配置信息；第二步驟、數(shù)據(jù)預(yù)處理階段接收客戶端發(fā)起的請(qǐng)求并將文件作為臨時(shí)文件保存到本地服務(wù)器；第三步驟、數(shù)據(jù)預(yù)處理階段臨時(shí)文件上傳本地服務(wù)器后進(jìn)行事件發(fā)布；第四步驟、數(shù)據(jù)同步階段進(jìn)行事件監(jiān)聽(tīng)，實(shí)時(shí)收集到上傳到本地服務(wù)器的臨時(shí)文件信息；第五步驟、數(shù)據(jù)同步階段發(fā)起請(qǐng)求將本地臨時(shí)文件同步上傳到MinIO集群；第六步驟、數(shù)據(jù)存儲(chǔ)階段根據(jù)請(qǐng)求將本地臨時(shí)文件存儲(chǔ)到MinIO集群；第七步驟、數(shù)據(jù)存儲(chǔ)階段根據(jù)存儲(chǔ)結(jié)果同步文件存儲(chǔ)記錄到Mysql；第八步驟、數(shù)據(jù)清洗階段根據(jù)定時(shí)任務(wù)定時(shí)發(fā)起請(qǐng)求查詢文件落庫(kù)記錄，具體定時(shí)時(shí)間可自主配置；第九步驟、數(shù)據(jù)清洗階段根據(jù)查詢結(jié)果清理本地服務(wù)器臨時(shí)文件完成數(shù)據(jù)清洗。

進(jìn)一步具體地說(shuō)，上述技術(shù)方案中，在第一步驟中，系統(tǒng)配置信息包括基礎(chǔ)服務(wù)器配置信息、MinIO配置Endpoint、MinIO配置Access Key以及MinIO配置Secret Key。

進(jìn)一步具體地說(shuō)，上述技術(shù)方案中，在第二步驟中，接收客戶端發(fā)起的請(qǐng)求，可以從請(qǐng)求中依次獲取文件對(duì)象，并將其作為臨時(shí)文件保存到本地服務(wù)器。

進(jìn)一步具體地說(shuō)，上述技術(shù)方案中，在第三步驟中，根據(jù)第二步驟的結(jié)果利用Spring內(nèi)置ApplicationEventPublisher進(jìn)行事件發(fā)布，從而將業(yè)務(wù)解耦。