[發(fā)明專利]多數(shù)據(jù)系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011165856.6
• 申請日: 2020-10-27
• 公開（公告）號: CN112347073A
• 公開（公告）日: 2021-02-09
• 發(fā)明（設(shè)計）人: 周伯虎
• 申請（專利權(quán)）人: 山東開創(chuàng)云計算有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 青島高曉專利事務(wù)所(普通合伙) 37104
• 代理人: 張清東

多數(shù)據(jù)系統(tǒng)，涉及計算機(jī)程序技術(shù)領(lǐng)域，包括一個主控服務(wù)器和多個分布式存儲數(shù)據(jù)庫，其特征在于，所述存儲數(shù)據(jù)庫采用異步寫入方式保存。本申請可以提高數(shù)據(jù)庫的寫入速度，并將所有數(shù)據(jù)寫入數(shù)據(jù)庫中，保證數(shù)據(jù)的完整性。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)程序技術(shù)領(lǐng)域，尤其涉及多數(shù)據(jù)系統(tǒng)。

背景技術(shù)

隨著全員生產(chǎn)維護(hù)的開展，設(shè)備綜合效率(Overall Equipment Effectiveness，OEE)作為全員生產(chǎn)維護(hù)衡量設(shè)備效能的標(biāo)準(zhǔn)得到廣泛應(yīng)用，并取得顯著成效。Factorytalk、OEE、Toolkit等OEE分析軟件已經(jīng)被廣泛使用，另外在國內(nèi)外的各種MES系統(tǒng)中也相應(yīng)引入了OEE分析模塊。

然而，不管是OEE分析專用軟件還是帶有OEE分析模塊的 MES，都存在如下弊端：1)費用高昂；2)開發(fā)要求較高；3)在使用中會存在一定問題。 另外用常規(guī)通用的統(tǒng)計分析軟件，雖然可以降低成本，但是對于海量的OEE數(shù)據(jù)，要高效準(zhǔn)確得出結(jié)果卻存在很大的難度。

另外在當(dāng)前的數(shù)據(jù)分析領(lǐng)域中，多維數(shù)據(jù)分析作為一項新興技術(shù)，受到廣泛重視。利用多維數(shù)據(jù)分析以O(shè)LAP(聯(lián)機(jī)分析處理)作為平臺，并且延伸到數(shù)據(jù)挖掘領(lǐng)域的綜合分析數(shù)據(jù)系統(tǒng)，在人口信息、石油生產(chǎn)、醫(yī)院信息等多個方面的數(shù)據(jù)分析都起到了積極作用。然而，針對生產(chǎn)領(lǐng)域中具體對于OEE的數(shù)據(jù)分析上，還鮮見多維數(shù)據(jù)分應(yīng)用的實例。

多數(shù)據(jù)系統(tǒng)由于需要對大量的數(shù)據(jù)進(jìn)行處理分析、存儲和輸出，因此存在高并發(fā)的問題，影響數(shù)據(jù)傳輸?shù)募皶r性。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中存在的缺點，而提出的多數(shù)據(jù)系統(tǒng)，可以有效的解決多數(shù)據(jù)系統(tǒng)由于需要對大量的數(shù)據(jù)進(jìn)行處理分析、存儲和輸出，因此存在高并發(fā)的問題，影響數(shù)據(jù)傳輸?shù)募皶r性。

為了實現(xiàn)上述目的，本發(fā)明采用了如下技術(shù)方案：

多數(shù)據(jù)系統(tǒng)，包括一個主控服務(wù)器、數(shù)據(jù)采集平臺、數(shù)據(jù)處理平臺、業(yè)務(wù)對接和多個分布式存儲單元，其特征在于，所述存儲單元采用異步寫入方式保存；

所述主控服務(wù)器用于提供數(shù)據(jù)和業(yè)務(wù)對接服務(wù)；

所述數(shù)據(jù)采集平臺，用于根據(jù)指令進(jìn)行數(shù)據(jù)采集；

所述數(shù)據(jù)處理平臺，對數(shù)據(jù)采集平臺采集的數(shù)據(jù)進(jìn)行處理，處理后的數(shù)據(jù)按照業(yè)務(wù)類型存儲；

所述業(yè)務(wù)對接，根據(jù)使用者的指令進(jìn)行業(yè)務(wù)匹配；

所述分布式存儲單元，用于存儲數(shù)據(jù)處理平臺處理的數(shù)據(jù)，并將處理的數(shù)據(jù)進(jìn)行分類儲存。

所述異步寫入方式采用將數(shù)據(jù)放在緩存中，不立即存儲數(shù)據(jù)庫的數(shù)據(jù)，使用隊列存儲的方式實現(xiàn)。

所述異步寫入方式采用將數(shù)據(jù)放在緩存中，不立即存儲數(shù)據(jù)庫的數(shù)據(jù)，使用隊列存儲的方式實現(xiàn)。

所述業(yè)務(wù)對接通過CDN內(nèi)容分發(fā)。

異步寫入具體代碼為：

From twisted.enterprise import adbapi

From pymysql import cursors

Class TwistedMysqlPipeline(object)：

@classmethod

def from_settings (cls,stettings)

db_prams=dict(

host=settings[‘MYSQL_HOST’],