[發明專利]多數據系統

在審

• 申請號: 202011165856.6
• 申請日: 2020-10-27
• 公開（公告）號: CN112347073A
• 公開（公告）日: 2021-02-09
• 發明（設計）人: 周伯虎
• 申請（專利權）人: 山東開創云計算有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/22;G06F16/2455;G06F16/28
• 代理公司: 青島高曉專利事務所(普通合伙) 37104
• 代理人: 張清東

1.多數據系統，包括一個主控服務器、數據采集平臺、數據處理平臺、業務對接和多個分布式存儲單元，其特征在于，所述存儲單元采用異步寫入方式保存；

所述主控服務器用于提供數據和業務對接服務；

所述數據采集平臺，用于根據指令進行數據采集；

所述數據處理平臺，對數據采集平臺采集的數據進行處理，處理后的數據按照業務類型存儲；

所述業務對接，根據使用者的指令進行業務匹配；

所述分布式存儲單元，用于存儲數據處理平臺處理的數據，并將處理的數據進行分類儲存。

2.如權利要求1所述多數據系統，其特征在于：所述異步寫入方式采用將數據放在緩存中，不立即存儲數據庫的數據，使用隊列存儲的方式實現。

3.如權利要求2所述多數據系統，其特征在于：所述異步寫入方式采用將數據放在緩存中，不立即存儲數據庫的數據，使用隊列存儲的方式實現。

4.如權利要求1所述多數據系統，其特征在于：所述業務對接通過CDN內容分發。

5.如權利要求1至4任意一項所述多數據系統，其特征在于：異步寫入具體代碼為：

From twisted.enterprise import adbapi

From pymysql import cursors

Class TwistedMysqlPipeline(object)：

@classmethod

def from_settings (cls,stettings)

db_prams=dict(

host=settings[‘MYSQL_HOST’],

user=settings[‘MYSQL_USER’],

password= settings[‘MYSQL_PW’],

db= settings[‘MYSQL_DB’],

port=3306,

use_unicode=True,

charset= settings[‘MYSQL_CHARSET’],

cursorclass=cursors.DictCursor

）

db_pool=adbapi.ConnectionPool(‘pymysql’,**db_prams)

return cls(db_pool)

def_init_(self,db_pool):

self.db_pool=db_pool

def process_item(self,item,spider):

query=self.db_pool.runInteraction(self.insert_sql,item)

query.addErrback(self.handle_error,item,spider)

return item

def handle_error(self,failure,item,spider):

print(‘報錯了’)

print（‘failure’）

print(‘item’)

def insert_sql(self,cursor,item):

item.save(cursor,item)。