[發明專利]數據處理方法、系統、計算機存儲介質及電子設備

在審

• 申請號: 202110741317.0
• 申請日: 2021-06-30
• 公開（公告）號: CN113486083A
• 公開（公告）日: 2021-10-08
• 發明（設計）人: 徐洪孟;陳利軍;厲劍;劉雙廣
• 申請（專利權）人: 高新興科技集團股份有限公司
• 主分類號: G06F16/2458
• 分類號: G06F16/2458;G06F16/215;G06F16/22
• 代理公司: 廣州國鵬知識產權代理事務所(普通合伙) 44511
• 代理人: 葛紅

本發明公開了一種數據處理方法、數據處理系統、計算機存儲介質及電子設備，數據處理方法包括以下步驟：S1、記錄每一輛經過起點區域和終點區域的過車數據，得到起點數據和終點數據；S2、將起點數據和終點數據分別寫入分區表；S3、將分區表內的起點數據與終點數據進行匹配；S4、預定時間之后，刪除分區表中未匹配成功的起點數據和終點數據。根據本發明實施例的數據處理方法，通過將起點數據和終點數據分別寫入不同的分區表，將不同分區表的數據進行匹配，并且在預定時間之后，將未匹配成功的數據進行定期刪除，可以合理刪除過氣數據，避免數據占用過大空間，保證系統運行速度，并且使得數據系統可以長期穩定運行。

技術領域

本發明設計數據處理技術領域，具體涉及一種數據處理方法、數據處理系統、計算機存儲介質及電子設備。

背景技術

OD(origin-destination)分析，是指一個區域到另外一個區域的發射量和吸收量，通過OD分析能夠知道兩個地方的車輛進出情況。

每一輛過車，經過了設置的O區域，有可能在未來某一時間經過D區域。形成一條發射量和接收量，也有可能不在D區域出現。通過緩存存儲O區域的數據，針對每一個D區域的數據進行一次搜索的對比?；蛘呤峭ㄟ^把O的數據放在數據庫表中，通過每條D區域的數據進行對比，進行搜索，匹配上來的就組成了一條OD發射。匹配不上的，而且過期的數據，就進行去除。

目前，OD分析通常采用內存的緩存方案，當數據量大到一定的程度，就需要寫入磁盤，對大批量數據的分析，存在較大限制。

如果采用單表寫入數據庫的方式，當O區域的車輛數據和D區域的車輛數據匹配后，生成一條OD量，那么這條數據在O區域和D區域則已經形成過期數據。而車輛如果只是經過O區域或者是D區域，在很長一段時間沒有同時經過兩個區域，那這輛車的數據也是過期數據。由于過期的數據混合在有效數據中，只能使用DML語句刪除。這種方案在數據庫中會出現如下問題：會留下數據孔隙，隨著系統不斷的運行，單表會越來越大，查詢匹配會越來越慢。

發明內容

本申請的一個目的是提供一種數據處理方法、數據處理系統、計算機存儲介質及電子設備，可以合理刪除過期數據，避免數據占用過大空間，保證系統運行速度。

根據本發明第一方面實施例的數據處理方法，包括以下步驟：S1、記錄每一輛經過起點區域和終點區域的過車數據，得到起點數據和終點數據；

S2、將所述起點數據和所述終點數據分別寫入分區表；S3、將所述分區表內的所述起點數據與所述終點數據進行匹配；S4、預定時間之后，刪除所述分區表中未匹配成功的所述起點數據和所述終點數據。

根據本發明實施例的數據處理方法，通過將起點數據和終點數據分別寫入不同的分區表，將不同分區表的數據進行匹配，并且在預定時間之后，將未匹配成功的數據進行定期刪除，可以合理刪除過氣數據，避免數據占用過大空間，保證系統運行速度，并且使得數據系統可以長期穩定運行。

根據本發明的一個實施例，所述分區表為OD表。

根據本發明的一個實施例，所述分區表按照時間進行分區。

根據本發明的一個實施例，所述分區表由PostgreSQL使用派生表的方式支持。

根據本發明的一個實施例，所述分區表的父表為空表，所述分區表的子表為多個，多個所述子表的數據分別獨立處理。

根據本發明的一個實施例，在步驟S4中，所述預定時間為一天、一周或一個月。

根據本發明的一個實施例，在步驟S4中，采用DDL的方式刪除所述分區表中未匹配成功的所述起點數據和所述終點數據。