[發明專利]泛字符編解碼方法及系統

在審

• 申請號: 202010143092.4
• 申請日: 2020-03-05
• 公開（公告）號: CN111368509A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 薛昌熵
• 申請（專利權）人: 薛昌熵
• 主分類號: G06F40/126
• 分類號: G06F40/126
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種泛文本字符編碼解碼方法及系統。主要方法包括：自同步，以末尾字節首位為0作為碼元分隔符；編碼時將字符碼點拆解為區號、語號、字號，以區號劃分字節長度和結構，以語號作為前綴，以字號作為偏移量組成碼元序列；解碼時將序列按照碼元分割后，依次讀出區號、語號、字號，再組成字符。一個碼元可存儲一個或多個字符，同一碼元中共用一個區號和語號，存儲一個或多個字號，對應一個或多個字符。其中的二進制區自定義存儲二進制，以儲二進制、指令、新語言，且隔離令符、字符。本發明涉及數據存儲傳輸領域，通過該方法，實現省空間、高效且安全地存儲泛文本，適合獨排混排全球各類文字、混排二進制文本以及自定義文字等多種分布情況。

技術領域

本發明涉及編解碼領域，尤其涉及泛文本字符編解碼方法和系統。

背景技術

計算機采用二進制存儲數據，字符也需要轉換成二進制存儲。字符編碼是為收錄的字符集制定計算機編碼。典型的字符集有ASCII、GB2312、Unicode。典型的編碼方式有ASCII、GB2312、GB18030、UTF16、UTF8。通常字符集與編碼方式搭配使用。Unicode試圖收錄所有字符，目前是最流行的跨語言字符集。

上述編碼或錄字少，或寬字等缺陷，或費空間，或不支持編碼二進制。字符經常與“\n”、“\0”等指令轉義混編，既不語義專一也不隔離安全。目前Unicode私有區自定義空間很小，不能滿足自定義混編二進制的需求。

發明內容

因此，本發明設計一種通用的省空間的泛文本字符編碼方法。

基于上述目的，本發明提供了一種泛文本編碼方法，包括：獲得待編碼字符的碼點；將字符碼點分解為區號、語號、字號；區號表示碼元結構，碼元中除去表示區號的位為數據位；語號表示該語言文字種類；字號表示該字符在該類語言文字中的編號；使用區號、語號、字號合成碼元。

本編碼屬于變長碼，碼元無長度限制；每個碼元字節后7位為數據位，并僅碼元末尾字節首位為0，其余首位為1，依此自同步。

根據碼元長度、結構和編碼內容，將編碼區分為單字節、雙字節、三字節、四節三字、四節雙字、四節二進制等幾種結構，每個結構對應一個區號。具體如下：單字節區每個碼元有一個字節，存儲一個字符，與ASCII一一對應；雙字節區碼元有兩個字節，存儲一個字符，存儲常用混排字符，如西歐字母、日文、常用中文等；三字節區碼元有三個字節，存儲一個字符，存儲罕用字符，包括彝文等；四節三字區碼元有四個字節，存儲三個字符，共用區號、語號，可容納1～3個字號，每字號8位，區號前綴位0，三位語號，用以存儲常用獨排字符，如西里爾、阿拉伯、希臘等常用字母，實現壓縮存儲；四節雙字區碼元有四個字節，存儲兩個字符，共用區號、語號，可容納1～2個字號，每字號8位，區號前綴為10，10位語號，用以存儲次常用字母，如蒙古文等，實現壓縮存儲；四字節二進制區碼元有四個字節，存儲24位二進制，區號前綴為11，用以存儲二進制、指令、新語言、自定義等內容。

基于上述目的，本發明提供一種泛文本字符解碼方法，包括：根據字節首位位0識別為碼元末尾字節,據此分割碼元；根據碼元長度和前綴識別出單字節區、雙字節區、三字節區、四字三字區、四字雙字區、四字二進制區；根據字節長度和前綴碼識別出區號、語號、字號；根據區號、語號、字號組合字符碼點或者二進制序列，一個碼元可由多個字號組成多字符碼點。

基于上述目的，本發明還提供了一種泛文本編碼系統，包括：分解模塊，使用分解器將待編碼的泛文本字符拆分為區號、語號、字號；合成模塊，將區號、語號、字號合稱為碼元，若前后兩個碼元中區號、語號相同而字號仍用空位，可以將字號填入上一個碼元的字符空位以壓縮存儲，具體包括單字節合成器、雙字節合成器、三字節合成器、四節三字合成器、四節雙字合成器、四節二進制合成器。