2022年2022年各种文字编码简介+常见的编码都有介绍 .pdf

《2022年2022年各种文字编码简介+常见的编码都有介绍 .pdf》由会员分享，可在线阅读，更多相关《2022年2022年各种文字编码简介+常见的编码都有介绍 .pdf（8页珍藏版）》请在淘文阁 - 分享文档赚钱的网站上搜索。

1、各种文字编码简介ASCII ASCII码是7 位编码，编码范围是0 00-0 7F。ASCII字符集包括英文字母、阿拉伯数字和标点符号等字符。其中000-020 和07F共33 个控制字符。只支持 ASCII码的系统会忽略每个字节的最高位，只认为低7 位是有效位。HZ字符编码就是早期为了在只支持7 位ASCII系统中传输中文而设计的编码。 早期很多邮件系统也只支持ASCII编码， 为了传输中文邮件必须使用BASE64或者其他编码方式。GB2312 GB2312 是基于区位码设计的，区位码把编码表分为 94 个区，每个区对应 94 个位，每个字符的区号和位号组合起来就是该汉字的区位码。区位码一般

2、 用 10 进制数来表示， 如 1601 就表示16 区1位，对应的字符是“ 啊” 。在区位码的区号和位号上分别加上0 xA0 就得到了 GB2312 编码。区位码中 01-09 区是符号、数字区，16-87 区是汉字区，10-15 和88-94 是未定义的空白区。它将收录的汉字分成两级：第一级是常用汉字 计 3755 个，置于16-55区，按汉语拼音字母/ 笔形顺序排列； 第二级汉字是次常用汉字计3008 个， 置于56-87 区， 按部首/ 笔画顺序排列。 一级汉 字是按照拼音排序的，这个就可以得到某个拼音在一级汉字区位中的范围，很多根据汉字可以得到拼音的程序就是根据这个原理编写的。GB2

3、312 字符集中除常用简体汉字字符外还包括希腊字母、 日文平假名及片假名字母、 俄语西里尔字母等字符， 未收录繁体中文汉字和一些生僻字。 可以用繁体汉字测试某些系统是不是只支持 GB2312编码。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 1 页，共 8 页 - - - - - - - - - GB2312 的编码范围是0 xA1A1-0 7E7E，去掉未定义的区域之后可以理解为实际编码范围是0 xA1A1-0 xF7FE 。EUC-CN 可以理解为GB2312 的别名，和GB2

4、312 完全相同。区位码更应该认为是字符集的定义，定义了所收录的字符和字符位置，而GB2312 及EUC-CN 是实际计算机环境中支持这 种字符集的编码。HZ 和ISO-2022-CN是对应区位码字符集的另外两种编码，都是用7 位编码空间来支持汉字。区位码和 GB2312 编码的关系有点像 Unicode 和UTF-8 。GBK GBK编码是GB2312 编码的超集， 向下完全兼容GB2312，同时GBK收录了Unicode 基本多文种平面中的所有 CJK汉字。 同 GB2312 一样， GBK也支持希腊字母、 日文假名字母、 俄语字母等字符，但不支持韩语中的表音字符（非汉字字符）。GBK还收

5、录了GB2312 不包含的 汉字部首符号、竖排标点符号等字符。GBK的整体编码范围是为0 8140-0 xFEFE ，不包括低字节是0 7F 的组合。高字节范围是0 81-0 xFE ，低字节范围是 0 40-7E和0 80-0 xFE 。低字节是 040-07E的 GBK字符有一定特殊性， 因为这些字符占用了 ASCII码的位置，这样会给一些系统带来麻烦。有些系统中用 040-07E中的字符（如“| ”）做特殊符号，在定位这些符号时又没有判断这些符号是不是属于某个 GBK字符的低字节， 这样就会造成错误判断。 在支持GB2312 的环境下就不存在这个问题。需要注意的是支持GBK的环境中小于0

6、80 的某个字节未必就 是ASCII符号；另外就是名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 2 页，共 8 页 - - - - - - - - - 最好选用小于 040 的ASCII符号做一些特殊符号，这样就可以快速定位，且不用担心是某个汉字的另一半。Big5 编码中也存在相应问题。CP936 和GBK的有些许差别，绝大多数情况下可以把CP936 当作 GBK的别名。GB18030 GB18030 编码向下兼容GBK和GB2312 ，兼容的含义是不仅字符兼容，而且相同字符的编码

7、也相同。GB18030 收录了所有 Unicode3.1 中的字符，包括中国少数民族字符，GBK不支持的韩文字符等等，也可以说是世界大多民族的文字符号都被收录在内。GBK和GB2312 都是双字节等宽编码，如果算上和ASCII兼容所支持的单字节，也可以理解为是单字节和双字节混合的变长编码。GB18030 编码是变长编码，有单字节、双字节和四字节三种方式。GB18030 的单字节编码范围是0 00-0 7F，完全等同与 ASCII ；双字节编码的范围和 GBK相同，高字节是 081-0 xFE，低字节 的编码范围是 040-07E和080-FE；四字节编码中第一、三字节的编码范围是081-0 x

8、FE，二、四字节是030-039。Windows 中CP936 代码页使用 0 80 来表示欧元符号， 而在GB18030 编码中没有使用0 80 编码位，用其他位置来表示欧元符号。这可以理解为是GB18030 向下兼容性上的一点小问题；也可以理解为 080 是CP936 对GBK的扩展，而GB18030 只是和GBK兼容良好。BIG5 Big5 是双字节编码，高字节编码范围是 0 81-0 xFE ，低字节编码范围是0 40-0 7E和0 xA1-0 xFE 。和GBK相比，少了低字节是0 80-0 xA0 的组合。0 8140-0 xA0FE是保留区域，用于用户造字区。名师资料总结 - -

9、 -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 3 页，共 8 页 - - - - - - - - - Big5 收录的汉字只包括繁体汉字，不包括简体汉字，一些生僻的汉字也没有收录。GBK收录的日文假名字符、俄文字符Big5也没有收录。因为 Big5 当中收录的字符有限，因此有很多在Big5 基础上扩展的编码，如倚天中文系统。 Windows 系统上使用的代码页CP950 也可以理解为是对Big5 的扩展，在 Big5 的基础上增加了 7 个汉字和一些符号。Big5编码对应的字符集是GBK字符集的子集，

10、也就是说 Big5 收录的字符是 GBK收录字符的一部分，但相同字符的编码不同。因为 Big5 也占用了 ASCII的编码空间（低字节所使用的040-07E），所以Big5 编码在一些环境下存在和 GBK编码相同的问题， 即低字节范围为 040-07E的字符有可能会被误处理， 尤其是低字节是 05C（”/ ”）和07C（”| ”）的字符。可以参考GBK一节相应说明。尽管有些区别，大多数情况下可以把CP950 当作Big5 的别名。ISO-8859-1 ISO-8859-1编码是单字节编码，向下兼容 ASCII ，其编码范围是0 00-0 xFF ，0 00-0 7F之间完全和 ASCII一致，

11、080-09F之间是控制字符，0 xA0-0 xFF 之间是文字符号。ISO-8859-1收录的字符除ASCII收录的字符外，还包括西欧语言、希腊语、泰语、阿拉伯语、希伯来语对应的文字符号。欧元符号出现的比较晚，没有被收录在ISO-8859-1当中。因为 ISO-8859-1编码范围使用了单字节内的所有空间， 在支持 ISO-8859-1的系统中传输和存储其他任何编码的字节流都不会被抛弃。换言之，把其他任何编码的字节流当作ISO-8859-1编码看待都没有问题。 这是个很重要的特性， MySQL数据库默认编码是 Latin1 就是利用了这个特性。 ASCII编码是一个7 位的容器，ISO-88

12、59-1编码是一个8 位的容器。Latin1 是ISO-8859-1的别名，有些环境下写作Latin-1 。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 4 页，共 8 页 - - - - - - - - - UCS-2 和UTF-16 Unicode 组织和ISO组织都试图定义一个超大字符集，目的是要涵盖所有语言使用的字符以及其他学科使用的一些特殊符号，这个字符集就是通用字符集（UCS ，Universal Character Set）。这两个组织经过协调，虽然在各自发展，但定义

13、的字符位置是完全一致的。ISO相应的标准是ISO 10646。Unicode 和ISO 10646 都在不断的发展过程中，所以会有不同的版本号来标明不同的发展阶段，每个Unicode 版本号都能找到相对应的 ISO 10646 版本号。ISO 10646 标准定义了一个31 位的字符集。前两个字节的位置（0 0000-0 xFFFD ）被称为基本多语言面（Basic Multilingual Plane, BMP） ，超出两个字节的范围称作辅助语言面。BMP基本包括了所有语言中绝大多数字符， 所以只要支持BMP就可以支持绝大多数场合下的应用。 Unicode 3.0对应的字符集在BMP范围内。

14、UCS字符集为每个字符分配了一个位置， 通常用“ U”再加上某个字符在UCS中位置的16 进制数作为这个字符的UCS表示， 例如“U+0041 ” 表示字符“A”。 UCS字符U+0000 到U+00FF 与ISO-8859-1完全一致。UCS-2、 UTF-16 是UCS字符集（或者说是 Unicode 字符集） 实际应用中的具体编码方式。UCS-2是两个字节的等宽编码，因为只是使用了两个字节的编码空间，所以只能对BMP中的字符做编码。UTF-16 是变长编码，用两个字节对BMP内的字符编码，用4 个字节对超出 BMP范围的辅助平面内的字符作编码。UCS-2 不同于GBK和Big5，它是真正

15、的等宽编码，每个字符都使用两个字节，这个特性在字符串截断和字符数计算时非常方便。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 5 页，共 8 页 - - - - - - - - - UTF-16 是 UCS-2 的超集， UTF-16 编码的两字节编码方式完全和UCS-2 相同，也就是说在BMP的框架内 UCS-2 完全等同与 UTF-16 。实际情况当中常常把UCS-16 当作UCS-2 的别名。UCS-2 和UTF-16 在存储和传输时会使用两种不同的字节序，分别是 big e

16、ndian 和little endian（大尾和小尾）。例如“ 啊” （U+554A ）用big endian 表示就是0554A，用little endian 表示就是 04A55。UCS-2 和UTF-16 默认的字节序是 big endian 方式。在传输过程中为了说明字节序需要在字节流前加上BOM （Byte order Mark），0 xFEFF表示是big endian ，0 xFFFE表示是 little endian。UCS-2BE 、UCS-2LE是实际应用中使用的编码名称，对应着 big endian 和little endian ，UTF-16BE、UTF-16LE 也是

17、如此。因为默认是BE字节序，所以可以把UCS-2 当做是UCS-2BE的别名。在UCS编码中有一个叫做“ZERO WIDTH NO- BREAK SPACE” 的字符，它的编码是U+FEFF ，是个没有实际意义的字符。UCS规范建议我们在传输字节流前，先传输字符“ZERO WIDTH NO-BREAK SPACE”，如果传输的ZERO WIDTH NO-BREAK SPACE 是0 xFEFF就说明是big endian ，反之就是little endian 。UCS-2 和UTF-16 也可以理解为和ASCII以及ISO-8859-1 兼容， 在ASCII编码或者ISO-8859-1编码的每

18、个字节前加上000，就得到相应字符的UCS-2 编码。UCS-2 和UTF-16 中会使用0 00 作为某个字符编码的一部分，某些系统会把0 00 当作字符串结束的标志，在处理UCS-2 或UTF-16 编码时会出现问题。UTF-8 名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 6 页，共 8 页 - - - - - - - - - UTF-8 是UCS字符集的另一种编码方式，UTF-16 的每个单元是两个字节（16 位），而UTF-8的每个单元是一个字节（8 位）。UTF-16

19、中用一个或两个双字节表示一个字符，UTF-8 中用一个或几个单字节表示一个字符。可以认为 UTF-8 编码是根据一定规律从UCS-2 转换得到的，从UCS-2 到UTF-8 之间有以下转换关系：UCS-2 UTF-8 U+0000 - U+007F 0 xxxxxxx U+0080 - U+07FF 110 xxxxx 10 xxxxxx U+0800 - U+FFFF 1110 xxxx 10 xxxxxx 10 xxxxxx 例如“ 啊” 字的UCS-2 编码是0554A，对应的二进制是0101 0101 0100 1010，转成UTF-8 编码之后的二进制是1110 0101 10 01

20、0101 10 001010，对应的十六进制是0 xE5958A 。UCS-4 也是一种UCS字符集的编码方式， 是使用4 个字节的等宽编码， 可以用 UCS-4 来表示BMP之外的辅助面字符。UCS-2 中每两个字节前再加上00000 就得到了 BMP字符的 UCS-4 编码。从UCS-4 到 UTF-8 也存在转换关系，根据这种转换关系，UTF-8 最多可以使用六个字节来编码UCS-4。根据 UTF-8 的生成规律和 UCS字符集的特性，可以看到 UTF-8 具有的特性：UTF-8 完全和ASCII兼容，也就是说ASCII对应的字符在 UTF-8 中和 ASCII编码完全一致。范围在0 0

21、0-0 7F之内的字符一定是ASCII字符，不可能是其他字符的一部分。GBK和 Big5 都存在的缺陷在 UTF-8 中是不存在的。大于 U+007F 的UCS字符，在UTF-8 编码中至少是两个字节。名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 7 页，共 8 页 - - - - - - - - - UTF-8 中的每个字符编码的首字节总在0 00-0 xFD之间（不考虑 UCS-4 支持的情况，首字节在0 00-0 xEF之间）。根据首字节就可以判断之后连续几个字节。非首字节的

22、其他字节都在080-0 xBF 之间；0 xFE和0 xFF 在UTF-8 中没有被用到。GBK编码中的汉字字符都在UCS-2 中的范围都在U+0800 - U+FFFF 之间， 所以每个GBK编码中的汉字字符的 UTF-8 编码都是 3 个字节。 但 GBK中包含的其他字符的 UTF-8 编码就不一定是 3 个字节了，如 GBK中的俄文字符。在UTF-8 的编码的传输过程中即使丢掉一个字节，根据编码规律也很容易定位丢掉的位置，不会影响到其他字符。在其他双字节编码中，一旦损失一个字节，就会影响到此字节之后的所有字符。从这点可以看出UTF-8 编码非常适合作为传输编码名师资料总结 - - -精品资料欢迎下载 - - - - - - - - - - - - - - - - - - 名师精心整理 - - - - - - - 第 8 页，共 8 页 - - - - - - - - -