字符是各种文字和符号的总称，包括各国家文字、标点符号、图形符号、数字等。字符集是多个字符的集合，字符集种类较多，每个字符集包含的字符个数不同，常见字符集名称：
ASCII
字符集、
GB2312
字符集、
BIG5
字符集、
GB 18030
字符集、
Unicode
字符集等。计算机要准确的处理各种字符集文字，需要进行字符编码，以便计算机能够识别和存储各种文字。 中文文字数目大，而且还分为简体中文和繁体中文两种不同书写规则的文字，而计算机最初是按英语单字节字符设计的，因此，对中文字符进行编码，是中文信息交流的技术基础。本文将按照字符集的时间顺序讨论几种典型的字符集，选取几种代表性的中文字符集，研究历史由来、特点、技术特征。 汉字编码范围 【字符编码的基础知识】
| 名称
|
第一字节
|
第二字节
|
| GB2312
|
0xB0-0xF7(176-247)
|
0xA0-0xFE
（
160-254
）
|
| GBK
|
0x81-0xFE
（
129-254
）
|
0x40-0xFE
（
64-254
）
|
| Big5
|
0x81-0xFE
（
129-255
）
|
0x40-0x7E
（
64-126
） 0xA1
－
0xFE
（
161-254
）
|
ASCII
字符集 1
．名称的由来 ASCII
（
American Standard Code for Information Interchange
，美国信息互换标准代码）是基于罗马字母表的一套电脑编码系统。 2
．特点 它主要用于显示现代英语和其他西欧语言。它是现今最通用的单字节编码系统，并等同于国际标准
ISO 646
。 3
．包含内容 控制字符：回车键、退格、换行键等。 可显示字符：英文大小写字符、阿拉伯数字和西文符号 4
．技术特征 7
位（
bits
）表示一个字符，共
128
字符 5
．
ASCII
扩展字符集 7
位编码的字符集只能支持
128
个字符，为了表示更多的欧洲常用字符对
ASCII
进行了扩展，
ASCII
扩展字符集使用
8
位（
bits
）表示一个字符，共
256
字符。 ASCII
扩展字符集比
ASCII
字符集扩充出来的符号包括表格符号、计算符号、希腊字母和特殊的拉丁符号。 GB2312
字符集 1
．名称的由来 GB2312
又称为
GB2312-80
字符集，全称为《信息交换用汉字编码字符集
·
基本集》，由原中国国家标准总局发布，
1981
年
5
月
1
日
实施。 2
．特点 GB2312
是中国国家标准的简体中文字符集。它所收录的汉字已经覆盖
99.75%
的使用频率，基本满足了汉字的计算机处理需要。在中国大陆和新加坡获广泛使用。 3
．包含内容 GB2312
收录简化汉字及一般符号、序号、数字、拉丁字母、日文假名、希腊字母、俄文字母、汉语拼音符号、汉语注音字母，共
7445
个图形字符。其中包括
6763
个汉字，其中一级汉字
3755
个，二级汉字
3008
个；包括拉丁字母、希腊字母、日文平假名及片假名字母、俄语西里尔字母在内的
682
个全角字符。 4
．技术特征 （
1
）分区表示： GB2312
中对所收汉字进行了
“
分区
”
处理，每区含有
94
个汉字
/
符号。这种表示方式也称为区位码。 各区包含的字符如下：
01-09
区为特殊符号；
16-55
区为一级汉字，按拼音排序；
56-87
区为二级汉字，按部首
/
笔画排序；
10-15
区及
88-94
区则未有编码。 （
2
）双字节表示 两个字节中前面的字节为第一字节，后面的字节为第二字节。习惯上称第一字节为
“
高字节
”
，而称第二字节为
“
低字节
”
。 “
高位字节
”
使用了
0xA1-0xF7 (
把
01-87
区
(88-94
区未有编码
)
的区号加上
0xA0)
，
“
低位字节
”
使用了
0xA1-0xFE (
把
01-94
加上
0xA0)
。 5
．编码举例 以
GB2312
字符集的第一个汉字
“
啊
”
字为例，它的区号
16
，位号
01
，则区位码是
1601
，在大多数计算机程序中，高字节和低字节分别加
0xA0
得到程序的汉字处理编码
0xB0A1
。计算公式是：
0xB0=0xA0+16, 0xA1=0xA0+1
。 GBK
字符集 1
．名称的由来 GBK
是
GB2312
的扩展，是向上兼容的，因此
GB2312
中的汉字的编码与
GBK
中汉字的相同。
另外，
GBK
中还包含繁体字的编码，它与
Big5
编码之间的关系我还没有弄明白，好像是不一致的。 2.
特点 GBK
中每个汉字仍然包含两个字节，第一个字节的范围是
0x81-0xFE
（即
129-254
），第二个字节的范围是
0x40-0xFE
（即
64-254
）。
GBK
中有码位
23940
个，包含汉字
21003
个。 BIG5
字符集 1
．名称的由来 又称大五码或五大码，
1984
年由台湾财团法人信息工业策进会和五间软件公司宏碁
(Acer)
、神通
(MiTAC)
、佳佳、零壹
(Zero One)
、大众
(FIC)
创立，故称大五码。 Big5码的产生，是因为当时台湾不同厂商各自推出不同的编码，如倚天码、IBM PS55
、王安码等，彼此不能兼容；另一方面，台湾政府当时尚未推出官方的汉字编码，而中国大陆的
GB2312
编码亦未有收录繁体中文字。 2
．特点 Big5
字符集共收录
13,053
个中文字，该字符集在中国台湾使用。耐人寻味的是该字符集重复地收录了两个相同的字：
“
兀
”(0xA461
及
0xC94A)
、
“
嗀
”(0xDCD1
及
0xDDFC)
。 3
．字符编码方法 Big5码使用了双字节储存方法，以两个字节来编码一个字。第一个字节称为“
高位字节
”
，第二个字节称为
“
低位字节
”
。高位字节的编码范围
0xA1-0xF9
，低位字节的编码范围
0x40-0x7E
及
0xA1-0xFE
。 各编码范围对应的字符类型如下：
0xA140-0xA3BF
为标点符号、希腊字母及特殊符号，另外于
0xA259-0xA261
，存放了双音节度量衡单位用字：兙兛兞兝兡兣嗧瓩糎；
0xA440-0xC67E
为常用汉字，先按笔划再按部首排序；
0xC940-0xF9D5
为次常用汉字，亦是先按笔划再按部首排序。 4
．
Big5
的局限性 尽管
Big5码内包含一万多个字符，但是没有考虑社会上流通的人名、地名用字、方言用字、化学及生物科等用字，没有包含日文平假名及片假名字母。 例如台湾视
“
着
”
为
“
著
”
的异体字，故没有收录
“
着
”
字。康熙字典中的一些部首用字
(
如
“
亠
”
、
“
疒
”
、
“
辵
”
、
“
癶
”
等
)
、常见的人名用字
(
如
“
堃
”
、
“
煊
”
、
“
栢
”
、
“
喆
”
等
)
也没有收录到
Big5
之中。 GB18030
字符集 1
．名称的由来 GB 18030
的全称是
GB18030-2000
《信息交换用汉字编码字符集基本集的扩充》，是我国政府于
2000
年
3
月
17
日
发布的新的汉字编码国家标准，
2001
年
8
月
31
日
后在中国市场上发布的软件必须符合本标准 2
．特点 GB 18030
字符集标准的出台经过广泛参与和论证，来自国内外知名信息技术行业的公司，信息产业部和原国家质量技术监督局联合实施。 GB 18030
字符集标准解决汉字、日文假名、朝鲜语和中国少数民族文字组成的大字符集计算机编码问题。该标准的字符总编码空间超过
150
万个编码位，收录了
27484
个汉字，覆盖中文、日文、朝鲜语和中国少数民族文字。满足中国大陆、香港、台湾、日本和韩国等东亚地区信息交换多文种、大字量、多用途、统一编码格式的要求。并且与
Unicode 3.0
版本兼容，填补
Unicode
扩展字符字汇
“
统一汉字扩展
A”
的内容。并且与以前的国家字符编码标准（
GB2312
，
GB13000.1
）兼容。 3
．编码方法 GB 18030
标准采用单字节、双字节和四字节三种方式对字符编码。单字节部分使用
0×00
至
0×7F
码
(
对应于
ASCII
码的相应码
)
。双字节部分，首字节码从
0×81
至
0×FE
，尾字节码位分别是
0×40
至
0×7E
和
0×80
至
0×FE
。四字节部分采用
GB/T 11383
未采用的
0×30
到
0×39
作为对双字节编码扩充的后缀，这样扩充的四字节编码，其范围为
0×81308130
到
0×FE39FE39
。其中第一、三个字节编码码位均为
0×81
至
0×FE
，第二、四个字节编码码位均为
0×30
至
0×39
。 4
．包含的内容 双字节部分收录内容主要包括
GB13000.1
全部
CJK
汉字
20902
个、有关标点符号、表意文字描述符
13
个、增补的汉字和部首
/
构件
80
个、双字节编码的欧元符号等。四字节部分收录了上述双字节字符之外的，包括
CJK
统一汉字扩充
A
在内的
GB 13000.1
中的全部字符。 对汉字进行
hash 为了处理汉字的方便，在查找汉字的时候，我们通常会用到
hash
的方法，那怎么来确定一个汉字位置呢？这就和每种编码的排列有关了，这里主要给出一种
hash
函数的策略。 对于
GB2312
编码，设输入的汉字为
GBword
，我们可以采用公式
(C1-176)*94 + (C2-161)
确定
GBindex
。其中，
C1
表示第一字节，
C2
表示第二字节。具体如下： GBindex = ((unsigned char)GBword.at(0)-176)*94 + (unsigned char)GBword.at(1) - 161;
之所以用
unsigned char
类型，是因为
char
是一个字节，如果用
unsigend int
，因为
int
是
4
个字节的，所以会造成扩展，导致错误。 对于
GBK
编码，设输入的汉字为
GBKword
，则可以采用公式
index=(ch1-0x81)*190+(ch2-0x40)-(ch2/128)
，其中
ch1
是第一字节，
ch2
是第二字节。 具体的， GBKindex = ((unsigned char)GBKword[0]-129)*190 + ((unsigned char)GBKword[1]-64) - (unsigned char)GBKword[1]/128;
怎样判断一个汉字的是什么编码 直接根据汉字的编码范围判断，对于
GB2312
和
GBK
可用下面两个程序实现。 1
、判断是否是
GB2312 bool isGBCode(const string& strIn) { unsigned char ch1;
unsigned char ch2;
if (strIn.size() >= 2) { ch1 = (unsigned char)strIn.at(0);
ch2 = (unsigned char)strIn.at(1);
if (ch1>=176 && ch1<=247 && ch2>=160 && ch2<=254) return true;
else return false;
} else return false;
} 2
、判断是否是
GBK
编码 bool isGBKCode(const string& strIn) { unsigned char ch1;
unsigned char ch2;
if (strIn.size() >= 2) { ch1 = (unsigned char)strIn.at(0);
ch2 = (unsigned char)strIn.at(1);
if (ch1>=129 && ch1<=254 && ch2>=64 && ch2<=254) return true;
else return false;
} else return false;
} 3
、对于
Big5 它的范围为：高字节从
0xA0
到
0xFE
，低字节从
0x40
到
0x7E
，和
0xA1
到
0xFE
两部分。判断一个汉字是否是
BIG5
编码，可以如上对字符的编码范围判断即可。如何定位呢？那么也想象所有编码排列为一个二维坐标，纵坐标是高字节，横坐标是低字节。这样一行上的汉字个数：
(0x7E-0x40+1)+(0xFE-0xA1+1)
＝
157
。那么定位算法分两块，为
:if 0x40<=ch2<=0x7E: #is big5 charindex=((ch1-0xA1)*157+(ch2-0x40))*2elif 0xA1<=ch2<=0xFE: #is big5 charindex=((ch1-0xA1)*157+(ch2-0xA1+63))*2对于第二块，计算偏移量时因为有两块数值，所以在计算后面一段值时，不要忘了前面还有一段值。
0x7E-0x40+1=63
。 如果判断一个字符是西文字符还是中文字符 大家知道西文字符主要是指
ASCII
码，它用一个字节表示。且这个字符转换成数字之后，该数字是大于
0
的，而汉字是两个字节的，第一个字节的转化为数字之后应该是小于
0
的，因此可以根据每个字节转化为数字之后是否小于
0
，判断它是否是汉字。 例如，设输入字为
strin
，则， If (strin.at(0) < 0) cout << ”
是汉字
” << endl;
else cout << ”
不是汉字
” << endl;
编码表 Unicode
字符集 1
．名称的由来 Unicode
字符集编码是
Universal Multiple-Octet Coded Character Set
通用多八位编码字符集的简称，是由一个名为
Unicode
学术学会
(Unicode Consortium)
的机构制订的字符编码系统，支持现今世界各种不同语言的书面文本的交换、处理及显示。该编码于
1990
年开始研发，
1994
年正式公布，最新版本是
2005
年
3
月
31
日
的
Unicode 4.1.0
。 2
．特征 Unicode
是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码，以满足跨语言、跨平台进行文本转换、处理的要求。 3
．编码方法 Unicode
标准始终使用十六进制数字，而且在书写时在前面加上前缀
“U+”
，例如字母
“A”
的编码为
004116
和字符
“?”
的编码为
20AC16
。所以
“A”
的编码书写为
“U+0041”
。 4
．
UTF-8
编码
UTF-8
是
Unicode
的其中一个使用方式。
UTF
是
Unicode Translation Format
，即把
Unicode
转做某种格式的意思。 UTF-8
便于不同的计算机之间使用网络传输不同语言和编码的文字，使得双字节的
Unicode
能够在现存的处理单字节的系统上正确传输。 UTF-8
使用可变长度字节来储存
Unicode
字符，例如
ASCII
字母继续使用
1
字节储存，重音文字、希腊字母或西里尔字母等使用
2
字节来储存，而常用的汉字就要使用
3
字节。辅助平面字符则使用
4
字节。 5
．
UTF-16
和
UTF-32
编码
UTF-32
、
UTF-16
和
UTF-8
是
Unicode
标准的编码字符集的字符编码方案，
UTF-16
使用一个或两个未分配的
16
位代码单元的序列对
Unicode
代码点进行编码；
UTF-32
即将每一个
Unicode
代码点表示为相同值的
32
位整数
推荐阅读
