Windows记事本编码反汇编分析计算机基础

转载自：liam.page

网上有一个流传多年的段子。这个段子大致是说，若你在简体中文版本的 Windows 系统下，用系统自带的记事本程序，以默认的 ANSI 编码保存「联通」两个字，那么重新打开后「联通」二字就消失了。如果我没记错的话，还曾有好事者据此编排，认定 Windows 背后的微软和联通有仇，故意不让联通二字正常显示。
当然，这个说法肯定是假的。但是这一现象背后的原因究竟是什么呢？
Windows 记事本都做了什么这里着重感谢 margen 对 Windows 记事本程序做的逆向工作。没有他的工作，本文不至于这样精彩。光荣属于前辈！
根据 margen 的逆向分析，在打开文件的过程中，记事本程序会调用 fDetermineFileType 来判断文件的编码类型。翻译成 C 语言代码，大致如下。Windows 记事本在以 ANSI 保存文件时，没有任何多余的动作，直接将 buffer 中的内容通过WriteFile 系统调用写入到 txt 文件当中。
我们以 010editor 打开保存了「联通」二字文件看看。

文章图片

可以看到，在简体中文 Windows 下，以记事本保存「联通」两个字。那么保存得到的 txt 文件内，就仅有 0xC1AACDA8 这些内容。而 0xC1AA 和 0xCDA8 正是「联通」两个字的 GBK 编码。
打开的过程根据 margen 的逆向分析，在打开文件的过程中，记事本程序会调用 fDetermineFileType 来判断文件的编码类型。翻译成 C 语言代码，大致如下。

int __stdcall fDetermineFileType(LPVOID lpBuffer,int cb) { int iType = 0; WORD wSign = 0; if( cb <= 1 ) return 0; wSign = *(PWORD)lpBuffer; switch( wSign ) { case 0xBBEF: { if( cb >= 3 && (PBYTE)lpBuffer[3] == 0xBF) iType = 3; } break; case 0xFEFF: { iType = 1; } break; case 0xFFFE: { iType = 2; } break; default: { if( !IsInputTextUnicode( lpBuffer, cb ) ) { if( IsTextUTF8( lpBuffer, cb ) ) iType = 3; } else iType = 1; } } return iType; }

首先，代码从文件头部取出了前 2 个字节，然后走 switch 分支判断。
若前两个字节是 0xBBEF，且文件第三个字节是 0xBF，则组成 UTF-8 的 BOM（虽然 UTF-8 不需要）。那么据此判断文件编码是 UTF-8。
若前两个字节是 0xFEFF，那么这是小端序 UTF-16 的 BOM。据此判断文件编码是（Windows 所谓的）Unicode 编码。
若前两个字节是 0xFFFE，那么这是大端序的 UTF-16 的 BOM。据此判断文件编码是（Windows 所谓的）Unicode Big Endian 编码。
否则，则需要做更深层次的判断。注意到，iType 被初始化为 0，代表 ANSI 编码（简体中文下是 CP936，相当于是 GBK 编码）。若已走到了 default 分支，要函数返回 0，当且仅当 IsTextUTF8( lpBuffer, cb ) 为 false 才行。然而，这个函数的写法是这样的。

BOOL IsTextUTF8( LPSTR lpBuffer, int iBufSize ) { int iLeftBytes = 0; BOOL bUtf8 = FALSE; if( iBufSize <= 0 ) return FALSE; for( int i=0; i= 0 ) continue; do { c <<= 1; iLeftBytes++; } while( c < 0 ); iLeftBytes--; if( iLeftBytes == 0 ) return FALSE; } else { c &= 0xC0; if( c != (char)0x80 ) return FALSE; else iLeftBytes--; } } if( iLeftBytes ) return FALSE; return bUtf8; }

我们重点看 for循环内部的逻辑。首先，

char c = lpBuffer[i];

从 buffer 中取出一个字节，保存在 signed char 当中。而后判断if( c < 0 )。因为 c 是有符号的 char，所以 c < 0 意味着最高位是 1。这就意味着该字符肯定不是 ASCII 字符，可能是一个 UTF-8 字符。因此将bUtf8 置为 true。
而后，在 if( iLeftBytes == 0 ) 分支中，我们看到

c <<= 1;
 iLeftBytes++;

的 do-while 循环。这是在判断 UTF-8 编码的首字符中，有多少个前缀的 1。根据 UTF-8 的编码规则，这个数值就是该 UTF-8 字符的编码长度，记录在iLeftBytes 当中。
接下来，根据 iLeftBytes 的大小，逐一检查后续的字节，是否以 10 开头。一旦发现有不满足条件的字节，就能判定当前文档不是 UTF-8 编码的。或是（在 for 循环结束之后）发现 iLeftBytes 尚未自减到 0 就已经到了文档末尾，则也可以判定当前文档不是 UTF-8 编码的。
也就是说，这个函数的逻辑，是根据 UTF-8 编码规则，全文扫描。若发现有一个字符不符合 UTF-8 的编码规则，则返回 false；否则若全文都符合 UTF-8 的编码规则，则返回 true。
「联通」都经历了什么？回过头，我们看到，联通二字以 ANSI（CP936）保存的 txt 文件里只有 0xC1AACDA8这些内容。因为无有 BOM，所以在fDetermineFileType函数中必然走到 default 分支，而后陷入IsTextUTF8 函数当中。
不巧的是，0xC1AA 和 0xCDA8 都符合 UTF-8 编码的要求。因此该函数返回 true。于是，Windows 记事本打开这一文件时，认定这是一个无 BOM 的 UTF-8 编码的文件。于是按照 UTF-8 编码去解读0xC1AACDA8，那么就乱码了。
还有哪些字符从前文的分析，我们可以得到结论：如果一个以 ANSI（CP936/GBK）保存的文档，内里包含的所有字符，都不幸满足了 UTF-8 的编码规则。那么这个文档将被 Windows 记事本当做是 UTF-8 编码的文件打开，就会乱码。
由于 GBK 是双字节的编码格式，只可能满足 UTF-8 中对 U+0080 至 U+07FF 编码的格式：110xxxxx, 10xxxxxx。我们可以将这些字符全都扫描输出出来。以下是完成这一任务的 Python 代码。

pluses = map(lambda i:"+%s" % (hex(i)[2:].upper()), xrange(16)) headline = "%s%s" % (" " * 7, " ".join(pluses)) print headlinefor i in xrange(192, 224): high = hex(i)[2:].upper() for j in xrange(4): low = hex(128 + j * 16)[2:].upper() chars = map(lambda k:(chr(i) + chr(128 + j * 16 + k)).decode("gbk"), xrange(16)) line = u"0x%s%s %s" % (high, low, " ".join(chars)) print line

得到的结果是：

+0 +1 +2 +3 +4 +5 +6 +7 +8 +9 +A +B +C +D +E +F 0xC080 纮纴纻纼绖绤绬绹缊缐缞缷缹缻缼缽 0xC090 缾缿罀罁罃罆罇罈罉罊罋罌罍罎罏罒 0xC0A0 罓馈愧溃坤昆捆困括扩廓阔垃拉喇蜡 0xC0B0 腊辣啦莱来赖蓝婪栏拦篮阑兰澜谰揽 0xC180 羳羴羵羶羷羺羻羾翀翂翃翄翆翇翈翉 0xC190 翋翍翏翐翑習翓翖翗翙翚翛翜翝翞翢 0xC1A0 翣痢立粒沥隶力璃哩俩联莲连镰廉怜 0xC1B0 涟帘敛脸链恋炼练粮凉梁粱良两辆量 0xC280 聙聛聜聝聞聟聠聡聢聣聤聥聦聧聨聫 0xC290 聬聭聮聯聰聲聳聴聵聶職聸聹聺聻聼 0xC2A0 聽隆垄拢陇楼娄搂篓漏陋芦卢颅庐炉 0xC2B0 掳卤虏鲁麓碌露路赂鹿潞禄录陆戮驴 0xC380 脌脕脗脙脛脜脝脟脠脡脢脣脤脥脦脧 0xC390 脨脩脪脫脭脮脰脳脴脵脷脹脺脻脼脽 0xC3A0 脿谩芒茫盲氓忙莽猫茅锚毛矛铆卯茂 0xC3B0 冒帽貌贸么玫枚梅酶霉煤没眉媒镁每 0xC480 膧膩膫膬膭膮膯膰膱膲膴膵膶膷膸膹 0xC490 膼膽膾膿臄臅臇臈臉臋臍臎臏臐臑臒 0xC4A0 臓摹蘑模膜磨摩魔抹末莫墨默沫漠寞 0xC4B0 陌谋牟某拇牡亩姆母墓暮幕募慕木目 0xC580 艀艁艂艃艅艆艈艊艌艍艎艐艑艒艓艔 0xC590 艕艖艗艙艛艜艝艞艠艡艢艣艤艥艦艧 0xC5A0 艩拧泞牛扭钮纽脓浓农弄奴努怒女暖 0xC5B0 虐疟挪懦糯诺哦欧鸥殴藕呕偶沤啪趴 0xC680 苺苼苽苾苿茀茊茋茍茐茒茓茖茘茙茝 0xC690 茞茟茠茡茢茣茤茥茦茩茪茮茰茲茷茻 0xC6A0 茽啤脾疲皮匹痞僻屁譬篇偏片骗飘漂 0xC6B0 瓢票撇瞥拼频贫品聘乒坪苹萍平凭瓶 0xC780 莯莵莻莾莿菂菃菄菆菈菉菋菍菎菐菑 0xC790 菒菓菕菗菙菚菛菞菢菣菤菦菧菨菫菬 0xC7A0 菭恰洽牵扦钎铅千迁签仟谦乾黔钱钳 0xC7B0 前潜遣浅谴堑嵌欠歉枪呛腔羌墙蔷强 0xC880 葊葋葌葍葎葏葐葒葓葔葕葖葘葝葞葟 0xC890 葠葢葤葥葦葧葨葪葮葯葰葲葴葷葹葻 0xC8A0 葼取娶龋趣去圈颧权醛泉全痊拳犬券 0xC8B0 劝缺炔瘸却鹊榷确雀裙群然燃冉染瓤 0xC980 蓘蓙蓚蓛蓜蓞蓡蓢蓤蓧蓨蓩蓪蓫蓭蓮 0xC990 蓯蓱蓲蓳蓴蓵蓶蓷蓸蓹蓺蓻蓽蓾蔀蔁 0xC9A0 蔂伞散桑嗓丧搔骚扫嫂瑟色涩森僧莎 0xC9B0 砂杀刹沙纱傻啥煞筛晒珊苫杉山删煽 0xCA80 蕗蕘蕚蕛蕜蕝蕟蕠蕡蕢蕣蕥蕦蕧蕩蕪 0xCA90 蕫蕬蕭蕮蕯蕰蕱蕳蕵蕶蕷蕸蕼蕽蕿薀 0xCAA0 薁省盛剩胜圣师失狮施湿诗尸虱十石 0xCAB0 拾时什食蚀实识史矢使屎驶始式示士 0xCB80 藔藖藗藘藙藚藛藝藞藟藠藡藢藣藥藦 0xCB90 藧藨藪藫藬藭藮藯藰藱藲藳藴藵藶藷 0xCBA0 藸恕刷耍摔衰甩帅栓拴霜双爽谁水睡 0xCBB0 税吮瞬顺舜说硕朔烁斯撕嘶思私司丝 0xCC80 虁虂虃虄虅虆虇虈虉虊虋虌虒虓處虖 0xCC90 虗虘虙虛虜虝號虠虡虣虤虥虦虧虨虩 0xCCA0 虪獭挞蹋踏胎苔抬台泰酞太态汰坍摊 0xCCB0 贪瘫滩坛檀痰潭谭谈坦毯袒碳探叹炭 0xCD80 蛝蛠蛡蛢蛣蛥蛦蛧蛨蛪蛫蛬蛯蛵蛶蛷 0xCD90 蛺蛻蛼蛽蛿蜁蜄蜅蜆蜋蜌蜎蜏蜐蜑蜔 0xCDA0 蜖汀廷停亭庭挺艇通桐酮瞳同铜彤童 0xCDB0 桶捅筒统痛偷投头透凸秃突图徒途涂 0xCE80 蝷蝸蝹蝺蝿螀螁螄螆螇螉螊螌螎螏螐 0xCE90 螑螒螔螕螖螘螙螚螛螜螝螞螠螡螢螣 0xCEA0 螤巍微危韦违桅围唯惟为潍维苇萎委 0xCEB0 伟伪尾纬未蔚味畏胃喂魏位渭谓尉慰 0xCF80 蟺蟻蟼蟽蟿蠀蠁蠂蠄蠅蠆蠇蠈蠉蠋蠌 0xCF90 蠍蠎蠏蠐蠑蠒蠔蠗蠘蠙蠚蠜蠝蠞蠟蠠 0xCFA0 蠣稀息希悉膝夕惜熄烯溪汐犀檄袭席 0xCFB0 习媳喜铣洗系隙戏细瞎虾匣霞辖暇峡 0xD080 衻衼袀袃袆袇袉袊袌袎袏袐袑袓袔袕 0xD090 袗袘袙袚袛袝袞袟袠袡袣袥袦袧袨袩 0xD0A0 袪小孝校肖啸笑效楔些歇蝎鞋协挟携 0xD0B0 邪斜胁谐写械卸蟹懈泄泻谢屑薪芯锌 0xD180 褉褋褌褍褎褏褑褔褕褖褗褘褜褝褞褟 0xD190 褠褢褣褤褦褧褨褩褬褭褮褯褱褲褳褵 0xD1A0 褷选癣眩绚靴薛学穴雪血勋熏循旬询 0xD1B0 寻驯巡殉汛训讯逊迅压押鸦鸭呀丫芽 0xD280 襽襾覀覂覄覅覇覈覉覊見覌覍覎規覐 0xD290 覑覒覓覔覕視覗覘覙覚覛覜覝覞覟覠 0xD2A0 覡摇尧遥窑谣姚咬舀药要耀椰噎耶爷 0xD2B0 野冶也页掖业叶曳腋夜液一壹医揖铱 0xD380 觻觼觽觾觿訁訂訃訄訅訆計訉訊訋訌 0xD390 訍討訏訐訑訒訓訔訕訖託記訙訚訛訜 0xD3A0 訝印英樱婴鹰应缨莹萤营荧蝇迎赢盈 0xD3B0 影颖硬映哟拥佣臃痈庸雍踊蛹咏泳涌 0xD480 詟詠詡詢詣詤詥試詧詨詩詪詫詬詭詮 0xD490 詯詰話該詳詴詵詶詷詸詺詻詼詽詾詿 0xD4A0 誀浴寓裕预豫驭鸳渊冤元垣袁原援辕 0xD6A0 譅帧症郑证芝枝支吱蜘知肢脂汁之织 0xD6B0 职直植殖执值侄址指止趾只旨纸志挚 0xD780 讇讈讉變讋讌讍讎讏讐讑讒讓讔讕讖 0xD790 讗讘讙讚讛讜讝讞讟讬讱讻诇诐诪谉 0xD7A0 谞住注祝驻抓爪拽专砖转撰赚篆桩庄 0xD7B0 装妆撞壮状椎锥追赘坠缀谆准捉拙卓 0xD880 貈貋貍貎貏貐貑貒貓貕貖貗貙貚貛貜 0xD890 貝貞貟負財貢貣貤貥貦貧貨販貪貫責 0xD8A0 貭亍丌兀丐廿卅丕亘丞鬲孬噩丨禺丿 0xD8B0 匕乇夭爻卮氐囟胤馗毓睾鼗丶亟鼐乜 0xD980 賭賮賯賰賱賲賳賴賵賶賷賸賹賺賻購 0xD990 賽賾賿贀贁贂贃贄贅贆贇贈贉贊贋贌 0xD9A0 贍佟佗伲伽佶佴侑侉侃侏佾佻侪佼侬 0xD9B0 侔俦俨俪俅俚俣俜俑俟俸倩偌俳倬倏 0xDA80 趢趤趥趦趧趨趩趪趫趬趭趮趯趰趲趶 0xDA90 趷趹趻趽跀跁跂跅跇跈跉跊跍跐跒跓 0xDAA0 跔凇冖冢冥讠讦讧讪讴讵讷诂诃诋诏 0xDAB0 诎诒诓诔诖诘诙诜诟诠诤诨诩诮诰诳 0xDB80 踿蹃蹅蹆蹌蹍蹎蹏蹐蹓蹔蹕蹖蹗蹘蹚 0xDB90 蹛蹜蹝蹞蹟蹠蹡蹢蹣蹤蹥蹧蹨蹪蹫蹮 0xDBA0 蹱邸邰郏郅邾郐郄郇郓郦郢郜郗郛郫 0xDBB0 郯郾鄄鄢鄞鄣鄱鄯鄹酃酆刍奂劢劬劭 0xDC80 軃軄軅軆軇軈軉車軋軌軍軏軐軑軒軓 0xDC90 軔軕軖軗軘軙軚軛軜軝軞軟軠軡転軣 0xDCA0 軤堋堍埽埭堀堞堙塄堠塥塬墁墉墚墀 0xDCB0 馨鼙懿艹艽艿芏芊芨芄芎芑芗芙芫芸 0xDD80 輤輥輦輧輨輩輪輫輬輭輮輯輰輱輲輳 0xDD90 輴輵輶輷輸輹輺輻輼輽輾輿轀轁轂轃 0xDDA0 轄荨茛荩荬荪荭荮莰荸莳莴莠莪莓莜 0xDDB0 莅荼莶莩荽莸荻莘莞莨莺莼菁萁菥菘 0xDE80 迉迊迋迌迍迏迒迖迗迚迠迡迣迧迬迯 0xDE90 迱迲迴迵迶迺迻迼迾迿逇逈逌逎逓逕 0xDEA0 逘蕖蔻蓿蓼蕙蕈蕨蕤蕞蕺瞢蕃蕲蕻薤 0xDEB0 薨薇薏蕹薮薜薅薹薷薰藓藁藜藿蘧蘅 0xDF80 還邅邆邇邉邊邌邍邎邏邐邒邔邖邘邚 0xDF90 邜邞邟邠邤邥邧邨邩邫邭邲邷邼邽邿 0xDFA0 郀摺撷撸撙撺擀擐擗擤擢攉攥攮弋忒 0xDFB0 甙弑卟叱叽叩叨叻吒吖吆呋呒呓呔呖

若一个文档里只包含这个表格中的汉字（可以再包含 ASCII 字符），在简体中文 Windows 下在记事本中以 ANSI 编码保存，则再次打开必然乱码。特别地，这个表格本身也会乱码。
【Windows记事本编码反汇编分析】据此，你可以构造出各种跟微软「有仇」的文档。比如「联通」，比如「小泉水」。