nodejs爬虫遇到的乱码问题汇总

上一篇文章中使用nodejs程序解析了网页编码为gbk,gb2312,以及utf-8的情况，这里面有三种特殊的乱码情况需要单独的说明一下.1，网页编码为utf-8,但是解析为乱码，代表网站为www.guoguo-app.com。这个问题真是个逗逼问题，查看网页源码中给出的编码方式为utf8，如下：由于解析出来的始终是乱码，我就抓包看了下，报文中的编码方式为gbk，果然我使用gbk的方式之后，得到的不再是乱码了。要想提取此类网站则要添加gzip解包功能。下面两个网站www.cr173.com以及www.csdn.net是正常的抓包情况。