微信|微信突然出BUG！那种资源全被看光，目前无解

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

文章图片

微信最近动作频频，除了日常的更新功能上新，小雷还发现了一个「漏洞」。

微信居然放开限制，把自己的robots.txt文件给移除了...
事情是这样的，小雷因为工作（摸鱼）需要，经常要在各大搜索引擎辗转，以求搜到自己想要的资料。
如果是英文资源还好说，海外的网页适用性依然很强，用谷歌和bing等搜索引擎，一般都能搜到结果。

但如果要搜的是中文资源，不好意思，搜索突然就不好用了。
即使是像百度、谷歌和bing这种顶级搜索引擎，也难以施展拳脚。
想要搜到自己需要的东西，估计是越来越难喽。

不过奇怪的是，而搜索引擎本身并无大改，抓取规则和原理都沿袭多年，期间也就小修小补。
为啥现在就不好使了呢？
小雷想说，这确实不是搜索引擎的锅，都怪软件厂商们画了个圈圈，把自己围起来了。

举个简单的例子，微信公众号的文章相比某些平台，整体质量确实要更高。
但是嚯，你能在百度和谷歌搜到微信公众号和今日头条的文章吗？
搜不到吧，很蓝的啦。
原因其实很简单，平台不允许搜索引擎去爬取它们的文章和其他内容了。
再强的搜索引擎也得靠网络蜘蛛去爬取信息，当平台建起一堵墙，就能轻易把第三方搜索隔绝开来。

大伙也别以为这堵墙有多高技术含量，其实就靠小雷开头提到的robots.txt文件。
这个简单的文件，里面包含了一系列规则，它会告诉搜索引擎，哪些页面可抓取，哪些页面又不能抓取。
要是规则一片空白，就别怪搜索引擎一顿搜刮了。
反之，如果规则清晰明了，写着“禁止读取” ，搜索引擎自然会识趣溜走。

喏，微信就在网站“weixin.qq.com”的根目录中放置了这个文件，并写上自己的规则。

而小雷通过互联网档案馆看了一下，微信的规则比较狠，直接在末尾写上一条“Disallow：/” 。
给小伙伴们翻译一下，这规则的意思是，不让其他搜索引擎爬取微信任何文章...
这就能解释，为啥搜索引擎搜不到微信文章了。（搜狗是自家人，不计在内）

不过要说起来啊， robots.txt算不上是规范，只是搜索引擎和网站们达成的一项约定。