我想网-国内外GIF发源地,一个有意思的动图网站!

小红书已屏蔽百度抓取,百度好日子到头了

我想网官网 2024-01-18 09:55:03全网优质搞笑GIF领域创作者

小红书已屏蔽百度抓取,截止到2024年1月18日,小红书网站共有 7亿9807万 个网页被百度收录,估计百度爬虫太消耗小红书服务器资源了,这样下去,百度优质内容和好日子就快到头了,还有百度app专门为小红书开的tab笔记,将何去何从?

www.xiaohongshu.com站点信息

备案方:行吟信息科技(上海)有限公司,该网站共有 7亿9807万 个网页被百度收录,更多到搜索资源平台分析收录量

小红书robots.txt文件内容如下:

通过https://www.xiaohongshu.com/robots.txt来看,已全部屏蔽百度蜘蛛抓取,Disallow代表禁止抓取任何网页内容,同时还包括google、搜狗、360、必应等。

User-agent:Googlebot

Disallow:/

User-agent:Baiduspider

Disallow:/

User-agent:bingbot

Disallow:/

User-agent:Sogou web spider

Disallow:/

User-agent:Sogou wap spider

Disallow:/

User-agent:YisouSpider

Disallow:/

User-agent:BaiduSpider-ads

Disallow:/

User-agent:*

Disallow:/

目前,淘宝很早就屏蔽百度了

大站不需要百度,小站百度看不上,这百度非百度了,但还是可以收录并搜到淘宝,因为淘宝品牌大,很多网站会分享。但搜索收录到的大部分是首页,且描述显示的是被屏蔽,内容页则是大部分搜不到。

温馨提示:© 转载注明来源《我想网》特此声明:本文由想友提供,观点仅代表本人,如若侵权请告知。
打赏小秘儿
1098位想友已打赏,部分“大名”未获取

热搜榜

100张极品GIF,不看遗憾! 1娶国外媳妇,她前夫养? 2一个人从穷变富,是有迹可循的 3KTV的陪酒女干净么 4东北阿姨搓澡,掰开腿? 5这个世界,其实就你一个人 6做“离婚搭子”靠谱么 7我想网(wogif.com)网址是什么? 8一天一棵葱,从春立到冬 9程兵和苗苗说,你姑娘腿真白! 10古代女人“舒服”的一种刑罚是什么