GIF 搞笑 热搜 段子 GIF 每日一图 梗百 表情包 文案 百科 鸡汤
我想网-国内外GIF发源地,一个有意思的动图网站!

小红书已屏蔽百度抓取,百度好日子到头了

我想网官网 2024-01-18 09:55:03全网优质搞笑GIF领域创作者

小红书已屏蔽百度抓取,截止到2024年1月18日,小红书网站共有 7亿9807万 个网页被百度收录,估计百度爬虫太消耗小红书服务器资源了,这样下去,百度优质内容和好日子就快到头了,还有百度app专门为小红书开的tab笔记,将何去何从?

www.xiaohongshu.com站点信息

备案方:行吟信息科技(上海)有限公司,该网站共有 7亿9807万 个网页被百度收录,更多到搜索资源平台分析收录量

小红书robots.txt文件内容如下:

通过https://www.xiaohongshu.com/robots.txt来看,已全部屏蔽百度蜘蛛抓取,Disallow代表禁止抓取任何网页内容,同时还包括google、搜狗、360、必应等。

User-agent:Googlebot

Disallow:/

User-agent:Baiduspider

Disallow:/

User-agent:bingbot

Disallow:/

User-agent:Sogou web spider

Disallow:/

User-agent:Sogou wap spider

Disallow:/

User-agent:YisouSpider

Disallow:/

User-agent:BaiduSpider-ads

Disallow:/

User-agent:*

Disallow:/

目前,淘宝很早就屏蔽百度了

大站不需要百度,小站百度看不上,这百度非百度了,但还是可以收录并搜到淘宝,因为淘宝品牌大,很多网站会分享。但搜索收录到的大部分是首页,且描述显示的是被屏蔽,内容页则是大部分搜不到。

温馨提示:© 转载注明来源《我想网》特此声明:本文由想友提供,观点仅代表本人,如若侵权请告知。
打赏小秘儿
1098位想友已打赏,部分“大名”未获取
下一篇:最后一页

温馨提示:已经触底了亲,想看更多点击左侧我想网LOGO,回首页继续浏览,或打开手机端(m.wogif.com)躺被窝观看,毕竟搞笑我也是有底线的么...

我想网 · 2023-08-25 10:30