蜘蛛的代理字符串

请求的 Curl 示例

1
2
3
4
5
$ curl -H "user-agent: Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)" \
https://baidu.com/ -o index.html

$ curl -H "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" \
https://baidu.com/ -o index.html

百度

来源地址 : https://ziyuan.baidu.com/crawltools/index

1
Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Google

来源地址 : https://developers.google.com/search/docs/advanced/crawling/overview-google-crawlers

1
2
3
Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; Googlebot/2.1; +http://www.google.com/bot.html) Chrome/W.X.Y.Z Safari/537.36
Googlebot/2.1 (+http://www.google.com/bot.html)

原文地址 : 蜘蛛的代理字符串
本站是作者语雀文档的镜像站, 如对文章有任何疑问请移步语雀进行 提问

作者

Duoli

发布于

2022-09-19

更新于

2022-09-19

许可协议

评论