3人赞同了该回答
你可以在 robots 添加一条记录禁止搜索爬虫抓取,但是他们会不会遵守呢?你懂得,这段时间360和百度炒翻天就是这个东东闹的
要不然你自家识别搜索爬虫的ip,然后进行301跳转,不让他们访问
发布于2023-05-06
大佬聚会
关注问题
3
0条评论
1
0条评论