laravel框架的public目录下有robots.txt，默认情况下设置成禁止所有爬虫爬取。
Disallow: /
应该改成Allow：/。
如有特殊目录不希望爬取，需要添加如下
Allow：/
Disallow：/login/
Disallow: /mypage/
更多爬虫相关的设置参考百度官方说明：https://ziyuan.baidu.com/college/courseinfo?id=267&page=13#h2_article_title30
© 本文著作权归作者所有。转载请联系授权，禁止商用。