laravel框架的public目录下有robots.txt，默认情况下设置成禁止所有爬虫爬取。

Disallow: /

应该改成Allow：/。

如有特殊目录不希望爬取，需要添加如下

Allow：/

Disallow：/login/

Disallow: /mypage/

更多爬虫相关的设置参考百度官方说明：https://ziyuan.baidu.com/college/courseinfo?id=267&page=13#h2_article_title30