问题描述
使用螺母1.17时，robots.txt出现了一个奇怪的问题。我正在使用硒协议。尝试了Firefox和Chrome。日志显示robots.txt文件无法解析。
2020-09-14 08:15:45,751 WARN robots.SimpleRobotRulesParser - Problem processing robots.txt for https://website.com/some.html
2020-09-14 08:15:45,751 WARN robots.SimpleRobotRulesParser - UnkNown line in robots.txt file (size 156): ^@^@^@^@^@^@^C^K-N-�MLO�+�R�MM�L,H,*�K-*�u��O�I�r�,N���/��r.J,��MI�I��R02��
2020-09-14 08:15:45,752 WARN robots.SimpleRobotRulesParser - UnkNown line in robots.txt file (size 156): E�^KQ��_B�������
2020-09-14 08:15:45,753 WARN robots.SimpleRobotRulesParser - UnkNown line in robots.txt file (size 156): �j�Ss�J�3��MU���F7�^Q����<��T���^�FI��I/J,H-������5^B�[�p^E��^A^W^@^Z�`X�
我检查了robots.txt，一切正常。
User-agent: *
disallow: /index.PHP/
disallow: /*?
disallow: /report/
disallow: /var/
disallow: /path/
我不知道坚果下方发生了什么。但是似乎胡说八道是试图解析html页面，而不是通过该特定域的robots.txt。有人知道这个问题吗？
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）