显然,这不能在一个服务器端执行中完成,因为最大执行时间会耗尽时间.我想它需要执行较小的操作,将进度保存到数据库,然后排队下一个任务.有什么建议么?
你也可以使用set_time_limit(0);为此,如果您的提供商允许操纵.
我无法确定您的ip地址是否被禁止 – 这取决于您发送请求的服务器的安全性.
其他解决方案
您可以获取一个(或几个)页面,并在整个源代码中搜索新的URL.然后可以将它们排入数据库.然后在下一次运行时,您处理队列.