在PHP中并行处理/下载一组网页的最快方法

问题描述

|| 我有一组Justin.tv/livestream URL，从中既可以获取流状态，也可以获取缩略图。在任何给定时间点，最有可能出现的此类URL最多不超过50个 我尝试过的- 1）天真的串行下载/过程，显然很糟糕。 2）cURL多，但是除非我做的非常错误，否则它似乎仍然很慢-有时一页仅花费一段时间来加载和瓶颈所有内容。 原则上，以上两种方法似乎都是受限制的，并且“不好”，因为我正在加载另一个页面以便加载主要内容。由于我同时加载了许多页面，因此似乎随机会出现一个缓慢的url，从而造成瓶颈。 我考虑过在后台运行一个PHP脚本，该脚本会用流状态和缩略图连续更新数据库表，然后在加载页面时我只是查询数据库，这应该快得多。这是最有效的解决方案，还是有更好的解决方案？ 我最担心这样一个连续运行的脚本可能引起的窃听，因为我确实希望更新尽可能“实时”进行。我认为负担没有什么可担心的，因为每个页面本身都不那么大，所以我可以想象HTTP握手时间在传输时间中占主导地位。 有什么建议吗？     

解决方法

        justin.tv有一个API：http://www.justin.tv/p/api，您可能需要调查一下，而不是尝试screenscrapp