我正在尝试镜像一个站点,但服务器只响应gzip页面,所以wget不会递归.我一直在搜索,有一些补丁的参考资料,为wget添加gzip支持但是它们似乎已经过时了.反正有没有这样做？如果不是我正在考虑通过Nginx反向代理它.
解决方法:
你有4种方式：
> wget one page,gunzip it并再次从html处理…迭代直到完成：
wget -m http://example.org/page.html
find . -name \*gz -exec gzip -d {} \;
find . -name \*html -exec wget -M -F {} \;</code></pre>
这将是缓慢的,但应该工作.
>安装privoxy并将其配置为解压缩请求的页面：
+prevent-compression
Prevent the website from compressing the data. Some websites do that, which is a problem for privoxy when built without zlib support, since +filter and +gif-deanimate will not work on compressed data. Will slow down connections to those websites, though.
> privoxy或其他代理也可以获取压缩页面并将未压缩的副本传递给客户端;谷歌吧.
>我的wget不会发送请求gzip内容的“Accept-Encoding：gzip”标题…请检查你的原因.也许你有一个添加它的代理？
您还可以使用privoxy删除该标头.
