问题描述
我正在向 Reddit API 发出请求。首先，我设置了一个 subreddit 顶部 URL：
reddit_url = URI.parse('https://www.reddit.com/r/pixelart/top.json')
Net::HTTP.get(reddit_url,'User-Agent' => 'My agent')
Open3.capture2('/usr/bin/curl','--user-agent','My agent',reddit_url.to_s)[0]
URI.open(reddit_url,'User-Agent' => 'My agent').read
但后来我尝试使用特定帖子的网址：
reddit_url = URI.parse('https://reddit.com/r/PixelArt/comments/lkaiqf/another_watercolour_pixelart_tree.json')
而且 Net::HTTP 和 Open3/curl 都失败了，只得到空字符串。 URI.open 继续工作，在网络浏览器中打开网址也是如此。
为什么第二个请求不适用于两个解决方案？为什么它与 URI.open 一起使用，而它应该是“an easy-to-use wrapper for Net::HTTP”？它有什么不同，以及如何使用 Net::HTTP 和 curl 复制它？
解决方法
使用您的示例，并为简单起见专注于 Net::HTTP，第一个示例无法正常工作：
require 'net/http'
reddit_url = URI.parse('https://www.reddit.com/r/pixelart/top.json')
Net::HTTP.get(reddit_url,'User-Agent' => 'My agent')
# => Type Error - no implicit conversion of URI::HTTPS into String
相反，我以此为起点：
require 'net/http'
reddit_url = URI.parse('https://www.reddit.com/r/pixelart/top.json')
http = Net::HTTP.new(reddit_url.host,reddit_url.port)
http.use_ssl = true
result = http.get(reddit_url.request_uri,'User-Agent' => 'My agent')
puts result
# => #<Net::HTTPOK:0x00007fc3ea8e7320>
puts result.body.size
# => 167,394
有了这个工作，我们可以尝试第二个 URL。有趣的是，根据我是重新使用初始连接还是创建新连接，我得到了不同的结果：
require 'net/http'
reddit_url = URI.parse('https://www.reddit.com/r/pixelart/top.json')
reddit_url_two = URI.parse('https://reddit.com/r/PixelArt/comments/lkaiqf/another_watercolour_pixelart_tree.json')
http = Net::HTTP.new(reddit_url.host,'User-Agent' => 'My agent')
puts result
# => #<Net::HTTPOK:0x00007f931a143390>
puts result.body.size
# => 174,615
http_two = Net::HTTP.new(reddit_url_two.host,reddit_url_two.port)
http_two.use_ssl = true
result_two = http_two.get(reddit_url_two.request_uri,'User-Agent' => 'My agent')
puts result_two
# => #<Net::HTTPMovedPermanently:0x00007f931a148818>
puts result_two.body.size
# => 0
result_reusing_connection = http.get(reddit_url_two.request_uri,'User-Agent' => 'My agent')
puts result_reusing_connection
# => #<Net::HTTPOK:0x00007f931a0fb3b0>
puts result_reusing_connection.body.size
# => 141,575
所以我怀疑您有时会收到 301 重定向，这会导致混淆。还有另一个关于如何跟踪重定向的 question and answer here。