tweepy.Cursor会将不相关的搜索结果返回给我选择的查询

问题描述

作为硕士学位的一部分，我需要从Twitter收集数据以用于将来的机器学习模型。

出什么问题了？

我正在尝试使用给定的＃号标签（＃），例如 #climatechange 这样非常简单的推文，因此从堆栈溢出的其他问题中我了解到，我需要添加 q 参数，然后在其中传递“ #climatechange”字符串。

代码如下：

# Loads JSON Credentials.
twitter_credentials_json = load_twitter_credentials('TwitterCredentials.json')

# Creates tweepy.API object.
auth = tweepy.OAuthHandler(twitter_credentials_json['consumer_key'],twitter_credentials_json['consumer_secret'])
auth.set_access_token(twitter_credentials_json['access_token'],twitter_credentials_json['access_token_secret'])
api = tweepy.API(auth,wait_on_rate_limit=True)

data_list = []

# Iterates through the required tweets and adds them to the list.
for tweet in tweepy.Cursor(api.search,q="#climatechange",since="2020-01-01",until="2020-10-01").items(100):
  data_list.append(tweet._json)
# Drops everything to the file system.
with open(f"Tweets {get_datetime_as_string()}.json",'w',encoding='utf8') as outfile:
  outfile.write(json.dumps(data_list))
  outfile.close()

正如您所看到的，我正在Twitter上搜索，从2020-01-01到2020-10-01，我要求包含字符串“ #climatechange”的每个文本，并且我需要100个项目。 现在，我打开JSON文件，并在JSON文件中看到一些不相关的推文，其中不包含“ #climatechange”文本。我决定检查一下我从tweepy收到的整个对象，并且在任何地方都没有提及“ #climatechange”字符串。

例如：

“ text”：“ RT @BetteMidler：#GOP无法统治。记住它们 主持了＃9-11，＃伊拉克战争，2008 #GreatRecession和 当他们返回t \ u2026“

“文字”：“ RT @DeWayne_Fulton：＃德克萨斯州可以引领能源潮流 创新-安全，清洁，高效，可再生 能量。\ n \ n @ Lizzie4Congress知道th \ u2026“，

总结到现在为止：

1. 我会根据特定条件从Twitter获得推文。
2. 我将它们保存到文件系统中。
3. 我打开JSON文件，大约10％的推文中没有“ #climatechange”字符串。

---

我试图解决什么问题？

1. 当然，我想做的第一件事就是整理Cursor对象的官方文档，但我没有找到有用的东西，甚至没有找到q参数或其他任何东西，尽管许多堆栈溢出解决方案都使用这些参数。 http://docs.tweepy.org/en/v3.9.0/cursor_tutorial.html 看来文档没有完全写完，或者缺少很多东西，我在哪里出错了？

2. 如果有人也遇到此问题，我在Stack Overflow和更多站点中进行了搜索，但是我没有找到任何相关的信息。

3. 我在tweepy中搜索了。在StackOverflow上使用游标解决方案来调整参数，然后尝试添加某人参数，删除了一些但仍然没有的东西。

4. 我尝试去研究tweepy.Cursor GitHub代码以了解其工作原理，但我不完全了解其工作原理，因此在那里没有成功。

---

据我了解，一旦我用一些字符串指定了“ q”参数，它将搜索包含该查询参数的字符串并仅返回有效的tweets，但是据我所知，这存在一些问题，并且它返回了不相关的tweets。 / p>

我很乐意寻求帮助，或者也许您能告诉我我想念的东西，我敢肯定，我想念的东西很小，这就是我无法获得正确数据的原因。

谢谢。

解决方法

极有可能将似乎无关的Tweet截断为140个字符，并且您搜索的文本在“扩展” Tweet部分中。如果将tweet_mode=extended添加到api.search调用中，则它应在full_text字段中检索扩展Tweets的完整Tweet文本。

您还应该注意，传统的标准Twitter搜索API（api.search正在调用）仅支持在Tweets的过去7天内进行搜索。在较长的一段时间内，您将需要使用Twitter高级30天或完整存档搜索API。