将主题视频文件与我们拥有的 csv 数据文件进行比较的最佳方法是什么?

问题描述

我们正在进行一项实验,让受试者玩电子游戏,并记录与游戏玩法相关的各种数据。在玩游戏时,我们制作游戏玩法的屏幕截图。我们捕获的数据之一是他们在游戏过程中按下按钮请求信息的时间。

我们正在尝试了解是否存在与照明、决策点等相关的条件导致按钮被按下。最终目标是建立一个预测模型,在受试者要求之前呈现数据。

我的问题是,分析视频与按按钮获取信息的最佳方法是什么?我们使用按钮推送数据和游戏视频为 csv 文件添加了时间戳。本来想用Matlab来做分析的,但是找不到很好的例子来说明如何解决这个问题。我的团队中有几个精通 Python 的人,我也可以向他们寻求帮助,但我想看看我是否能在指派他们去做之前了解需要做什么。

感谢任何帮助!

谢谢

解决方法

我认为最好咨询专业的数据科学家。但是,我可以想出一种方法来解决您的问题。
由于视频是数据科学家所说的非结构化数据,因此您将很难对其进行原始分析。
我要做的是在游戏过程中定义一些关键点(即开始一个新的关卡或面对一个新的谜题),围绕该关键点创建一个时间间隔,并根据这些间隔绘制按下的按钮。

考虑一组具有 2 个关键点的游戏视频。例如,其中一个视频的关键点设置在时间 04:13 和 32:00。所以视频的时间线应该是这样的。

(开始) 00:00 --------> 04:13 --------> 32:00 --------> 45:00 (完)

现在对于每个关键点,定义一个时间间隔,比如 2 分钟,并记录是否在获得的时间间隔内按下按钮。因此,对于第一个关键点,您将有 02:1306:13。在对每个视频执行此操作并将获得的所有数据相加后,您将得到如下表格:

时间间隔 1 名玩家的时间间隔 #Buttons Pushed
间隔 1 00:00 - 02:13 5
重点No.1 02:13 - 06:13 19
3 号区间 06:13 - 30:00 7
要点二 30:00 - 34:00 25
区间 No.4 34:00 - 45:00 9

这基本上意味着,例如,7 个人在时间间隔 3 内按下按钮,在上面的例子中(对于那个玩家)大约是 06:13 - 30:00 .
在对获得的数据集做一个小的二元分类后,你会得到每个关键点的两个类,按钮数高按钮数少 .
现在向您的游戏代码添加一个侦听器,并确定玩家何时输入新的 KeyPoint。使用简单的搜索算法来查找 KeyPoint 是在第一类按下的按钮数多还是在第二类中,按下的按钮数少。如果是第一节课,不及格建议按键。