有没有办法从不受监督的数据集中获得关系?

问题描述

我有一些数据,数据集包含以下功能,例如设备ID (整数),电话(整数),名称(字符串) ,设备ID 等。但是所有数据都没有标签。我的任务是获得一个人使用多个ID或多个设备的概率。我不知道该怎么做,有人知道吗?

为清楚起见,这是一个示例。 数据集就像

  name   id    phone  device_id  
 Jason   123    12345   12341231     ......  
 James   1345   312312  312312312    ......  
 Jason   123    53523   23115124    ......

所以我们发现Jason有2个电话号码,
如何通过机器学习方法或深度学习方法获得概率?

解决方法

执行此操作的一种可能方法是计算用户的相似度。

据我所知,用户的设备相似性是您的最终目标。

对于初学者,将名称和ID字段组合在一起,以唯一地标识用户。 生成一个特征向量,将所有剩余特征向量作为数组。

然后,您可以与所有其他用户一起运行嵌套for循环。 这将为您提供最接近的匹配,您可以设置阈值,也可以选择kNN来做到这一点。

看一下这个: Convert Nested dictionary to Pyspark Dataframe