如何训练ML模型以检测没有数据集的重复项

问题描述

我目前正在研究硕士论文。我的主题是在ABAP中为SAP环境中的客户开发重复检查系统。到目前为止，整个工作都以这样一种方式进行：如果检查系统不完全知道传入的数据记录是否重复，那么业务员会干预并做出最终决定。店员将被位于Python服务器上的“机器学习模型”所取代，因此店员在此过程中的干预较少，并且越来越多地成为“ AI培训师”。重复检查系统和ML模型之间的通信是通过REST API完成的。 ML模型应确定传入的数据记录是否重复。

我的第一个问题是我没有创建ML模型的任何训练数据。第二个问题是，我仍然不知道从结构上我的训练数据到底是什么样子。可以从客户端获取客户端数据记录，但是由于各种原因，这种可能性很小。有没有一种方法可以生成“合成数据”以创建ML模型？我的应用程序看起来像什么？我可以使用哪些工具使工作更轻松？

许多问候

解决方法

你不能。

当您没有任何现实世界的数据以及人类如何对其进行分类时，您就无法训练ML系统对现实世界的数据进行分类。

您可以做的是使用您相信的方式训练系统生成的数据并将其分类，使其类似于程序在野外可能遇到的情况。这将使您能够尝试您的方法，并查看它是否完全有效。但是，如果您想创建在现实世界中实际上有用的ML模型，则需要使用现实世界的数据重复训练过程。

,

您的数据可能会有很多变化。您需要缩小外观。

您始终可以创建随机数据：

>>> N = 5
>>> import random
>>> import numpy as np
>>> np.random.random((N,N))

创建一大堆随机数组，然后复制一个，然后可以测试是否可以发现是否重复？