训练数据集和测试数据集可以分开而不是拆分吗

问题描述

我们可以为训练和测试设置单独的数据集吗? 我正在做一个项目来获取有效的测试用例 作为其中的一部分,我分析了错误数据库并提出了产生错误并得出模型的触发器。所以这个错误数据库形成了我的训练集。 我编写的测试用例是我的测试数据,我必须将这些测试数据提供给模型来说明测试用例是否有效。 所以在这种情况下,我必须有两个不同的数据集(来自错误数据库的测试数据)和训练数据(手动生成的测试用例),而不是将数据集拆分为训练和测试数据 使用机器学习可以做到这一点吗?请告诉我。

解决方法

是的,训练数据集和测试数据集可以是单独的文件。在现实世界中,测试数据通常是一些单独的看不见的数据集。

要遵循的主要原则是,在训练模型时,必须将数据集分开(保持集)以进行测试。这些数据可以在不同的文件、数据库中单独提供,甚至可以使用拆分生成。这样做是为了避免数据泄漏(当测试数据以某种方式用于训练模型时)。