Google Cloud Platform AI Jupyter notebook 中的内存错误

问题描述

我正在尝试在 Google Cloud Platform (AI Platform) 上运行情绪分析。当我尝试将数据拆分为训练时，它显示如下所示的内存错误

MemoryError：无法为具有形状 (414298,) 和数据类型的数组分配 194.GiB

如何相应地增加内存大小？我应该更改实例中的机器类型吗？如果是这样，哪种设置合适？

解决方法

从错误来看，虚拟机似乎内存不足。

1 - 使用另一种机器类型创建一个新笔记本。 为此，请转到 AI Platform > Notebooks，然后单击 NEW INSTANCE。选择最适合您的选项（R 3.6、Python 2 和 3 等），然后在弹出的窗格中单击高级选项。在机器配置区域，您可以使用 more memory 选择机器类型。

请从 n1-standard-16 或 n1-highmem-8 开始，如果其中任何一个有效，请跳转到 n1-standard-32 或 n1-highmem-16。

使用 command 您还可以更改机器大小：

<vector xmlns:android="http://schemas.android.com/apk/res/android"
    android:width="18dp"
    android:height="18dp"
    android:viewportWidth="18"
    android:viewportHeight="18">
    <path
        android:fillColor="?colorOnPrimary"
        android:fillType="evenOdd"
        android:pathData="...." />
</vector>

2 - 更改数据类型。 如果您使用的是 np.float64 类型，您可以将其更改为 np.float32 以减小尺寸。所以你可以修改这一行： 结果 = np.empty(self.shape,dtype=dtype) 经过： 结果 = np.empty(self.shape,dtype=np.float32)

如果您不想修改代码，我建议您遵循第一个选项。