Jupyter Notebook 内存错误：无法分配数组内存 - 解决方法 - 常规

Jupyter Notebook 遇到 'MemoryError: Unable to allocate ... GiB for an array with shape ...' 错误怎么办？

在 Jupyter Notebook 中，如果你遇到类似 'MemoryError: Unable to allocate 10.9 GiB for an array with shape (6517190, 14) and data type <U32' 的错误信息，这意味着你的计算机内存不足以分配给一个包含 6517190 行和 14 列的数组，并且数组中每个元素的数据类型为 32 位 Unicode 字符（<U32）。

错误原因

简而言之，你的代码需要处理的数据量超过了你的计算机内存容量。

解决方法

以下是一些解决这个问题的方法：

减少数组大小：
- 检查数据： 仔细检查你的数据，看是否真的需要所有数据。也许你可以删除一些不必要的数据行或列。
- 数据采样： 如果你需要处理所有数据，可以尝试使用数据采样的方法，只加载一部分数据到内存中进行分析。
- 数据类型优化： 使用更紧凑的数据类型。例如，如果你的数据是整数，可以使用 'int8'、'int16' 或 'int32' 代替 'int64'。
增加计算机内存：
- 升级内存： 如果你的计算机内存不足，最直接的方法是升级内存。
- 使用云计算资源： 考虑使用云计算平台，例如 Amazon Web Services (AWS) 或 Google Cloud Platform (GCP)，它们可以提供更大的内存和计算资源。
优化代码：
- 使用迭代处理： 避免一次性将所有数据加载到内存中，尝试使用迭代的方式逐块处理数据。
- 删除不必要的变量： 及时删除不再需要的变量，释放内存空间。
- 使用更高效的算法： 研究更高效的算法来处理你的数据，减少内存使用。

通过尝试以上方法，你应该能够解决 'MemoryError' 并成功运行你的代码。记住，最佳的解决方案取决于你的具体情况，所以可能需要尝试不同的方法才能找到最适合你的方法。