尝试加载5 GB文本文件时出现内存错误

MemoryError when trying to load 5GB text file(尝试加载5 GB文本文件时出现内存错误)

问题描述

我要读取以文本格式存储在5 GB文件中的数据。当我尝试使用以下代码读取文件内容时：

file = open('../data/entries_en.txt', 'r')
data = file.readlines()

发生错误： data=file.readines() 内存错误 我的笔记本电脑有8 GB内存，当我想运行程序时，至少有4 GB是空的。但是当我监控系统性能时，当python使用大约1.5 GB的内存时，会出现这个错误。
我使用的是python2.7，但如果有问题，请告诉我2.x和3.x的解决方案 要阅读此文件，我应该做些什么？

推荐答案

处理大文件的最佳方式是-

with open('../file.txt', 'r') as f:
    for line in f:
        # do stuff

readlines()会出错，因为您试图将过大的文件直接加载到内存中。处理完文件后，上面的代码将自动关闭该文件。

这篇关于尝试加载5 GB文本文件时出现内存错误的文章就介绍到这了，希望我们推荐的答案对大家有所帮助，也希望大家多多支持编程学习网！