4G 内存怎么读取一个 5G 的数据？ - 好学星城学习论坛

page contents

轩辕小不懂发布于 2021-11-18 13:38

阅读 541

收藏 0

答案 1

分类：Python开发

2444

Nen 2021-11-18 13:46

- 程序员

方法一：

通过生成器，分多次读取，每次读取数量相对少的数据（比如 500MB）进行处理，处理结束后在读取后面的 500MB 的数据。

方法二：

可以通过 linux 命令 split 切割成小文件，然后再对数据进行处理，此方法效率比较高。可以按照行数切割，可以按照文件大小切割。

评论 (0)

1 关注

提出于 2021-11-18 13:38

全部