1. 首页
  2. 编程面试题
  3. Python
  4. Python基础

4G 内存怎么读取一个 5G 的数据,说说思路



可以通过生成器,分多次读取,每次读取数量相对少的数据(比如 500MB)进行处理,处理结束后在读取后面的 500MB 的数据

也可以通过 linux 命令 split 切割成小文件,然后再对数据进行处理,此方法效率比较高。可以按照行
数切割,可以按照文件大小切割

发布者:admin,如若转载,请注明出处:https://ai1024.vip/38556.html

QR code
//