品易云推流 关闭
文章详情页
文章 > Python常见问题 > python如何读取大文件

python如何读取大文件

python模块

头像

2021-04-14 14:52:598577浏览 · 0收藏 · 0评论

banner89.png

可以通过两种方法利用python读取大文件:第一种是利用yield生成器读取;第二种是:利用open()自带方法生成迭代对象,这个是一行一行的读取。

1、利用yield生成器读取

def readPart(filePath, size=1024, encoding="utf-8"):
    with open(filePath,"r",encoding=encoding) as f:
        while True:
            part = f.read(size)  
            if part:
                yield part
            else:
                return None
filePath = r"filePath"
size = 2048 # 每次读取指定大小的内容到内存
encoding = 'utf-8'
for part in readPart(filePath,size,encoding):
    print(part)
    # Processing data

2、利用open()自带方法生成迭代对象,这个是一行一行的读取

with open(filePath) as f:
    for line in f:
        print(line)
        # Processing data

python读取文件相关操作文档欢迎查看:

python如何读取文件的数据

更多Python知识可以关注Python自学网

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图