品易云推流 关闭
文章详情页
文章 > Python基础教程 > python多线程处理大量文件数据

python多线程处理大量文件数据

Python多线程 处理文件

头像

宋雪维

2021-04-07 17:30:274928浏览 · 0收藏 · 0评论

在python中,我们会遇到处理大量文件数据的时候。如果我们用for循环顺序处理,处理文件数据效率额很低,这时我们就可以使用我们的多线程来处理多个超大的文件数据。

第一步:导入import threading 模块

import threading

第二步:使用多线程可以同时打开并运行多个数据

#! /usr/bin/env python
#encoding=utf-8
 
import threading
import time
from Queue import Queue
 
def readFile():
    file_object = open('/opt/dev/python/list.dat')
    global queue
    for line in file_object:                    
        queue.put(line)
 
class Consumer(threading.Thread):
    def run(self):
        global queue
        while queue.qsize() > 0:
            msg = self.name + '消费了 '+queue.get()
            print msg
            time.sleep(0.01)
 
queue = Queue()
def main():
    readFile()
    for i in range(5):
        c = Consumer()
        c.start()
 
if __name__ == '__main__':
    main()

以上就是用python多线程处理大量数据的演示代码,如果有需要处理大量文件的小伙伴,可以尝试使用多线程,会方便很多哦~

(推荐操作系统:windows7系统、Python 3.9.1,DELL G3电脑。)

关注

关注公众号,随时随地在线学习

本教程部分素材来源于网络,版权问题联系站长!

底部广告图