小编给大家分享一下使用python多线程处理大量文件数据的案例，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
在python中，我们会遇到处理大量文件数据的时候。如果我们用for循环顺序处理，处理文件数据效率额很低，这时我们就可以使用我们的多线程来处理多个超大的文件数据。
第一步：导入import threading 模块
import threading
第二步：使用多线程可以同时打开并运行多个数据
#! /usr/bin/env python
#encoding=utf-8
import threading
import time
from Queue import Queue
def readFile():
file_object = open('/opt/dev/python/list.dat')
global queue
for line in file_object:
queue.put(line)
class Consumer(threading.Thread):
def run(self):
global queue
while queue.qsize() > 0:
msg = self.name + '消费了 '+queue.get()
print msg
time.sleep(0.01)
queue = Queue()
def main():
readFile()
for i in range(5):
c = Consumer()
c.start()
if __name__ == '__main__':
main()以上是“使用python多线程处理大量文件数据的案例”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
