小编给大家分享一下python读取几千万行的大表内存的示例分析，相信大部分人都还不怎么了解，因此分享这篇文章给大家参考一下，希望大家阅读完这篇文章后大有收获，下面让我们一起去了解一下吧！
Python是一种编程语言，内置了许多有效的工具，Python几乎无所不能，该语言通俗易懂、容易入门、功能强大，在许多领域中都有广泛的应用，例如最热门的大数据分析，人工智能，Web开发等。
Python导数据的时候，需要在一个大表上读取很大的结果集。
如果用传统的方法，Python的内存会爆掉，传统的读取方式默认在内存里缓存下所有行然后再处理，内存容易溢出
解决的方法：
1）使用SSCursor(流式游标)，避免客户端占用大量内存。(这个cursor实际上没有缓存下来任何数据，它不会读取所有所有到内存中，它的做法是从储存块中读取记录，并且一条一条返回给你。)
2）使用迭代器而不用fetchall,即省内存又能很快拿到数据。
import MySQLdb.cursors conn = MySQLdb.connect(host='ip地址', user='用户名', passwd='密码', db='数据库名', port=3306, charset='utf8', cursorclass = MySQLdb.cursors.SSCursor) cur = conn.cursor() cur.execute("SELECT * FROM bigtable"); row = cur.fetchone() while row is not None: do something row = cur.fetchone() cur.close() conn.close()
需要注意的是，
1、因为SSCursor是没有缓存的游标,结果集只要没取完，这个conn是不能再处理别的sql，包括另外生成一个cursor也不行的。
如果需要干别的，请另外再生成一个连接对象。
2、 每次读取后处理数据要快，不能超过60s，否则mysql将会断开这次连接，也可以修改 SET NET_WRITE_TIMEOUT = xx 来增加超时间隔。
以上是“python读取几千万行的大表内存的示例分析”这篇文章的所有内容，感谢各位的阅读！相信大家都有了一定的了解，希望分享的内容对大家有所帮助，如果还想学习更多知识，欢迎关注亿速云行业资讯频道！
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
