本篇文章给大家分享的是python写爬虫需要用到哪些知识，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
用Python写爬虫，需要用到以下这些知识
1、HTML，了解网页的结构，内容等，帮助后续的数据爬取。 2、Python，可以去网上找一些教学视频，教学博客等等，去看一下，然后有基础了之后还可以找一些晋升的视频，再打打基础。 3、TCP/IP协议，HTTP协议，了解在网络请求和网络传输上的基本原理，帮助今后写爬虫的时候理解爬虫的逻辑。
其次就是要梳理一下爬虫的思路，简单的说，就是你想要抓取一个网站的内容时，需要怎么一步步做好，需要现有一个大的整体的架构，才能进一步做好接下来的工作。当用户浏览网页时，会看到很多图片，点击网址的时候看到的图片，是经过用户输入网址-DNS服务器-服务器主机-服务器请求-服务器解析-发送浏览器HTML、JS、CSS-浏览器解析-解析图片这一长段的服务器运作来完成的，而爬虫就是需要爬取有HTML代码构成的网页，然后获取图片和文字。
最后，就是要使用合适的工具，比如说想要做好测试，那么就需要相应的环境配置，同样的道理，想要做好python，也需要好用的工具：
1、Notepad++，简单，但是提示功能不强。 2、PyCharm，用于一般IDE具备的功能，比如，调试、语法高亮、代码跳转、等等，同时可用于Django开发，支持Google App Engine、 PyCharm，支持IronPython。 3、芝麻HTTP代理，用于提供代理ip的代理服务器。
以上就是python写爬虫需要用到哪些知识，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注亿速云行业资讯频道。
免责声明：本站发布的内容（图片、视频和文字）以原创、转载和分享为主，文章观点不代表本网站立场，如果涉及侵权请联系站长邮箱：is@yisu.com进行举报，并提供相关证据，一经查实，将立刻删除涉嫌侵权内容。
