#
全站爬虫有时候做起来其实比较容易，因为规则相对容易建立起来，只需要做好反爬就可以了，今天咱们爬取知乎。继续使用scrapy当然对于这个小需求来说，使用scrapy确实用了牛刀，不过毕竟这个系列到这个阶
在前面一节我们了解了 Urllib 的基本用法，但是其中确实有不方便的地方。比如处理网页验证、处理 Cookies 等等，需要写 Opener、Handler 来进行处理。为了更加方便地实现这些操作，
数据挖掘和数据仓库是什么？有什么联系和区别？这些问题可能是我们日常工作会见到的。通过这些问题，希望你能收获更多。下面是揭开这些问题的详细内容。 一、定义 数据仓库是数据库的一种概念上的
大数据正在爆炸式增长，每天都有来自世界各地的公司涌现出新的项目。 好消息是，所有技术都是开源的，可供您今天开始采用。 Hadoop 稳固，企业实力和其他一切的基础。您需要YARN和HDFS以及Hado
在前面一节我们了解了 Request 的发送过程，但是在网络情况不好的情况下，出现了异常怎么办呢？这时如果我们不处理这些异常，程序很可能报错而终止运行，所以异常处理还是十分有必要的。 Urllib 的
1.高考派大学数据----写在前面 写到终于了scrapy爬虫框架了，这个框架可以说是蟒爬虫框架里面出镜率最高的一个了，我们接下来重点研究一下它的使用规则。 安装过程自己百度一下，就能找到3种以上的安
大数据又称巨量资料，就是数据量大、来源广、种类繁多(日志、视频、音频)，大到PB级别，现阶段的框架就是为了解决PB级别的数据。 专业的来讲：大数据(big data,mega data)，或称巨量资料
在浏览网站的过程中我们经常会遇到需要登录的情况，有些页面只有登录之后我们才可以访问，而且登录之后可以连续访问很多次网站，但是有时候过一段时间就会需要重新登录。还有一些网站有时在我们打开浏览器的时候就自
其实简单的来说，大数据就是通过分析和挖掘全量的非抽样的数据辅助决策。 大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内容，每个人的结果却是大不相同
获取全站用户，理论来说从1个用户作为切入点就可以，我们需要爬取用户的关注列表，从关注列表不断的叠加下去。 随便打开一个用户的个人中心 绿色圆圈里面的都是我们想要采集到的信息。这个用户关注0人？那么你
