今天小编给大家分享的是Golang爬虫框架colly使用的方法介绍,相信很多人都不太了解,为了让大家更加了解,所以给大家总结了以下内容,一起往下看吧。一定会有所收获的哦。
Golang 是一门非常适合编写网络爬虫的语言,它有着高效的并发处理能力和丰富的网络编程库。下面是一个简单的 Golang 网络爬虫示例:
package main import ( "fmt" "net/http" "io/ioutil" "regexp" ) func main() { resp, err := http.Get("https://www.example.com") if err != nil { fmt.Println("Error:", err) return } defer resp.Body.Close() body, err := ioutil.ReadAll(resp.Body) if err != nil { fmt.Println("Error:", err) return } re := regexp.MustCompile("<title>(.*)</title>") title := re.FindStringSubmatch(string(body))[1] fmt.Println("Title:", title) }
这个爬虫的功能是获取指定网站的标题。代码中使用了 Go 的标准库 net/http 和 regexp 来进行网络请求和正则表达式匹配。当然,这只是一个简单的示例,实际上爬虫需要考虑更多的问题,比如反爬虫、数据存储、并发控制等等。
gocolly是用go实现的网络爬虫框架,我这里用来测试的版本是:colly “github.com/gocolly/colly/v2”
gocolly的网络爬虫还是很强大,下面我们通过代码来看一下这个功能的使用
package main import ( "fmt" colly "github.com/gocolly/colly/v2" "github.com/gocolly/colly/v2/debug" ) func main() { mUrl := "http://www.ifeng.com/" //colly的主体是Collector对象,管理网络通信和负责在作业运行时执行附加的回掉函数 c := colly.NewCollector( // 开启本机debug colly.Debugger(&debug.LogDebugger{}), ) //发送请求之前的执行函数 c.OnRequest(func(r *colly.Request) { fmt.Println("这里是发送之前执行的函数") }) //发送请求错误被回调 c.OnError(func(_ *colly.Response, err error) { fmt.Print(err) }) //响应请求之后被回调 c.OnResponse(func(r *colly.Response) { fmt.Println("Response body length:", len(r.Body)) }) //response之后会调用该函数,分析页面数据 c.OnHTML("div#newsList h2 a", func(e *colly.HTMLElement) { fmt.Println(e.Text) }) //在OnHTML之后被调用 c.OnScraped(func(r *colly.Response) { fmt.Println("Finished", r.Request.URL) }) //这里是执行访问url c.Visit(mUrl) }
运行结果如下:
这里是发送之前执行的函数
[000001] 1 [ 1 - request] map["url":"http://www.ifeng.com/"] (0s)
[000002] 1 [ 1 - responseHeaders] map["status":"OK" "url":"http://www.ifeng.com/"] (64.9485ms)
Response body length:250326
Finished http://www.ifeng.com/
[000003] 1 [ 1 - response] map["status":"OK" "url":"http://www.ifeng.com/"] (114.9949ms)
[000004] 1 [ 1 - html] map["selector":"div#newsList h2 a" "url":"http://www.ifeng.com/"] (118.9926ms)
[000005] 1 [ 1 - html] map["selector":"div#newsList h2 a" "url":"http://www.ifeng.com/"] (118.9926ms)
[000006] 1 [ 1 - scraped] map["url":"http://www.ifeng.com/"] (118.9926ms)
总结一下:
回调函数的调用顺序如下:
OnRequest在发起请求前被调用
OnError请求过程中如果发生错误被调用
OnResponse收到回复后被调用
OnHTML在OnResponse之后被调用,如果收到的内容是HTML
OnScraped在OnHTML之后被调用
关于Golang爬虫框架colly使用的方法介绍就分享到这里了,希望以上内容可以对大家有一定的参考价值,可以学以致用。如果喜欢本篇文章,不妨把它分享出去让更多的人看到。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。