golang中怎么利用正则表达式解析网页,针对这个问题,这篇文章详细介绍了相对应的分析和解答,希望可以帮助更多想解决这个问题的小伙伴找到更简单易行的方法。
代码如下:
package main import ( "fmt" "time" "io/ioutil" "net/http" "regexp" "strings" ) func main() { ip_pool := []string{ "172.16.1.128", "172.16.1.129", "172.16.1.131", "172.16.1.132", "172.16.1.133", "172.16.1.134", "172.16.1.135", "172.16.1.136", "172.16.1.137", "172.16.1.138", "172.16.1.190", } for { for i:=0;i<len(ip_pool);i++ { url := "http://"+ip_pool[i]+":10022" //fmt.Println("-----------------",ip_pool[i],"---------") get_url(url) time.Sleep(1*time.Millisecond) } //time.Sleep(time.Second * 60) } } func get_url(url string){ fmt.Println("----------",url,"----------------") resp, err := http.Get(url) if err != nil { fmt.Println("http get error.") } defer resp.Body.Close() body, err := ioutil.ReadAll(resp.Body) if err != nil { fmt.Println("http read error") } src := string(body) //将HTML标签全转换成小写 re, _ := regexp.Compile("\\<[\\S\\s]+?\\>") src = re.ReplaceAllStringFunc(src, strings.ToLower) // 提取table 标签 re,_ = regexp.Compile("\\<!doc[\\S\\s]+?\\<table") src = re.ReplaceAllString(src, "<table") re,_ = regexp.Compile("</table\\>[\\S\\s]+?\\</html\\>") src = re.ReplaceAllString(src, "</table>") // 干掉行首的空格 re,_ = regexp.Compile("(\\<tr>)([\\S\\s\\<>\"\\d]+?)(\\</tr>)") //src = re.ReplaceAllString(src, "$2") src = re.ReplaceAllString(src, "$2]") // 去掉<>标签 re,_ = regexp.Compile("<[\\S\\s]+?>") src = re.ReplaceAllString(src, "") re,_ = regexp.Compile("\n") src = re.ReplaceAllString(src, "") re,_ = regexp.Compile("[ ]+") src = re.ReplaceAllString(src, " ") re,_ = regexp.Compile("]") src = re.ReplaceAllString(src, "\n") // 变成 json 1 2 3 4 re,_ = regexp.Compile("(\\w*)(\\w{2}:\\w{2}:\\w{2}:\\w{2}:\\w{2}:\\w{2})([A-Za-z ]*)(\\d{4}-\\d{2}-\\d{2} \\d{2}:\\d{2}:\\d{2} )([V\\d\\.]* )(\\d{4}-\\d{2}-\\d{2}( \\d{2}:\\d{2}(:\\d{2})?)?)") /* (((\\d{4}-\\d{2}-\\d{2})+ (\\d{2}:\\d{2}:\\d{2})*?)") */ src = re.ReplaceAllString(src, "$1,$2,$3,$4,$5,$6,") //re,_ = regexp.Compile("(<[\\S\\s]*?\">)([\\S\\s]+?)(</t") //src = re.ReplaceAllString(src, "$2,") // re,_ = regexp.Compile("<[\\S\\s]+?>") // src = re.ReplaceAllString(src, "") //reg := regexp.MustCompile("([A-Za-z]+?)(\n[\\s]+)([\\d]+)") // src = reg.ReplaceAllString(src, "$1:$3") //去除连续的换行符 //re, _ = regexp.Compile("\\s{2,}") //src = re.ReplaceAllString(src, "\n") //re = regexp.MustCompile("\n\\d+") //fmt.Println(re.ReplaceAllLiteralString("hello\n2\nwork", '\d')) src = strings.Replace(src,"虚拟机名称 虚拟机MAC 虚拟机状态 心跳时间 引擎版本 病毒库日期 扫描样本数" , "vm_name,vm_mac,vm_state,vm_heart,vm_eg,vm_av_db,vm_count",-1) fmt.Println(src) //reg, err := regexp.Compile("[[0-9A-Za-z]{2}:?]{6}") //fmt.Printf("%q,%v\n", reg.FindString("00:16:3e:4a:29:35"), err) // "Hello", // text := "Hello\n123\nGo\n123" // reg = regexp.MustCompile("([A-Za-z]+?)(\n)([\\d]+)") // fmt.Printf("%q\n", reg.ReplaceAllString(text, "$3:$1")) //fmt.Println(strings.TrimSpace(src)) //去除STYLE //re, _ = regexp.Compile("\\<style[\\S\\s]+?\\</style\\>") //src = re.ReplaceAllString(src, "") //去除SCRIPT //re, _ = regexp.Compile("\\<script[\\S\\s]+?\\</script\\>") //src = re.ReplaceAllString(src, "") //去除所有尖括号内的HTML代码,并换成换行符 //re, _ = regexp.Compile("\\<[\\S\\s]+?\\>") //src = re.ReplaceAllString(src, "\n") //去除连续的换行符 //re, _ = regexp.Compile("\\s{2,}") //src = re.ReplaceAllString(src, "\n") //fmt.Println(strings.TrimSpace(src)) }
关于golang中怎么利用正则表达式解析网页问题的解答就分享到这里了,希望以上内容可以对大家有一定的帮助,如果你还有很多疑惑没有解开,可以关注亿速云行业资讯频道了解更多相关知识。
免责声明:本站发布的内容(图片、视频和文字)以原创、转载和分享为主,文章观点不代表本网站立场,如果涉及侵权请联系站长邮箱:is@yisu.com进行举报,并提供相关证据,一经查实,将立刻删除涉嫌侵权内容。