用go语言写一个可以在goland运行的250行的爬虫代码
以下是一个使用Go语言编写的简单爬虫代码,可以在Goland中运行:
package main
import (
"fmt"
"io/ioutil"
"net/http"
"strings"
)
func main() {
url := "https://example.com" // 替换为你要爬取的网站URL
resp, err := http.Get(url)
if err != nil {
fmt.Println("HTTP 请求错误:", err)
return
}
defer resp.Body.Close()
body, err := ioutil.ReadAll(resp.Body)
if err != nil {
fmt.Println("读取响应体错误:", err)
return
}
links := extractLinks(string(body))
for _, link := range links {
fmt.Println(link)
}
}
func extractLinks(html string) []string {
var links []string
startTag := "<a href=\""
endTag := "\""
startIndex := strings.Index(html, startTag)
for startIndex != -1 {
startIndex += len(startTag)
endIndex := strings.Index(html[startIndex:], endTag)
if endIndex == -1 {
break
}
endIndex += startIndex
link := html[startIndex:endIndex]
links = append(links, link)
startIndex = strings.Index(html[endIndex:], startTag)
}
return links
}
在这个例子中,我们使用http.Get函数发送HTTP GET请求获取网页的响应。然后使用ioutil.ReadAll函数读取响应体的内容。接下来,我们使用extractLinks函数提取出网页中的链接,并将它们打印出来。
请注意将url变量替换为你要爬取的网站URL
原文地址: https://www.cveoy.top/t/topic/hIee 著作权归作者所有。请勿转载和采集!