golang 做数据爬虫

在Go语言中，可以使用一些库和工具来进行数据爬取。以下是一些常用的库和工具：

goquery：一个类似于jQuery的库，可以用于解析HTML文档并进行数据提取。

import (
    "fmt"
    "github.com/PuerkitoBio/goquery"
)

func main() {
    // 发送HTTP请求获取HTML文档
    doc, err := goquery.NewDocument("https://example.com")
    if err != nil {
        fmt.Println("Error:", err)
        return
    }

    // 使用CSS选择器提取所需的数据
    doc.Find("h1").Each(func(i int, s *goquery.Selection) {
        fmt.Println(s.Text())
    })
}

Colly：一个功能强大的爬虫框架，提供了许多有用的功能，如自动重试、并发请求、分布式爬取等。

import (
    "fmt"
    "github.com/gocolly/colly"
)

func main() {
    c := colly.NewCollector()

    // 在访问每个页面之前执行的回调函数
    c.OnRequest(func(r *colly.Request) {
        fmt.Println("Visiting", r.URL)
    })

    // 在访问每个页面之后执行的回调函数
    c.OnResponse(func(r *colly.Response) {
        fmt.Println("Visited", r.Request.URL)
        fmt.Println("Response:", string(r.Body))
    })

    // 提取所需的数据
    c.OnHTML("h1", func(e *colly.HTMLElement) {
        fmt.Println(e.Text)
    })

    // 发起HTTP请求并开始爬取
    c.Visit("https://example.com")
}

Chromedp：一个使用Chrome浏览器作为爬虫引擎的库，可以执行JavaScript、模拟用户操作等。

import (
    "context"
    "fmt"
    "github.com/chromedp/chromedp"
)

func main() {
    // 创建Chrome实例
    ctx, cancel := chromedp.NewContext(context.Background())
    defer cancel()

    // 执行一系列操作
    var res string
    err := chromedp.Run(ctx,
        chromedp.Navigate("https://example.com"),
        chromedp.Text("h1", &res),
    )
    if err != nil {
        fmt.Println("Error:", err)
        return
    }

    // 输出结果
    fmt.Println(res)
}

以上仅是一些常用的库和工具，根据具体需求和场景，可能还需要使用其他库和技术来实现更复杂的爬虫功能