写一个python爬虫给出代码
以下是一个简单的Python爬虫代码,用于抓取网页数据:
import requests
from bs4 import BeautifulSoup
# 设置请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 请求页面数据
r = requests.get('https://www.example.com', headers=headers)
# 使用BeautifulSoup解析网页内容
soup = BeautifulSoup(r.text, 'html.parser')
# 找到页面中的所有链接
links = soup.find_all('a')
# 输出链接的文本和URL
for link in links:
print(link.text, link.get('href'))
在这个例子中,我们使用了requests库来发送HTTP请求并获取网页内容,使用BeautifulSoup库来解析网页内容。我们还设置了一个请求头,以避免被网站识别为爬虫并被封禁。最后,我们使用find_all方法找到页面中的所有链接,并打印它们的文本和URL。
原文地址: https://www.cveoy.top/t/topic/1qy 著作权归作者所有。请勿转载和采集!