Python 网络爬虫示例:抓取网页并保存
当然,我可以为您提供一个简单的网络爬虫的示例程序。以下是一个使用Python语言编写的基本爬虫程序,它可以从指定的URL获取页面内容并保存到本地文件中:
import requests
def save_page(url, filename):
response = requests.get(url)
if response.status_code == 200:
with open(filename, 'w', encoding='utf-8') as file:
file.write(response.text)
print(f'页面已保存为 {filename}')
else:
print('无法访问页面')
# 在这里替换为您想要爬取的具体网址和文件名
url = 'https://www.example.com'
filename = 'example.html'
save_page(url, filename)
以上示例程序使用了requests库来发送HTTP请求并获取页面内容。您可以根据需要对其进行修改和扩展,例如添加处理页面内容的功能、设置请求头部信息等。
请注意,在编写和使用爬虫程序时,您需要遵守网站的使用条款和法律规定,并确保您的爬虫行为不会对目标网站造成过大的负担或侵犯隐私等问题。
原文地址: https://www.cveoy.top/t/topic/UuO 著作权归作者所有。请勿转载和采集!