你现在是一个python专家请帮我用python写一个代码他需要做到用户输入搜寻关键词后到Google搜寻引擎查询相关结果并将前五页的结果中的网址存入txt档中
以下是使用Python实现的代码:
import requests
from bs4 import BeautifulSoup
# 请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 用户输入关键词
keyword = input('请输入要搜索的关键词:')
# 循环遍历前5页搜索结果
for page in range(5):
# 构造搜索结果的url
url = f'https://www.google.com/search?q={keyword}&start={page * 10}'
# 发送请求,获取搜索结果页面
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
# 获取所有搜索结果的URL
for a in soup.find_all('a', href=True):
# 判断URL是否为有效的网址
if a['href'].startswith('http'):
# 将URL写入txt文件
with open('search_results.txt', 'a', encoding='utf-8') as f:
f.write(a['href'] + '\n')
使用方法:
- 将以上代码复制到Python环境中。
- 运行代码后,会提示输入要搜索的关键词。
- 程序会自动搜索并获取前5页的搜索结果,并将结果中的URL保存到当前目录下的search_results.txt文件中。如果文件不存在,则会自动创建。
原文地址: https://www.cveoy.top/t/topic/bywe 著作权归作者所有。请勿转载和采集!