Python百度爬虫：抓取搜索结果并保存到文本文件

以下是一个使用Python编写的爬虫程序，用于爬取百度搜索结果并将结果保存到文本文件中。你可以根据自己的需求进行修改和扩展。\n\npython\nimport requests\nfrom bs4 import BeautifulSoup\n\ndef baidu_spider(keyword):\n url = f"https://www.baidu.com/s?wd={keyword}"\n headers = {\n "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"\n }\n response = requests.get(url, headers=headers)\n response.encoding = 'utf-8'\n soup = BeautifulSoup(response.text, 'html.parser')\n results = soup.select('.result')\n\n with open('search_results.txt', 'w', encoding='utf-8') as file:\n for result in results:\n title = result.select('.t a')[0].get_text()\n link = result.select('.t a')[0]['href']\n abstract = result.select('.c-abstract')[0].get_text()\n file.write(f"标题：{title}\n链接：{link}\n摘要：{abstract}\n\n")\n\nif __name__ == '__main__':\n keyword = input("请输入要搜索的关键词：")\n baidu_spider(keyword)\n print("搜索结果已保存到search_results.txt文件中。")\n\n\n运行以上代码后，程序会要求你输入要搜索的关键词。然后它会爬取百度搜索结果的标题、链接和摘要，并将结果保存到名为search_results.txt的文本文件中。\n\n请注意，爬取其他网站的数据可能涉及到法律和道德问题，建议在合法的范围内使用爬虫技术。