红楼梦第11回至15回文本内容爬取教程
以下是该问题的解决方案(使用Python):
import requests
# 设置请求头信息
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36'
}
# 创建文件用于保存文本内容
file = open('hlm.txt', 'w', encoding='utf-8')
# 循环爬取第11回到第15回的文本内容
for i in range(11, 16):
# 构建文本页面的链接
url = 'https://www.shicimingju.com/book/hongloumeng.html#p' + str(i)
# 发送GET请求获取文本页面的内容
response = requests.get(url, headers=headers)
# 将文本内容写入文件
file.write(response.text)
# 显示爬取成功信息
print('第十' + str(i) + '回 爬取成功!!!')
# 关闭文件
file.close()
请确保已安装requests库,可以使用以下命令进行安装:
pip install requests
运行以上代码后,将会在当前目录下生成一个名为'hlm.txt'的文件,其中包含第11回到第15回的文本内容。同时会在爬取过程中打印出相应的爬取成功信息。
原文地址: https://www.cveoy.top/t/topic/o5m3 著作权归作者所有。请勿转载和采集!