Python 网页爬虫实验：从基础到进阶

实验内容

本实验共包含三个部分，由浅入深，帮助你逐步掌握网页爬虫的基本原理和方法：

1. 获取超文本文件并保存至本地：

   • 建立使用Python程序，实现通过网页的 URL，获得服务器返回的超文本文件，并保存为文本文件。

2. 获取新闻标题和连接：

   • 请编写程序，在已经用 requests 获得网页文件后，在此基础上对网页进行解析，获取首页新闻的标题和链接并分别保存到两个列表中，最后将两个列表的内容保存到文本文件中。

3. 爬取二级页面：

   • 请编写程序，先从豆瓣电影排行榜上爬取电影标题和链接，由链接进入二级页面，爬取影片简介，最后保存到文本文件。

实验目的

通过本次实验，学生将学会如何使用 Python 编程语言实现对网页的访问和解析，掌握网页爬虫的基本原理和方法，提高信息获取和处理的能力。

实验要求

1. 学生需要使用 Python 编程语言，使用 requests 库实现对网页的访问和获取超文本文件的操作。
2. 学生需要使用 BeautifulSoup 库实现对网页的解析，获取新闻标题和链接，并将它们保存到列表中。
3. 学生需要使用正则表达式或其他方法，从二级页面中获取影片简介，并将其保存到文本文件中。
4. 学生需要在实验报告中详细说明实验过程、实验结果和实验心得，并附上完整的源代码和运行截图。