Python Scrapy 爬虫实战：豆瓣电影 Top250 数据抓取

当然可以！下面是一个使用 Scrapy 框架的爬虫实战案例，该案例用于爬取豆瓣电影 Top250 的电影信息。\n\n首先，需要安装 Scrapy 框架。在命令行中运行以下命令：\n\n\npip install scrapy\n\n\n接下来，创建一个新的 Scrapy 项目。在命令行中定位到你想要创建项目的目录，并运行以下命令：\n\n\nscrapy startproject douban\n\n\n进入项目目录：\n\n\ncd douban\n\n\n然后，创建一个新的 Spider。在命令行中运行以下命令：\n\n\nscrapy genspider movie_spider movie.douban.com\n\n\n这将在项目的spiders目录下创建一个名为movie_spider.py的文件。\n\n打开movie_spider.py文件，并将以下代码复制到文件中：\n\npython\nimport scrapy\n\nclass MovieSpider(scrapy.Spider):\n name = "movie_spider"\n start_urls = ["https://movie.douban.com/top250"]\n\n def parse(self, response):\n movie_list = response.xpath('//ol[@class="grid_view"]/li')\n \n for movie in movie_list:\n title = movie.xpath('.//span[@class="title"]/text()').extract_first()\n rating = movie.xpath('.//span[@class="rating_num"]/text()').extract_first()\n yield {\n "title": title,\n "rating": rating\n }\n \n next_page = response.xpath('//span[@class="next"]/a/@href').extract_first()\n if next_page:\n yield scrapy.Request(response.urljoin(next_page), callback=self.parse)\n\n\n在上面的代码中，我们定义了一个名为MovieSpider的 Spider 类。name属性指定了 Spider 的名称，start_urls属性指定了 Spider 开始爬取的 URL。\n\nparse方法是 Spider 的入口点，它接收一个 Response 对象作为参数，该对象包含了爬取到的页面内容。在这个方法中，我们使用 XPath 选择器来提取电影的标题和评分，并通过yield关键字将结果返回。\n\n接下来，我们使用 XPath 选择器来提取下一页的 URL，并通过scrapy.Request方法创建一个新的请求，将其传递给parse方法以进行递归爬取。\n\n最后，我们需要在项目的根目录下运行以下命令来启动爬虫：\n\n\nscrapy crawl movie_spider -o movies.csv\n\n\n这将启动爬虫，并将结果保存到名为movies.csv的文件中。\n\n这就是一个简单的使用 Scrapy 框架的爬虫实战案例。你可以根据自己的需求进行修改和扩展。希望这可以帮到你！