京东热卖手机信息抓取：Python Scrapy 实战教程

本教程将使用 Python 的 Scrapy 框架，结合反爬机制应对技巧，抓取京东网站热卖手机信息，包括品牌、名称、价格、评价数量、是否自营和详细参数，并保存为 Excel 文件。

1. 项目目标

获取指定的三种品牌手机信息：华为、小米、苹果。
信息包括：名称、价格、评价数量、是否自营、详细参数。
对相同品牌相同型号的手机进行去重。
将获取的手机信息保存为 Excel 文件。

2. 代码实现

由于京东网站的反爬机制较为严格，需要使用一些反反爬技巧，例如随机请求头、代理IP等。以下是一个简单的示例代码，供参考：

import scrapy
import random
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from ..items import JdPhoneItem

class JdPhoneSpider(CrawlSpider):
    name = 'jdphone'
    allowed_domains = ['jd.com']
    start_urls = [
        'https://search.jd.com/Search?keyword=华为手机&enc=utf-8',
        'https://search.jd.com/Search?keyword=小米手机&enc=utf-8',
        'https://search.jd.com/Search?keyword=苹果手机&enc=utf-8'
    ]

    rules = (
        Rule(LinkExtractor(allow=('https://item.jd.com/\d+\.html',)), callback='parse_item', follow=True),
        Rule(LinkExtractor(allow=('https://search.jd.com/s_new.php\?keyword=\w+&enc=utf-8&page=\d+&s=\d+&scrolling=y&log_id=\w+',)), follow=True)
    )

    def parse_item(self, response):
        item = JdPhoneItem()
        item['name'] = response.css('div.sku-name::text').get().strip()
        item['price'] = response.css('span.p-price i::text').get().strip()
        item['evaluate'] = response.css('div.comment-count a::text').get().strip()
        item['is_self'] = '是' if response.css('div.self-support') else '否'
        item['params'] = {}
        for tr in response.css('div.Ptable tr'):
            key = tr.css('td::text').get().strip()
            value = tr.css('td:nth-child(2)::text').get().strip()
            item['params'][key] = value
        yield item

    def start_requests(self):
        for url in self.start_urls:
            headers = {
                'User-Agent': self.get_random_user_agent(),
                'Referer': 'https://www.jd.com/',
                'Accept-Encoding': 'gzip, deflate, br'
            }
            yield scrapy.Request(url=url, headers=headers, callback=self.parse, meta={'proxy': self.get_random_proxy()})

    def get_random_user_agent(self):
        user_agents = [
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 Edge/16.16299',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36',
            'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:54.0) Gecko/20100101 Firefox/54.0'
        ]
        return random.choice(user_agents)

    def get_random_proxy(self):
        proxies = [
            'http://127.0.0.1:8080',
            'http://127.0.0.1:8888'
        ]
        return random.choice(proxies)

    def parse_start_url(self, response):
        return self.parse_item(response)

3. 总结

本教程演示了如何使用 Scrapy 抓取京东热卖手机信息，并展示了处理反爬机制的一些基本技巧。实际应用中，需要根据具体情况调整代码，例如使用更复杂的代理池、动态页面解析等。

希望本教程能够帮助您快速入门 Scrapy，并开始您的数据采集之旅。