Python 多进程爬虫报错：TypeError: cannot pickle '_thread.lock' object 解决方法

这个报错是由于无法pickle _thread.lock对象导致的。在使用ProcessPoolExecutor时，它会尝试将任务函数和参数序列化并传递给子进程，但是Lock对象是不可序列化的。\n\n要解决这个问题，可以使用multiprocessing.Manager().Lock()代替threading.Lock()来创建可序列化的锁对象。修改代码如下：\n\npython\nfrom multiprocessing import Manager\n\n...\n\n# 定义全局锁\nthreads_lock = Manager().Lock()\n\n...\n\n\n通过这种方式创建的锁对象可以在多个进程之间共享和使用，并且可以在ProcessPoolExecutor中正常工作。这样就可以避免pickle错误并解决报错问题。