Python 多线程抓取彼岸图库高清图片到本地：代码示例与防坑指南

以下是一个使用 Python 多线程从彼岸图库抓取高清图片到本地的示例代码： ```python import requests import os from bs4 import BeautifulSoup import threading # 定义图片保存路径 save_dir = 'bijiaotu' if not os.path.exists(save_dir): os.makedirs(save_dir) # 定义获取图片链接的函数 def get_image_urls(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} try: response = requests.get(url, headers=headers) response.raise_for_status() soup = BeautifulSoup(response.text, 'html.parser') # 查找所有图片标签 img_tags = soup.find_all('img') image_urls = [] for img in img_tags: if 'src' in img.attrs: img_url = img['src'] # 处理相对链接 if not img_url.startswith('http'): base_url = '/'.join(url.split('/')[:3]) img_url = base_url + img_url image_urls.append(img_url) return image_urls except requests.RequestException as e: print(f"请求出错: {e}") return [] # 定义下载图片的函数 def download_image(url): try: headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} response = requests.get(url, headers=headers) response.raise_for_status() # 获取图片文件名 filename = os.path.join(save_dir, url.split('/')[-1]) with open(filename, 'wb') as f: f.write(response.content) print(f"下载成功: {filename}") except requests.RequestException as e: print(f"下载出错: {e}") # 定义主函数 def main(): # 彼岸图库的具体页面 URL，这里需要替换为实际要抓取的页面 target_url = 'https://pic.netbian.com/' image_urls = get_image_urls(target_url) # 创建线程列表 threads = [] for url in image_urls: thread = threading.Thread(target=download_image, args=(url,)) threads.append(thread) thread.start() # 等待所有线程完成 for thread in threads: thread.join() if __name__ == "__main__": main() ``` 我在以往的开发过程中，碰到过以下几点需要格外小心处理的地方： 1. 网站的反爬虫机制，可能会对频繁的请求进行限制，需要设置合理的请求头和请求间隔。 2. 图片链接可能是相对链接，需要正确处理以确保能正确下载图片。 3. 多线程下载时，要注意线程安全问题，避免多个线程同时操作同一个文件或资源。 ######[AI写代码神器 | 773点数解答 | 2025-08-11 22:52:20]