Python 实现简单网页爬虫：代码示例与注意事项

以下是一个简单的 Python 网页爬虫示例代码： ```python import requests from bs4 import BeautifulSoup def web_crawler(url): # 发送 HTTP 请求获取网页内容 response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: # 解析网页内容 soup = BeautifulSoup(response.text, 'html.parser') # 在这里可以根据需求提取网页中的信息 # 例如提取所有的链接 links = soup.find_all('a') for link in links: print(link.get('href')) else: print("请求失败，状态码:", response.status_code) # 调用爬虫函数，传入要爬取的网页 URL web_crawler("https://www.example.com") ``` 注意： 1. 遵守网站的爬虫规则，避免被封禁。 2. 处理可能的异常情况，如网络连接错误。 3. 注意代码的可扩展性，以便后续添加更多功能。 ######[AI写代码神器 | 232点数解答 | 2025-03-21 14:38:48]