Python 3.7 实现简单爬虫 Demo：轻松爬取网页 HTML 内容

好的，我可以帮你编写一个简单的Python爬虫demo。这个demo将会使用requests和BeautifulSoup库来爬取一个网页的HTML内容。 首先，你需要安装这两个库，你可以通过pip来安装： ```bash pip install requests beautifulsoup4 ``` 然后，你可以使用以下代码来创建你的爬虫： ```python import requests from bs4 import BeautifulSoup def spider(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') return soup.prettify() url = 'https://www.baidu.com' # 这里是你要爬取的网页URL print(spider(url)) ``` 这个爬虫会向指定的URL发送一个GET请求，然后获取服务器返回的HTML内容。然后，它会使用BeautifulSoup库来解析这个HTML内容，并将其格式化为一个易于阅读的字符串。 注意：在实际使用中，你可能需要处理各种异常情况，例如网络错误、服务器错误等。如果你打算频繁地或大规模地爬取某个网站的数据，你应该遵守该网站的robots.txt文件中的规定，并尊重该网站的服务条款。 ######[AI写代码神器 | 237点数解答 | 2023-12-18 10:39:17]