Python网页爬虫代码:获取网页标签内容
使用Python编写简单的网页爬虫代码,输入网址和页面标签,提取并输出标签内容。代码使用requests库发起HTTP请求,使用BeautifulSoup库解析HTML内容。\n\npython\nimport requests\nfrom bs4 import BeautifulSoup\n\ndef scrape_website(url, tag):\n # 发起HTTP GET请求\n response = requests.get(url)\n\n # 使用BeautifulSoup解析HTML内容\n soup = BeautifulSoup(response.content, 'html.parser')\n\n # 查找指定的标签\n elements = soup.find_all(tag)\n\n # 输出标签内容\n for element in elements:\n print(element.text)\n\n# 输入网址和标签\nurl = input("请输入网址: ")\ntag = input("请输入需要抓取的页面标签: ")\n\n# 调用函数进行抓取和输出\nscrape_website(url, tag)\n\n\n请注意,该代码使用了requests库来发起HTTP请求,需要使用pip install requests进行安装。另外,还使用了BeautifulSoup库来解析HTML内容,需要使用pip install beautifulsoup4进行安装。\n\n使用时,运行代码后会提示输入网址和需要抓取的页面标签,例如:\n\n请输入网址: https://example.com\n请输入需要抓取的页面标签: h1\n\n\n然后,程序会输出指定标签的内容。在上面的例子中,如果页面中存在<h1>标签,它的内容将被输出。
原文地址: https://www.cveoy.top/t/topic/pyAR 著作权归作者所有。请勿转载和采集!