以下是一个示例代码,可以实现上述功能:

import requests
import random

# 读取 domain.txt 文件中的网址
with open('domain.txt', 'r') as f:
    urls = f.read().splitlines()

# 对于没有 http:// 前缀的网址添加前缀
for i in range(len(urls)):
    if not urls[i].startswith('http://'):
        urls[i] = 'http://' + urls[i]

# 随机生成 user agent
user_agents = [
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
    'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:53.0) Gecko/20100101 Firefox/53.0',
    'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/42.0.2311.135 Safari/537.36 Edge/12.246'
]
user_agent = random.choice(user_agents)

# 访问网页并获取标题,将结果保存到 results.txt 文件中
with open('results.txt', 'w') as f:
    for url in urls:
        try:
            response = requests.get(url, headers={'User-Agent': user_agent})
            title = response.text.split('<title>')[1].split('</title>')[0]
            f.write(url + ': ' + title + '\n')
        except:
            f.write(url + ': error\n')

需要注意的是,以上代码中的 user agent 列表只是一个示例,可以根据需要进行修改。同时,在访问网页时可能会出现各种错误,例如网络连接错误、网站不存在等等,需要进行异常处理以避免程序崩溃

使用python语言应用requests库读取domaintxt内网址并检测是否包含http若无则添加使用requests库对读取出来的网址应用随机user agent取得网页响应的标题并存入resultstxt内

原文地址: https://www.cveoy.top/t/topic/fjtK 著作权归作者所有。请勿转载和采集!

免费AI点我,无需注册和登录