JavaScript 使用 fetch 抓取网页内容并获取标题,带超时处理和错误处理
async function fetchHTML(url) {
const timeout = 3000;
const controller = new AbortController();
const id = setTimeout(() => controller.abort(), timeout);
try {
const response = await fetch(url, { signal: controller.signal });
const data = await response.text();
clearTimeout(id);
return data;
} catch (err) {
clearTimeout(id);
throw err;
}
}
const links = [
'https://down.dataaps.com/list.php?name=705dedce5e90a46674d6abcea8464831',
'https://down.dataaps.com/list.php?name=705dedce5e90a46674d6abcea8464836'
];
async function getTitle(link) {
try {
const html = await fetchHTML(link);
const title = html.match(/<title>(.*?)</title>/)[1].replace(/ - Lv\+ Level Plus - powered by Pu!mdHd/g, '').replace(/ /g, ' ');
console.log(title);
} catch (error) {
console.error(error);
}
}
for (const link of links) {
await getTitle(link);
}
代码说明:
fetchHTML(url)函数:使用 fetch API 获取网页内容,设置 3 秒的超时时间,并在超时或错误发生时中止请求。getTitle(link)函数:使用fetchHTML函数获取网页内容,并使用正则表达式提取网页标题。- 错误处理:代码中包含 try...catch 语句,用于捕获错误并进行处理。
错误分析:
您遇到的 TypeError: Failed to fetch 错误可能是由于以下原因导致的:
- 网络问题:网络连接不稳定或中断。
- 服务器问题:目标网站服务器故障或无法访问。
- URL 错误:提供的 URL 错误或失效。
解决方法:
- 检查网络连接并确保网络正常工作。
- 尝试重新运行代码,查看问题是否消失。
- 确认 URL 正确,并确保目标网站服务器正常运行。
- 如果问题仍然存在,请检查浏览器控制台的错误信息,或联系服务器管理员以获取更多帮助。
优化建议:
- 为了提高代码的健壮性,建议在代码中添加更多的错误处理逻辑,例如:
- 处理各种类型的错误,例如 404 错误、500 错误等。
- 记录错误信息,以便于排查问题。
- 使用更灵活的正则表达式,以便提取不同类型的网页标题。
- 使用 Promise 或 async/await 语法,简化代码并提高可读性。
- 使用第三方库,例如
axios或cheerio,简化代码并提高效率。
注意:
- 访问网站获取网页内容时,请遵守网站的 robots.txt 规则,避免给网站带来负面影响。
- 代码仅供学习参考,请根据实际需求进行修改和优化。
原文地址: https://www.cveoy.top/t/topic/lVDK 著作权归作者所有。请勿转载和采集!