Python实战：打造自动检测修复404网页链接的利器

还在手动检查网站上的死链接？太out啦！今天，我就带你用Python写一个脚本，让它自动帮你找出并修复这些恼人的404错误，解放你的双手，让你的网站更健康！

准备工作

首先，我们需要安装几个Python库，它们将是我们的得力助手：

• requests: 用于发送HTTP请求，获取网页内容。
• beautifulsoup4: 用于解析HTML，方便我们提取链接。
• tldextract: 用于提取域名，方便我们判断链接是否为站内链接。

你可以使用pip来安装它们：

pip install requests beautifulsoup4 tldextract

核心代码

1. 导入必要的库

import requests
from bs4 import BeautifulSoup
import tldextract
from urllib.parse import urljoin

2. 定义一个函数来检查链接状态

def check_link(url):
    try:
        response = requests.get(url, timeout=5)
        response.raise_for_status()  # 抛出HTTPError，如果状态码不是200
        return response.status_code
    except requests.exceptions.RequestException as e:
        print(f"检查链接 {url} 失败: {e}")
        return None

这个函数会尝试访问给定的URL，如果返回的状态码不是200，或者在请求过程中发生任何错误，它会打印错误信息并返回None。

3. 定义一个函数来提取网页中的所有链接

def extract_links(url):
    try:
        response = requests.get(url, timeout=5)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, 'html.parser')
        links = [urljoin(url, link.get('href')) for link in soup.find_all('a') if link.get('href')]
        return links
    except requests.exceptions.RequestException as e:
        print(f"提取链接失败: {e}")
        return []

这个函数会首先获取网页的HTML内容，然后使用BeautifulSoup解析HTML，提取所有<a>标签中的href属性，最后使用urljoin将相对URL转换为绝对URL。

4. 定义一个函数来修复站内链接 (示例)

这个修复函数只是一个示例，实际的修复逻辑需要根据你的网站结构和需求进行调整。

def fix_link(broken_url, site_url):
    # 示例：假设所有页面都放在根目录下，尝试将URL中的多余斜杠删除
    fixed_url = broken_url.replace('//', '/')
    
    # 进一步检查修复后的链接是否有效
    if check_link(fixed_url) == 200:
        print(f"已修复链接: {broken_url} -> {fixed_url}")
        return fixed_url
    else:
        print(f"无法自动修复链接: {broken_url}")
        return None

**注意：**自动修复链接是一个非常危险的操作，务必谨慎处理！在实际应用中，你可能需要更复杂的逻辑来判断如何修复链接，例如：

• 检查URL是否包含拼写错误。
• 尝试猜测正确的URL。
• 记录所有需要手动修复的链接，并生成报告。

5. 主函数

def main(url):
    site = tldextract.extract(url).domain
    all_links = extract_links(url)
    broken_links = []

    for link in all_links:
        status_code = check_link(link)
        if status_code != 200:
            broken_links.append((link, status_code))

    print("\n发现以下问题链接：")
    for link, status_code in broken_links:
        print(f"链接: {link}, 状态码: {status_code}")

        # 尝试自动修复站内链接
        if site in tldextract.extract(link).domain:
            fix_link(link, url)

#  替换成你要检查的网址
if __name__ == "__main__":
    main("https://www.example.com")

使用方法

1. 将代码保存为link_checker.py。
2. 将main()函数中的"https://www.example.com"替换成你要检查的网站的URL。
3. 在命令行中运行python link_checker.py。

完整代码

import requests
from bs4 import BeautifulSoup
import tldextract
from urllib.parse import urljoin


def check_link(url):
    try:
        response = requests.get(url, timeout=5)
        response.raise_for_status()  # 抛出HTTPError，如果状态码不是200
        return response.status_code
    except requests.exceptions.RequestException as e:
        print(f"检查链接 {url} 失败: {e}")
        return None


def extract_links(url):
    try:
        response = requests.get(url, timeout=5)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, 'html.parser')
        links = [urljoin(url, link.get('href')) for link in soup.find_all('a') if link.get('href')]
        return links
    except requests.exceptions.RequestException as e:
        print(f"提取链接失败: {e}")
        return []


def fix_link(broken_url, site_url):
    # 示例：假设所有页面都放在根目录下，尝试将URL中的多余斜杠删除
    fixed_url = broken_url.replace('//', '/')
    
    # 进一步检查修复后的链接是否有效
    if check_link(fixed_url) == 200:
        print(f"已修复链接: {broken_url} -> {fixed_url}")
        return fixed_url
    else:
        print(f"无法自动修复链接: {broken_url}")
        return None


def main(url):
    site = tldextract.extract(url).domain
    all_links = extract_links(url)
    broken_links = []

    for link in all_links:
        status_code = check_link(link)
        if status_code != 200:
            broken_links.append((link, status_code))

    print("\n发现以下问题链接：")
    for link, status_code in broken_links:
        print(f"链接: {link}, 状态码: {status_code}")

        # 尝试自动修复站内链接
        if site in tldextract.extract(link).domain:
            fix_link(link, url)

#  替换成你要检查的网址
if __name__ == "__main__":
    main("https://www.example.com")

进阶用法

• 多线程/异步: 使用多线程或异步IO可以显著提高检查速度。
• 递归检查: 可以递归地检查网站上的所有页面。
• 生成报告: 可以将检查结果生成HTML或CSV报告。
• 与CI/CD集成: 可以将链接检查集成到CI/CD流程中，自动检查每次代码提交。

注意事项

• robots.txt: 尊重网站的robots.txt协议，避免爬取禁止访问的页面。
• 频率限制: 不要过于频繁地发送请求，以免给服务器造成压力。
• 异常处理: 完善异常处理，避免程序崩溃。

希望这个教程能帮助你打造一个强大的网页链接检查和修复工具！ 记住，自动修复链接要谨慎，一定要充分测试，确保不会对网站造成负面影响。