今天，客户问了一个问题：
另外我还删掉了几个页面，你能帮我看下有没有404吗？
不能免费，会花费我的时间。
但是有几个思路可以说说：
1，在数据库中搜索。注意链接不一定是完整 URL，比如这篇文章，只搜 how-to-crawl-own-site。
2，使用爬取工具检查全站。比如 Screaming frog。
除了单一的爬取，很多 SEO 工具都有 Audit 功能，其中就包含 404 检查，列举一些：
Checkbot
它是一个 Chrome 浏览器扩展。免费限制爬取 100 个地址。
Siteliner
知名的免费查重工具，它也有检查 404 的功能，30 天免费爬取一次。付费爬取 $0.01/页。
AWT
Ahrefs Webmaster Tool，你不会想让 Google Webmaster 提醒你 404，那就主动做审计。
会限制一些代理 IP 的访问。
题外话：AWT 可以设置爬取频率，它有爬取限制，对于一些小站，可以用它来预热缓存。
