从日志中识别异常请求特征
在日常运维百度优化类网站时，服务器访问日志是最早暴露恶意爬虫踪迹的窗口。常见恶意爬虫的访问模式通常包括：单个IP单位时间内请求量远超正常访客、请求的URL序列不符合站内导航逻辑、频繁触发404页面或robots.txt中已屏蔽的路径。建议定期分析日志中的user-agent字段，重点关注那些模仿主流搜索引擎但版本号异常、拼写错误的爬虫标识。
设置层级递进的请求频率限制
单一阈值容易误伤正常用户或搜索引擎蜘蛛，推荐采用分层限流策略：
- 第一层：IP级别 — 对同一IP在60秒内超过20次请求的，返回429状态码并记录预警日志；对超过100次的，直接临时封锁15分钟。
- 第二层：session级别 — 通过Cookie或Token跟踪会话，若单会话在5分钟内浏览超过30个不同页面，触发验证码校验。
- 第三层：行为模式分析 — 针对对列表页、搜索结果页等具有明显翻页规律的URL进行连续请求的，降低其访问优先级并拉大响应延迟。
值得注意的是，百度的官方爬虫通常会在请求头中携带明确的站点验证信息，且请求间隔相对稳定，不触发上述限制。
利用robots.txt与User-Agent白名单做初步过滤
robots.txt虽然无法阻止恶意爬虫，但可以作为一个合规基线。将可靠的搜索引擎爬虫（如Baiduspider、Bingbot、Googlebot）列入白名单，同时为其他User-Agent配置更严格的Allow/Disallow规则。对于未声明User-Agent或声明里包含异常字符串的请求，可在服务器配置层面直接返回403。示例做法：在nginx的server块中添加条件判断，拦截不含标准爬虫标识的请求。
部署基于Token与Cookie的动态验证
对访问核心内容或频繁请求接口的访客，可嵌入一个前端验证步骤：首次访问时下发带有时间戳和签名的Token，后续每次请求携带此Token。若恶意爬虫无法正确解析并回传合法的Token，服务器即可拒绝响应。该方法能有效屏蔽不执行JavaScript的简单爬虫和批量采集脚本，且对正常用户影响很小——仅在页面加载时完成一次不可见的验证。
实施动态延时与蜜罐陷阱
在页面中插入对普通用户不可见（通过CSS隐藏或显式排除）的蜜罐链接，如一个display:none的“立即下载”按钮。常规爬虫会抓取所有链接并尝试访问，当服务器检测到蜜罐URL被请求时，可直接将该IP加入黑名单。同时，对同一IP的连续请求动态增加响应延时（例如每10次请求增加0.5秒），使爬虫效率显著下降，迫使其停止采集。
建立持续更新的封锁规则库
| 过滤维度 | 典型特征 | 响应措施 |
|---|---|---|
| IP地理位置 | 来自非目标地区且请求量异常 | 临时或永久封锁 |
| HTTP头部缺失或异常 | 缺少Accept-Language、Referer异常 | 弹出验证或拒绝 |
| 同一URL反复请求 | 短时间内对同一文章页多次GET | 缓存并降低频率 |
| 请求参数变化频繁 | URL后随机附加大量无用参数 | 参数规范化后判断 |
定期评估策略效果并调整
没有一劳永逸的过滤方案。建议每月导出封禁记录，分析误杀率以及仍突破防守的爬虫类型。如果发现某类爬虫频繁绕过当前规则，须及时更新验证机制或调整限流阈值。同时留意百度搜索资源平台发出的抓取异常报告，确保官方爬虫未被错误拦截，以免影响网站在搜索引擎中的收录和排名。
从增长角度来看，谷歌在AI方面一直表现不错。该公司由托马斯·库里安领导的云部门，其扩张速度远快于规模更大的竞争对手亚马逊网络服务和微软Azure。
评论区
热门讨论 · 占位展示期待你的精彩发言。