1. 爬虫策略从无脑抓到精准狙击我刚入行时犯过一个典型错误——用单线程脚本无差别抓取整站数据结果不仅触发反爬机制被封IP还浪费三天时间清洗90%的无用数据。现在回头看合理的爬虫策略就像狙击手的瞄准镜能帮我们锁定真正有价值的目标。以电商价格监控为例我会先做这三件事频率控制用time.sleep(random.uniform(1,3))模拟人类浏览间隔身份伪装准备20组User-Agent轮换实测Chrome/Firefox/Safari混合使用最稳请求优化只下载必要资源比如禁用图片加载options webdriver.ChromeOptions() prefs {profile.managed_default_content_settings.images: 2} options.add_experimental_option(prefs, prefs)最近帮客户抓取房产数据时我们通过Fiddler抓包发现直接调用站点的API接口比解析HTML效率提升近8倍。这提醒我们逆向分析网络请求往往比硬啃页面结构更高效。2. 数据清洗别把垃圾当宝贝去年有个惨痛教训团队花两周抓取200万条招聘信息结果发现60%是重复岗位。现在我的原则是宁可少抓10条不错存1条废数据。具体操作上我会建立三级过滤机制URL去重用BloomFilter处理海量URL判重内存消耗只有传统方法的1/10内容指纹对正文计算SimHash值相似度超过85%的直接丢弃字段校验比如电话号码必须符合正则^1[3-9]\d{9}$最近用MongoDB的聚合管道做数据清洗时发现个实用技巧$addFields阶段可以嵌套$function自定义JS函数处理复杂逻辑比写Python脚本快得多。3. 并发控制多线程不是越多越好曾有个项目开了500个线程结果把对方服务器搞崩了...现在我的经验是并发数目标站点QPS限制×0.8。比如检测到某API限速100次/分钟就设置80线程。推荐这个线程池模板from concurrent.futures import ThreadPoolExecutor def crawl(url): # 抓取逻辑... with ThreadPoolExecutor(max_workers80) as executor: futures [executor.submit(crawl, url) for url in url_list] for future in as_completed(futures): try: data future.result() except Exception as e: logger.error(f抓取失败: {e})对于动态渲染的页面Playwright比Selenium更适合并发场景。上周测试发现同样100个页面Playwright平均加载时间2.3秒而Selenium要4.7秒。4. 反反爬用魔法打败魔法现在连中小网站都部署了各种反爬措施。我的应对策略分三步走初级对抗基础伪装随机生成请求头连Accept-Language都要变模拟鼠标移动轨迹PyAutoGUI实测有效设置Referer为谷歌搜索页中级对抗环境仿真使用undetected-chromedriver绕过Cloudflare检测修改WebGL指纹通过修改浏览器参数实现动态生成Canvas指纹需要Hook相关API高级对抗协议破解解析WebSocket通信获取真实数据逆向APP端加密算法常用Frida工具破解验证码推荐ddddocr库准确率92%上个月破解某旅游网站时发现他们用WebAssembly计算签名。最终方案是用PyExecJS调用编译好的Wasm模块成功率达到100%。5. 分布式实战从单兵作战到集团军当数据量突破千万级时我用上了这套架构爬虫节点 → 消息队列(RabbitMQ) → 去重集群(Redis) → 存储集群(MongoDB分片)关键配置示例# scrapy-cluster的redis配置 SCHEDULER scrapy_redis.scheduler.Scheduler DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter REDIS_URL redis://:passwordmaster:6379/0最近用Kubernetes部署爬虫集群时发现HPA水平自动扩展比固定节点节省40%成本。监控指标设置为当RabbitMQ积压消息5000时自动扩容。6. 法律红线这些雷区千万别踩有次客户要求抓取竞品用户手机号我当场拒绝了。在这行久了就知道技术无罪但用法可能违法。这些原则我从不突破严格遵守robots.txt规定用robotparser模块解析敏感字段自动过滤身份证、银行卡号等单日抓取量不超过网站总量1%商业用途必须获得授权去年某同行因爬取简历数据被判赔偿80万判决书特别指出采用伪造设备指纹等技术手段突破防护属于主观恶意。这提醒我们技术合规性比技术先进性更重要。