BOSS直聘职位数据采集:DrissionPage 监听 XHR 包实战
使用 DrissionPage 驱动真实 Chrome,监听 XHR 网络请求采集 BOSS 直聘职位数据,实现翻页滚动、去重、CSV 导出,无需破解任何加密签名。
记录 Python 开发、自动化脚本、数据采集、AI 工具和工程实践;其他主题作为技术笔记单独沉淀。
使用 DrissionPage 驱动真实 Chrome,监听 XHR 网络请求采集 BOSS 直聘职位数据,实现翻页滚动、去重、CSV 导出,无需破解任何加密签名。
通过 Frida hook + JSRPC 还原哔哩哔哩 Android APP 的请求签名生成流程,定位 SignHelper 入口函数并导出为 HTTP 接口。
用 ddddocr 识别 4399 注册验证码,结合多线程并发(MAX_WORKERS=30)、代理池轮换,实现稳定高效的批量账号注册脚本。
用 PyQt6 实现一个直播间可用的自定义转盘抽奖控件,支持自定义奖项、概率权重配置、动态旋转动画,数据持久化到 JSON 文件。
逆向分析小红书 Android APP 的 X-S / X-T 请求头生成逻辑,通过 Jadx 静态分析 + IDA so 分析 + Frida 动态验证完整还原签名算法。