APP 非抓包数据爬取方案征集

ahhhhhh888 · 2023-12-04T08:22:11Z

需求：爬取封闭 APP 中的公开数据，比如微信内公众号的数据、朋友圈数据、美团内的商家数据等。问题：这些数据场景的共同特征是无法通过 HTTPS 抓包的方式获取，且相关 APP 都没有开放可以爬取的 H5 页面，或 H5 版本的页面信息不足。方案：通过 Appium 抓取（方案待实践验证）；通过自动脚本录屏后，由 AI 根据特征对进行视频内画面信息提取实现数据爬取（尚未发现此类工具）。针对这两个方案，有建议或其他思路，恳请赐教。🌹🌹🌹

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

This topic created in 1068 days ago, the information mentioned may be changed or developed.

需求：爬取封闭 APP 中的公开数据，比如微信内公众号的数据、朋友圈数据、美团内的商家数据等。
问题：这些数据场景的共同特征是无法通过 HTTPS 抓包的方式获取，且相关 APP 都没有开放可以爬取的 H5 页面，或 H5 版本的页面信息不足。
方案：
1. 通过 Appium 抓取（方案待实践验证）；
2. 通过自动脚本录屏后，由 AI 根据特征对进行视频内画面信息提取实现数据爬取（尚未发现此类工具）。

针对这两个方案，有建议或其他思路，恳请赐教。🌹🌹🌹

数据

App

方案

录屏

10 replies • 2023-12-06 03:16:39 +08:00