公司最近在做上量,用两天时间从零开始学习,写了两个网站的抓取 demo、
新榜抓取: 1、接口是加密的,通过页面的 js 分析出了接口请求数据的加密规则。 2、需要登录才能获取数据。通过 selenium 模拟用户登录。然后抓取数据 豆瓣阅读: 1、频繁请求会封掉 ip、使用随机代理、请求延迟去获取数据
项目地址戳我,喜欢的话给个 star 吧。
公司最近在做上量,用两天时间从零开始学习,写了两个网站的抓取 demo、
新榜抓取: 1、接口是加密的,通过页面的 js 分析出了接口请求数据的加密规则。 2、需要登录才能获取数据。通过 selenium 模拟用户登录。然后抓取数据 豆瓣阅读: 1、频繁请求会封掉 ip、使用随机代理、请求延迟去获取数据
项目地址戳我,喜欢的话给个 star 吧。