采集小红书数据爬虫,小红书app爬虫数据采集,仅供学习交流使用

119次阅读

共计 366 个字符,预计需要花费 1 分钟才能阅读完成。

采集小红书数据爬虫:

1. 本来是要通过 app 端的接口去直接采集数据,但是 app 接口手机端设置本地代理这边开启抓包后就不能正常访问数据。

所以就采用了微信小程序里的小红书 app 接口去采集数据。

2. 通过 fiddler 去抓包,手机端进入小程序端口选择彩妆向下滑动请求数据,这边 fiddler 就会抓到请求数据和相应的 response。

采集小红书数据爬虫,小红书app爬虫数据采集,仅供学习交流使用插图

由上边的两图可以看到请求的一个过程,这里每次单击拖动只会更新 10 条数据 (数据包含在 data{} 里),下面就要对请求的 header 参数进行分析。

采集小红书数据爬虫,小红书app爬虫数据采集,仅供学习交流使用插图1

“auth-sign”:”13c136011f62d6bc0e7d2bf1f7f04201″,

而且参数还具有一个时效性,请求的一段时间内是能够返回得到有效数据的。

这里呢,暂时未做分析只是先把 10 条数据先拿下来试试,稍后再做处理。

采集小红书数据爬虫,小红书app爬虫数据采集,仅供学习交流使用插图2

这一期的学习交流就先到这里,感谢你的阅读

正文完
 
天天
版权声明:本站原创文章,由 天天 2023-03-24发表,共计366字。
转载说明:

本文由 天天资讯网 整理发布,转载请注明出处.
版权声明:部分文章内容或图片来源于网络,我们尊重作者的知识产权。如有侵犯,请联系我们在第一时间删除。