抖音对指定用用户的所有视频抓取策略
抖音对指定用用户的所有视频抓取策略
方案1:接口参数有加密,需脱壳app进行反编译破解加密参数。(难度较大,不容易实现)
方案2:使用appium自动化框架配合mitmdump中间人代理截取手机发送的数据包,从而获取数据。(容易实现,且不容易被识别反爬)
综上所述我选用的实现方案是方案2
二、可能需要的资源
Android模拟器或者真机
长期有效代理
三、实现原理流程图
三、具体实现过程
1、首先利用fiddler抓包工具分析抖音app的主页滑动的请求接口
2、设置手机或者模拟器的代理为本机ip和端口 8888(fiddler监控端口)
3、手机点到监测账号主页动态页面,(因为动态页面的数据跟作品是相对应的,而所有 作品的接口反爬比较严格,所以采用动态接口)手动向下滑动触发请求数据接口(后 期可通过appium实现自动化操作)
4、对抖音app数据请求接口进行抓包分析
5、找到具体接口之后编写mitmproxy监控脚本准备拦截请求和解析入库的操作
5、设置模拟器或者手机的代理为本机ip和自定义的端口 9090(mitmproxy监控此端口)
6、运行mitmproxy监控脚本监控手机 9090 端口发出的请求
7. 手动滑动抖音app视频动态页刷新请求会看到数据已经被截获了(可利用appium 自动化实现滑动)
抖音短视频的数据分析可以从以下几个方面入手:
- 用户数据: 包括 用户数量、用户活跃度、用户行为 等数据,了解用户的需求和偏好。
- 内容数据: 包括视频的 播放量、点赞量、评论量、分享量 等数据,可以了解用户对视频内容的喜好和反馈,从而针对性地 优化 视频内容,提高视频的质量和吸引力。
- 用户分析: 通过分析用户的年龄、性别、地域、兴趣爱好等数据,了解用户的特征和需求,以便更好地进行内容创作和推广。
- 竞争对手分析 : 通过对竞争对手的数据进行分析,了解竞争对手的优势和劣势,以便更好地制定自己的竞争策略。
此外,还有一些主流的抖音数据分析工具:
- 抖音官方数据分析工具:抖音平台自身提供了一些数据分析工具,例如抖音创作者服务中心和抖音数据中心。这些工具可以为用户提供直播数据、粉丝数据、视频数据等各类信息的深度分析。
- 考古加数据:考古加数据是专业高效的抖音直播数据分析平台,为达人、商家、MCN机构提供抖音达人、商品、抖音小店和短视频的全方位数据分析服务,基于行业领先的数据处理能力,挖掘直播数据的价值。
鹏仔微信 15129739599 鹏仔QQ344225443 鹏仔前端 pjxi.com 共享博客 sharedbk.com
图片声明:本站部分配图来自网络。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!