为了账号安全,请及时绑定邮箱和手机立即绑定

「docker实战篇」python的docker爬虫技术-导学(一)

标签:
Python Docker

这个专辑开始从环境的搭建到app数据抓取的整套的实战流程。

我们会学到什么?

老铁,只有个电脑没有手机怎么办,没事我想到了用模拟器,说实话模拟器没有手机爬的效率快,但是模拟器都会了手机还是问题不?

  • 安卓模拟器的搭建
  • 抓包工具
  • 自动化控制工具使用

模拟点击,模拟输入等功能

  • python编写爬虫app数据
  • 基于docker的多app端数据抓取系统

拿到数据能干什么?

  • 做个互联网项目,没有基础数据行不行

  • 数据库分析

对比其他公司的状态,对公司的运营有指导作用。分析用户的行为和消费需求。

  • 用户画像

精准的定位用户,对用户进行分类。

  • 统计系统

拿到报表数据,作为指导

  • 商业竞争

通过对手app应用投放的数据,最近在某个城市启动了那么新的产品,某个营销数据和趋势,可以了解对手在某个城市的运营状况,从而相对的应对。

对于自己的好处

  • 技能的提升

web端的抓取思路很多,github一堆一堆的。但是app抓取应用数据的技能很少。

  • 面试必问
  1. 如何抓取App应用的数据?
  2. 抓取过哪些应用上的数据?
  3. 抓包工具如何使用?

App的数据好抓吗?

既简单又困难

  • 简单

app里的数据比web端更容易抓取,反爬能力也没那么强。大部分都是http或者https协议,返回的数据类型大多数为json。直接解析json就可以了。

  • 困难
  1. 可能需要适当的反编译,解析出来加密算法并抓取信息
  2. 可能加固了,需要脱壳,然后反编译,分析出加密算法并抓取信息
  3. 需要破解通过各式各样的证书,签名,设备绑定等方法,找到隐藏加密算法

python爬虫工程师需要的技能点

  1. python爬虫开发经验
  2. java开发经验
  3. android开发经验
  4. app 逆向
  5. app 脱壳
  6. 破解加密算法

最终目的

python自动化应用,抓包工具,解析app应用的方法来进行数据的抓取。不需要破解加密算法。

PS:之前也学过一段时间python,爬过一些数据和app,公司目前还停留在手动点击的测试里,同事也催我帮忙写套教程,最好是围绕docker的完成python的自动化测试,使用app测试工具appium。就开始行动了。里面可是有很多的灰色技术,潮流技术,多工具对比,哈哈。希望老铁可以get到!

点击查看更多内容
1人点赞

若觉得本文不错,就分享一下吧!

评论

作者其他优质文章

正在加载中
感谢您的支持,我会继续努力的~
扫码打赏,你说多少就多少
赞赏金额会直接到老师账户
支付方式
打开微信扫一扫,即可进行扫码打赏哦
今天注册有机会得

100积分直接送

付费专栏免费学

大额优惠券免费领

立即参与 放弃机会
意见反馈 帮助中心 APP下载
官方微信

举报

0/150
提交
取消