为了账号安全,请及时绑定邮箱和手机立即绑定

问大家一个python爬虫和大数据的问题

问大家一个python爬虫和大数据的问题

ibeautiful 2018-10-09 15:11:19
我的毕业设计是做一个爬取豆瓣网站的系统,我的同学的毕业设计是大数据方面的题目。我们的毕设老师要求我用爬虫爬完数据后存储,然后做一个接口把数据传给同学(数据从我的电脑传到他的电脑上),他再用他搭建的平台处理数据再展示出来。现在我的爬虫系统做好了,他的平台也搭建好了。请问这之间传数据的接口怎么设计,要掌握哪些知识
查看完整描述

2 回答

?
江户川乱折腾

TA贡献1851条经验 获得超5个赞

接口数据格式根据对方平台的需求,就跟写app的接口差不多,给个json数据

查看完整回答
反对 回复 2018-10-14
?
慕虎7371278

TA贡献1802条经验 获得超4个赞

我跟同事也做过这样的配合,我这边爬完数据后直接把数据存到mysql,他那边直接查数据就好,存数据库的表结构什么的是我们事先商量好的。

查看完整回答
反对 回复 2018-10-14
  • 2 回答
  • 0 关注
  • 974 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信