为了账号安全,请及时绑定邮箱和手机立即绑定

PHP 数据接口设计

/ 猿问

PHP 数据接口设计

慕工程0101907 2018-10-05 19:34:30

服务A提供数据一天100W的日志数据, B需要写一个接口去抓取服务A的数据,(假定A的100W可以模拟成从数据库取出来) , 现在需要设计一个接口,保证接口可以比较快速的获取100W的数据,获取数据突然中断可以断点继续获取,同时还要保证接口安全

查看完整描述

2 回答

?
动漫人物

这么大的数据量,还要求断点续传,幸好是日志数据,实时性应该要求不高。
可以考虑让服务A定时导出到一个文件,然后服务B通过ftp/sftp之类的直接下载,ftp的速度已经够快的了,如果还要更快,可以搭个NFS共享文件。(都是支持断点续传的哦)

查看完整回答
反对 回复 2018-10-14
?
九州编程

我做过同样的一个数据统计的服务,
A服务,是一台服务器(A服务器
B服务,在另外一台服务器上面(B服务器

最终解决方案是A服务器的数据最终通过文件存储下来,
然后在A服务器上面通过计划任务用 脚本(php的curl)或者简单点 直接rsync命令同步到B服务器,

然后B服务器扫文件内容,然后将数据归档,去重入库等。。


查看完整回答
反对 回复 2018-10-14

添加回答

回复

举报

0/150
提交
取消
意见反馈 邀请有奖 帮助中心 APP下载
官方微信