为了账号安全,请及时绑定邮箱和手机立即绑定

Python是如何判断大数据唯一性的呢?

Python是如何判断大数据唯一性的呢?

冉冉说 2018-11-20 22:18:43
Python是如何判断大数据唯一性的呢
查看完整描述

1 回答

?
眼眸繁星

TA贡献1873条经验 获得超9个赞

有些办法。比如使用array, numpy.array。 主要的思路是节约内存的使用,同时提高数据查询的效率。 如果能够注意这些内容,处理几个GB的数据还是轻松的。 接下来就是分布式计算。 按mapreduce的思路。数据尽量在本地处理。所以算法上要优化。

查看完整回答
反对 回复 2018-12-16
  • 1 回答
  • 0 关注
  • 936 浏览
慕课专栏
更多

添加回答

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信