为了账号安全,请及时绑定邮箱和手机立即绑定

大数据分析的技术有哪些?

/ 猿问

大数据分析的技术有哪些?

FFIVE 2019-02-08 11:07:44

大数据分析的技术有哪些?


查看完整描述

1 回答

?
烧仙草VB

简单说有三大核心技术:拿数据,算数据,卖数据。
首先做为大数据,拿不到大量数据都白扯。现在由于机器学习的兴起,以及万金油算法的崛起,导致算法地位下降,数据地位提高了。举个通俗的例子,就好比由于教育的发展,导致个人智力重要性降低,教育背景变重要了,因为一般人按标准流程读个书,就能比牛顿懂得多了。谷歌就说:拿牛逼的数据喂给一个一般的算法,很多情况下好于拿傻傻的数据喂给牛逼的算法。而且知不知道弄个牛逼算法有多困难?一般人连这个困难度都搞不清楚好不好……拿数据很重要,巧妇难为无米之炊呀!所以为什么好多公司要烧钱抢入口,抢用户,是为了争夺数据源呀!不过运营,和产品更关注这个,我是程序员,我不管……
其次就是算数据,如果数据拿到直接就有价值地话,那也就不需要公司了,政府直接赚外快就好了。苹果落地都能看到,人家牛顿能整个万有引力,我就只能捡来吃掉,差距呀……所以数据在那里摆着,能挖出啥就各凭本事了。算数据就需要计算平台了,数据怎么存(HDFS, S3, HBase, Cassandra),怎么算(Hadoop, Spark)就靠咱们程序猿了……
再次就是卖得出去才能变现,否则就是搞公益了,比如《疑犯追踪》里面的李四和大锤他们……见人所未见,预测未来并趋利避害才是智能的终极目标以及存在意义,对吧?这个得靠大家一块儿琢磨。
其实我觉得最后那个才是“核心技术”,什么Spark,Storm,Deep-Learning,都是第二梯队的……当然,没有强大的算力做支撑,智能应该也无从说起吧。
NoSQL,分布式计算,机器学习,还有新兴的实时流处理,可能还有别的。
数据采集,数据存储,数据清洗,数据挖掘,数据可视化。数据采集有硬件采集,如OBD,有软件采集,如滴滴,淘宝。数据存储就包括NOSQL,hadoop等等。数据清洗包括语议分析,流媒体格式化等等。数据挖掘包括关联分析,相似度分析,距离分析,聚类分析等等。数据可视化就是WEB的了。

查看完整回答
反对 回复 2019-03-09
  • 1 回答
  • 0 关注
  • 172 浏览
我要回答

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信