Python 适合大数据量的处理吗？

Question

Python 适合大数据量的处理吗

Answer 1

适合大数据处理。而不是大数据量处理。 如果大数据量处理，需要采用并用结构，比如在hadoop上使用python，或者是自己做的分布式处理框架。

大数据量处理使用python的也多。如果单机单核单硬盘大数据量（比如视频）处理。显然只能用c/c++语言了。

大数据与大数据量区别还是挺大的。 大数据意思是大数据的智慧算法和应用。 大数据量，早在50年前就有大数据量处理了。 中国大约在95年左右，大量引入PC机的大数据量处理。一个模型计算数据量大，而且计算时间通常超过一个星期，有时候要计算半年。

气象，遥感，地震，模式识别，模拟计算的数据量与计算量都是巨大的。当时远远超过互联网。 后来互联网发起起来以后数据量才上去。即使如此，数据的复杂度也还是比不上科学研究领域的数据。

python早些年就在科学研究和计算领域有大量的积累。所以现在python应用到大数据领域就是水到渠成。