数据量太大时，4G内存笔记本无法处理？

Question

数据量太大，编写的程序处理大量数据时，内存不足，无法运行，有什么方法通过网络能够解决的？

Answer 1

这种情况本地就只能想办法把你的中间结果序列化了存储到本地磁盘，然后接着计算，最后相当于用I/O来代替你的内存。

分布式的大数据平台也是一样的原理，如果数据量太大，你可以考虑自己弄个单节点的Spark来做，即使内存不足了它也会自动帮你去解决中间结果序列化的问题。

Answer 2

一般会想到用算法简化程序，或者把程序移植到性能更好的电脑上。