请问一下JAVA高并发问题,大数据，频繁I/O操作？

Question

JAVA高并发问题,大数据，频繁I/O操作

Answer 1

建议采用缓存处理，按照你说的这种数据量，基于redis的缓存完全可以满足，存取速度可以10W+的，另外，拟采用的hashMap 是ConcurrentHashMap还是其他，页面展示是增量查询还是直接所有的再查询一次，socket数据接收你是用的netty还是mina，这都需要经过仔细的斟酌考虑设计的。有这么大的并发的需求，完全可以考虑做分布式集群的，估计这只是领导想要的目标吧

Answer 2

java并发包的hashmap就够了，业务逻辑设计的就有问题

并发包hashmap与同步 hashmap在多线程10W条数据之后，性能不是一个级别的

每次获取最新 就先过滤一遍cache然后再进行数据库查询 然后组合结果

更新 可以多线程 取单队列（并发包hashmap）然后同步更新

Answer 3

java在处理数据量比较大的时候，加载到内存必然会导致内存溢出，而在一些数据处理中我们不得不去处理海量数据，在做数据处理中，我们常见的手段是分解，压缩，并行，临时文件等方法。