多次查询大量集合。有更高性能的解决方案吗？

Question

我需要您使用以下代码了解性能瓶颈/改进方面的专业知识。我有一个巨大的集合（约250万个对象）的INTEREST_RATES来反复遍历并获取和返回拟合条目列表。我目前的解决方案是HSQL内存数据库：INTEREST_RATE表结构：CREATE MEMORY TABLE INTEREST_RATES " +"(EFFECTIVE_DATE DATE not NULL, "+ "INTEREST_RATE DOUBLE not NULL, "+ "INTEREST_RATE_CD INT not NULL, "+ "INTEREST_RATE_TERM INT not NULL, "+ "INTEREST_RATE_TERM_MULT VARCHAR(5) not NULL,"+ "TERM_IN_DAYS DOUBLE not NULL,"+ "PRIMARY KEY (EFFECTIVE_DATE, INTEREST_RATE_CD, INTEREST_RATE_TERM, INTEREST_RATE_TERM_MULT))"CREATE INDEX dtidx ON INTEREST_RATES (EFFECTIVE_DATE, INTEREST_RATE_CD)查询：SELECT * from INTEREST_RATES where INTEREST_RATE_CD = ? and EFFECTIVE_DATE = (SELECT MAX(EFFECTIVE_DATE) from INTEREST_RATES where INTEREST_RATE_CD = ? AND EFFECTIVE_DATE <= ?)- >所以，我正在尝试获取特定INTEREST_RATE_CD的最新可用比率，给出一个上限日期。Java部分执行查询：PreparedStatement p = con.prepareStatement(sql);p.setLong(1, intRateCd);p.setLong(2, intRateCd);p.setDate(3, someDate);ResultSet r = p.executeQuery();return resultSetToList(r);使用Futures / multithreading的Java主循环：ExecutorService executor  = Executors.newFixedThreadPool(4);CompletionService<TestResult> completionService = new ExecutorCompletionService<>(executor);long futureCount = 0;while(deals.next()) //deals is a ScrollableResults set from Hibernate{                           IDealEntity deal = (IDealEntity) deals.get()[0];    //These tasks contain the INTEREST_RATE query action    QueryTask task = new QueryTask(some params...);    completionService.submit(task);     }           现在，当我尝试提高性能或在代码中发现错误时，我的问题是：你能想出一个比inmem db更快的东西来反复获取查询逻辑后的对象吗？有没有更好/更快/任何数据结构？到目前为止，HSQL是我能想到的最快的东西。也试过H2，这是waaaaay慢。有趣的是，我使用多线程和ExecutorService的实验并没有真正改变任何性能。如果我使用1个大小的ThreadPool或4个线程，几乎没有区别......任何tipps或想法或任何东西都是受欢迎的！

Answer 1

我的观点是，当我们处理非常大量的数据时，内存数据库可能会产生问题，因为它会消耗非常大的内存，除非使用分布式内存数据库。

如果不使用分布式内存数据库，另一种替代方法可能是使用具有适当驱逐策略等的Cache。

Answer 2

我不认为在内存数据库中是解决它的好方法。最重要的是避免全表扫描。在我看来，你有正确的索引。看到真正的时间应该是毫秒是很有用的。

如果这还不够，您可以将整个结构作为嵌套索引集合或散列表加载到内存中，并使用java直接遍历这些集合。