判断数据在数据库中是否已存在.

Question

今天下午和同事发生因为判断数据是否在数据库中已存在产生分歧.简易代码如下: //观点一,先取出数据库中已存在ID存入内存,再进行判断 //数据太多情况,内存爆炸 DateTable dt = ExcuteSQL('SELECT ID FROM TABLE'); //List为数据集,已经去重 foreach(var item in List){ //观点二,在for循环中根据ID查询是否已存在 //for循环执行数据库?没这么干过 DateTable dt = ExcuteSQL(string.format('SELECT ID FROM TABLE WHERE ID = {0}',item.ID)); //判断是否在dt中存在 ... bool ISContain ... //不存在 if(!ISContain){ //加入事物SQL列表 SQLList.Add('INSERT INTO ........'); } } //执行事物 ....

Answer 1

其实第一个你要拿实际数据量来估算，如果ID是Long类型，数据量100W，也才只有 8byte * 100W = 7.629 megabytes。

第二个肯定要不得，在循环中对每个ID去查询。

Answer 2

推荐方法二，但这样做查询会比较快：

SELECT id FROM table WHERE id IN (?, ?, ?, ...)

注意，不同的数据库对参数是有限制的，?最好不要超过1千个。如果你需要判断1万个id，就用10次这样的查询。

Answer 3

利用批量查询。当ID比较多时，考虑是否可以按其它的批量方式去查？比如一次拿一段时间的所有id，把方法一稍加改进来实现。
感觉不管是方法一还是方法二都走了极端，所以好的解决方法应该是中合两者的结果。

Answer 4

建议是使用先把id从数据库中取出来，然后在内存中比较的方法，这样可以减少数据库的访问。

Answer 5

可不可以分段 取到内存里 这样能减轻内存占用