列存储与行存储的区别和优势, ClickHouse优化措施来提高查询和写入性能

建议先关注、点赞、收藏后再阅读。

列存储与行存储的区别和优势

列存储和行存储是两种常见的数据库存储方式，它们在数据存储和查询方面有着不同的特点和优势。

列存储

列存储将数据按列进行存储，即将同一列的数据存放在一起。在列存储中，每一列都有自己的存储空间，并且只存储该列的数值，而不是整行的数据。

优势：

• 数据压缩率高： 由于每列存放相同类型的数据，这些数据在存储时可以采用更高效的压缩算法，从而节省存储空间。
• 查询速度快： 列存储适合于针对某些特定列的查询，因为它只需要加载和处理相关的列数据，比行存储更高效。特别对于大量数据进行聚合运算（如SUM、AVG）的查询，列存储通常更快。
• 支持高并发： 列存储在读取数据时可以仅加载需要的列，提供了更好的并发性能，更适合处理大规模数据查询。

行存储

行存储将整行数据存放在一起，即将同一行的数据存储在一起。在行存储中，每一行都有自己的存储空间。

优势：

• 适合事务处理： 由于行存储方式将整行数据存储在一起，支持对独立行的读写操作。对于事务处理（如增删改）较为频繁的场景，行存储通常更合适。
• 数据插入速度快： 由于数据是按行存储，插入新行时只需在末尾追加数据，插入速度相对较快。同时，行存储在单行读取时效率更高。

综上所述，列存储更适合大规模数据的查询分析，能够快速响应聚合操作和复杂查询，而行存储则更适合事务处理和单行读写操作。不同的数据存储方式选择取决于具体的应用场景和查询需求。

ClickHouse之所以如此之快，是因为它采取了许多优化措施来提高查询和写入性能。

1. 列式存储

ClickHouse使用列式存储，将表按列存储在磁盘上，而不是按行存储。这样的存储方式具有更好的压缩性和高效的数据过滤，可以减少磁盘IO和内存占用。

2. 数据压缩

ClickHouse对存储的数据进行压缩，采用自适应压缩算法，可以根据不同类型的数据自动选择最佳的压缩算法。数据压缩能减少磁盘IO和网络传输开销，并提升查询速度。

3. 数据分区和排序

ClickHouse支持对表数据进行分区和排序，可以根据分区键将数据划分为多个独立的区域，实现更高效的数据筛选。排序键能够使相似的数据存储在一起，加快范围查询的速度。

4. 数据跳过

ClickHouse在查询时采用了Bloom filter和Min-max索引等技术，可以快速跳过不满足条件的数据块和行，减少不必要的数据读取和处理。

5. 并行计算

ClickHouse使用多线程进行并行计算，可以同时处理多个查询。并行计算能够充分利用多核处理器，提高查询吞吐量和响应速度。

6. 向量化计算

ClickHouse在内部使用SIMD指令集进行向量化计算，能够在一条指令中同时处理多个数据，提高计算效率。向量化计算对于聚合、过滤和投影等常见操作特别有效。

7. 异步写入

ClickHouse将写入操作异步化，不需要等待数据持久化完成就可以立即返回。通过使用WAL和多个日志文件同时写入的方式，提高了写入性能和数据可靠性。

综上所述，ClickHouse通过列式存储、数据压缩、数据分区和排序、数据跳过、并行计算、向量化计算和异步写入等优化措施，大幅提高了查询和写入性能。