为了账号安全,请及时绑定邮箱和手机立即绑定

Elasticsearch中的分片和副本

/ 猿问

Elasticsearch中的分片和副本

慕莱坞森 2020-02-03 14:54:53

我正在尝试了解Elasticsearch中的分片和副本,但是我没有设法理解它。如果我下载Elasticsearch并运行脚本,那么据我所知,我已经启动了一个具有单个节点的集群。现在,该节点(我的PC)具有5个分片(?)和一些副本(?)。

它们是什么,我有5个重复的索引吗?如果可以,为什么?我可能需要一些解释。


查看完整描述

3 回答

?
幕布斯5086720

我将尝试用一个真实的例子来解释,因为您得到的答案和答复似乎对您没有帮助。


下载并启动elasticsearch时,您将创建一个elasticsearch节点,该节点尝试加入现有集群(如果可用)或创建一个新集群。假设您使用一个刚刚启动的节点创建了自己的新集群。我们没有数据,因此我们需要创建一个索引。


创建索引时(在索引第一个文档时也会自动创建一个索引),您可以定义它将由多少个碎片组成。如果您不指定数字,它将具有默认的分片数量:5个原色。这是什么意思?


这意味着elasticsearch将创建5个包含您的数据的主要分片:


 ____    ____    ____    ____    ____

| 1  |  | 2  |  | 3  |  | 4  |  | 5  |

|____|  |____|  |____|  |____|  |____|

每次您为文档建立索引时,elasticsearch都会决定应该使用哪个主碎片来保存该文档,并在其中建立索引。主碎片不是数据的副本,而是数据!拥有多个分片确实有助于利用一台机器上的并行处理优势,但要点是,如果我们在同一集群上启动另一个Elasticsearch实例,这些分片将以均匀的方式分布在集群上。


然后,节点1将仅保留三个分片:


 ____    ____    ____ 

| 1  |  | 2  |  | 3  |

|____|  |____|  |____|

由于剩余的两个分片已移至新启动的节点:


 ____    ____

| 4  |  | 5  |

|____|  |____|

为什么会这样?由于elasticsearch是分布式搜索引擎,因此您可以利用多个节点/机器来管理大量数据。


每个Elasticsearch索引都至少包含一个主分片,因为这是存储数据的地方。但是,每个分片都是有代价的,因此,如果您只有一个节点并且没有可预见的增长,则只需坚持使用一个主分片。


分片的另一种类型是副本。默认值为1,这意味着每个主分片将被复制到另一个包含相同数据的分片。副本用于提高搜索性能和故障转移。副本碎片永远不会分配到相关主数据库所在的同一节点上(这就像将备份与原始数据放在同一磁盘上一样)。


回到我们的示例,对于1个副本,我们将在每个节点上拥有整个索引,因为3个副本碎片将在第一个节点上分配,并且它们将包含与第二个节点上的主数据库完全相同的数据:


 ____    ____    ____    ____    ____

| 1  |  | 2  |  | 3  |  | 4R |  | 5R |

|____|  |____|  |____|  |____|  |____|

与第二个节点相同,它将包含第一个节点上的主要分片的副本:


 ____    ____    ____    ____    ____

| 1R |  | 2R |  | 3R |  | 4  |  | 5  |

|____|  |____|  |____|  |____|  |____|

通过这样的设置,如果节点发生故障,您仍然拥有整个索引。副本分片将自动成为主副本,并且即使节点发生故障,群集也可以正常工作,如下所示:


 ____    ____    ____    ____    ____

| 1  |  | 2  |  | 3  |  | 4  |  | 5  |

|____|  |____|  |____|  |____|  |____|

由于您具有"number_of_replicas":1,因此无法再分配副本,因为它们永远不会在其主副本所在的同一节点上进行分配。因此,您将拥有5个未分配的分片,副本和集群状态YELLOW为GREEN。没有数据丢失,但是由于不能分配某些分片,因此可能会更好。


一旦备份了剩下的节点,它将再次加入群集,并且副本将再次分配。可以加载第二个节点上的现有分片,但是它们需要与其他分片同步,因为写操作最有可能在节点关闭时发生。该操作结束时,群集状态将变为GREEN。


希望这可以为您澄清一切。


查看完整回答
反对 回复 2020-02-03
?
慕村225694

索引分为碎片以进行分配和扩展。


副本是碎片的副本,如果节点丢失,副本将提供可靠性。由于副本数== 1意味着群集必须具有可用于绿色状态的分片的主副本和复制副本,因此该数字经常会造成混乱。


为了创建副本,群集中必须至少有2个节点。


您可能会在这里更容易理解这些定义:http : //www.elasticsearch.org/guide/reference/glossary/


最好的问候,保罗


查看完整回答
反对 回复 2020-02-03
?
慕后森

如果您真的不喜欢看到黄色。您可以将副本数设置为零:


curl -XPUT 'localhost:9200/_settings' -d '

{

    "index" : {

        "number_of_replicas" : 0

    }

}

'

请注意,只应在本地开发框中执行此操作。


查看完整回答
反对 回复 2020-02-03

添加回答

回复

举报

0/150
提交
取消
意见反馈 帮助中心 APP下载
官方微信