Elastic Cloud Enterprise的快照管理
文章目录
- 处理快照
- 在你开始之前
- 配置快照仓库
- 添加快照仓库配置
- 创建集群并安装对应插件
- 创建快照策略
- 查看快照
- 展望
3月23号,Elastic又发布了最新的7.12版本。在这个版本中,最重要的一个更新是frozen tier的发布。相比于之前版本的cold tier(关于cold tier的细节,可以查看之前的博文: Elastic Searchable snapshot功能初探、 Elastic Searchable snapshot功能初探 二 (hot phase)),其最大的不同是我们可以直接在对象存储里面进行数据的搜索,即我们能够保持对象存储里面的快照数据一直 在线可查,通过构建一个小规模的,只带基础存储的计算集群,就可以查阅保存在快照中的海量数据!做到真正的计算和存储分离,并且极大的降低查阅庞大的历史冷冻数据的所需的成本和提高查询效能。(可参考官方博客: 使用新的冻结层直接搜索S3)
前方高能图片:
单节点"挂载"1PB数据,本地磁盘使用率1.7%,只需很少的计算资源和本地存储资源就可以查询海量数据。
要做到这点,有几个前提:
- 需要有Elastic的Enterprise级别的订阅
- 已经有可用的对象存储用于快照仓库
而当我们使用ECE(Elastic Cloud Enterprise)创建集群时,就已经天然满足了第一个需求。我们要做的是通过ECE来管理我们的快照仓库,并建立索引和searchable snapshot的关系,我们会在系列文章中为大家展示如何使用做到这点。
本文中,我们先简单了解下ECE上的快照管理功能。
处理快照
快照为您的Elasticsearch索引提供备份。当没有足够的可用区来提供高可用性时,可以使用快照从故障中恢复,也可以从意外删除中恢复。
在你开始之前
要为您的Elasticsearch集群启用快照并使用快照,您必须已配置存储库。配置快照存储库后,每30分钟或以您指定的间隔拍摄一次快照。
注意:快照仅备份打开的索引。如果关闭索引,则快照中将不包含该索引,因此您将无法还原数据。
从Elastic Stack 7.6版本开始,使用Kibana来管理快照。在Kibana中,您可以设置其他存储库来存储快照,而不是由Elastic Cloud Enterprise当前管理的存储库。您可以查看和删除快照,并配置快照生命周期管理(SLM)策略以在创建和删除快照时自动执行。
在Elastic Cloud Enterprise中,您可以查看快照列表,还可以从同一区域中的其他部署还原快照。
配置快照仓库
快照存储库是为整个Elastic Cloud Enterprise安装管理的,创建或管理快照存储库时可以为Elasticsearch集群指定快照存储库。指定存储库后,默认情况下或指定的时间间隔默认每30分钟拍摄一次快照。
通过Elastic核心存储库插件可提供对以下存储库的支持:
- 亚马逊S3
- Microsoft Azure存储
- 谷歌云存储
添加快照仓库配置
在可以对Elasticsearch集群执行任何快照或还原操作之前,至少需要将一个快照仓库配置添加到您的Elastic Cloud Enterprise安装中。
要添加快照仓库:
登录到Cloud UI。
从“Platform”菜单中,选择“Repositories”。
单击"Add Repository"以添加现有快照仓库。
提供仓配置的名称。
选择一种受支持的仓库类型,然后指定必要的设置:
- Amazon S3配置:
必须指定所有仓库选项,因为没有默认值。- region
铲斗所在的区域。 - bucket
用于快照的存储桶的名称。 - access key
用于身份验证的访问密钥。 - secrect key
用于身份验证的密钥。
- region
- GCS配置:
除了S3之外,其他的配置需要使用json的方式配置
{"type": "gcs","settings": {"bucket": "lex-demo-bucket","client": "my_alternate_client"} }
- 需要访问GCP的service account配置一个访问凭证
- 然后通过deployment -> Security,配置该访问凭证 (注意,这里的client名字,必须与Security key里面的名字匹配:
my_alternate_client
)
- Amazon S3配置:
创建集群并安装对应插件
可以在创建的时候安装:
也可以在安装之后修改:
快照插件安装之后,可以在集群的Kibana看到ECE为您创建的快照仓库(found-snapshots
):
你可以把索引备份到该快照仓库,也可以自己注册一个新的快照仓库来区别ECE的自动备份
创建快照策略
之后,在Kibana上创建快照策略,可以将数据备份到ECE创建的found-snapshots
仓库中
注意,这里的name,如果命名为cloud-snapshot-policy
,则可以在ECE的界面上手动的创建快照
查看快照
我们可以在ECE的界面上查看所有可用快照:
展望
通过ECE管理统一的快照仓库,我们可以做到,当多个集群均通过该仓库来生成快照的时候,通过searchable snapshot的功能,我们可以做到通过构建一个小规模的,只带基础存储的计算集群,就可以查阅多个集群保存在快照仓库中的海量数据这一摄像!
Elastic Cloud Enterprise的快照管理相关推荐
- 在腾讯云试用Elastic Cloud Enterprise及Enterprise高级功能 一
文章目录 开始之前 申请ECE所需的资源 硬件先决条件 内存 存储 软件先决条件 操作系统与Docker 申请配置 安装 查看已经申请的主机 安装ansible ansible授信 ansible 脚 ...
- 【Elasticsearch】在 Elastic Cloud 上的 Elasticsearch 服务中,如何针对日志和指标用例确定热温架构的规模
1.概述 转载:在 Elastic Cloud 上的 Elasticsearch 服务中,如何针对日志和指标用例确定热温架构的规模 主要是需要翻墙,比较麻烦. 希望深入了解 Amazon Elasti ...
- Exalogic Elastic Cloud
Exalogic Elastic Cloud 其实是一个私有云 控制系统. 当前,云计算大热情况下,很多服务开始往集群上迁移.原因是单纯的几台机器支撑不了越来越庞大的数据量.或者说信息爆炸到一定程度, ...
- 弹性云服务器(Elastic Cloud Server,ECS)
弹性云服务器(Elastic Cloud Server,ECS) https://support.huaweicloud.com/ecs/index.html 弹性云服务器(Elastic Cloud ...
- web快照管理_屏幕快照之旅:看一下新的Office Web Apps
web快照管理 One of the most talked about new features of Office 2010 is Web Apps. Here we bring you a to ...
- linux重启kvm服务命令,linux中kvm的安装及快照管理
一.kvm的安装及状态查看 1.安装软件 yum -y install kvm virt-manager libvirt 2.启动libvirtd 报错,升级device-mapper-libs yu ...
- etcd之日志和快照管理
系列文章目录 浅谈分布式系统与一致性协议(一) 浅谈分布式系统与一致性协议(二) 浅谈分布式系统与一致性协议(三) 深入浅出之etcd 深入浅出之etcd(二) etcd版本之v3 etcd之安全性阐 ...
- 无线临ftp服务器1.3,Cerberus FTP Server Enterprise(FTP服务器管理工具)V11.3.1.1 最新版
Cerberus FTP Server Enterprise(FTP服务器管理工具)是一款十分优秀好用的FTP服务器管理助手.如果你需要一款好用的服务器管理工具,小编带来的这款Cerberus FTP ...
- 为Spring Cloud Config插上管理的翅膀
最近一致在更新Spring Cloud Config的相关内容,主要也是为这篇埋个伏笔,相信不少调研过Spring Cloud Config的用户都会吐槽它的管理能力太弱.因此,就有了下面为讲推荐的这 ...
最新文章
- 第八章 Health Check
- 【深度学习】翻译:60分钟入门PyTorch(三)——神经网络
- 使用kotlin遇到的问题
- [Vue.js] 深入 -- 案例 - 购物车
- linux 标准vruntime,linux – CFS中vruntime的概念是什么
- 那些让老板赞不绝口的可视化大屏,附模板和教程
- 超键、候选键、主键、外键区别?
- 如何检测java安装成功_如何检查jdk是否安装成功
- 实现审批系统_我市工程建设项目审批系统实现与 省监管平台数据互联互通
- BIM族库下载——Revit管道卡箍连接族
- svn 合并分支 (svn操作手册)
- 直接选择排序算法时间 / 空间复杂度
- matlab机器人运动仿真,基于MATLAB机器人手臂运动仿真
- 全国计算机第55次,全国第55次一级Ms Office试题
- 纯CSS实现播放暂停按钮变形动画
- 计算机excel实验结果分析,使用Excel2013分析管理表格数据实训演练——想象力电脑应用...
- 华为业务板块_华为三大业务介绍
- 常见的面试问题————NLP篇(持续更新)
- Wordpress 修改 mysql 插件_WordPress批量查找替换修改文章内容的插件和代码
- 基于springboot实现学校线上教学平台管理系统【源码+论文】分享
热门文章
- 屏幕“眩光”问题或得缓解,科学家研究出类似飞蛾眼睛结构的薄膜
- 无线AP中小型、大型两种常见组网方式
- 去除windows激活水印的方法
- Linux 下如何查看进程和终止进程
- 培养学生计算机绘画水平,电脑绘画教导方法
- 使用Mandelbulb3D渲染三维分形
- oracle与大学合作,深入合作 CUUG于哈尔滨师范大学成立Oracle WDP俱乐部
- 使用计算机生成遐想景物图像,分解反应 (1)概念:由一种反应物生成 或 以上其他物质的反应。 (2)表达式:AB-→A+B (3)特点:一变多——青夏教育精英家教网——...
- Unsupervised Salience Learning for Person Re-identification(CVPR2013)
- 智力大冲浪 解题报告