使用CLI进行高速跨域日志复制、历史数据重新索引与数仓投递
背景
使用日志服务是不是常常遇到如下烦恼?
- 开启了字段索引却无法对历史日志起作用,而手动重建索引又很困难怎么办?
- 需要迁移数据,复制数据到其他区域logstore,写代码实现大并发复制又很复杂怎么办?
- 投递日志到OSS/ODPS仅仅对新数据起作用,又想投递历史日志怎么办?
现在使用CLI就可以帮你轻松实现这些操作。
介绍
复制数据(CopyData)支持将特定时间范围内的logstore的数据复制到特定logstore中去。其具备如下一些特点:
- 没有索引的数据也可以同步.
- 速度快, 易并发, 且支持传输压缩.
- 拉取的数据按照服务器接受的时间排序.
- 支持跨域、跨项目库复制。
- 支持复制数据到同一个logstore(重新索引)。
前提
这里假设已经完成了CLI的安装.
配置多区域账户
首先CLI中配置多个区域账户, 以便后续操作, 这一步也是一次性的. 如果之前已经做过, 这里可以跳过.
这里配置2个域的账户, 一个杭州公有云, 一个北京公有云.
> aliyun configure AKID****123 AKKEY****123 cn-hangzhou.log.aliyuncs.com
> aliyun configure AKID****123 AKKEY****123 cn-beijing.log.aliyuncs.com bj
注意: 这里的最后一个参数, 仅仅用于表明这个账户的名字, 以便后续使用. 不传入默认是main
, 也是默认使用的账户, 这里使用杭州的账户作为默认账户.
参考:
- 关于秘钥的配置, 可以参考配置
- 关于日志服务在各个域的Endpoint地址, 可以参考入口服务
重新索引
如果因为某些特定原因,某个时间范围内的日志没有建立索引,无法被查询和统计。可以如下操作将日志重新写入,就可以实现重新索引的效果。
例如:
aliyunlog log copy_data --project="源project" --logstore="源logstore" --from_time="2018-09-05 0:0:0 CST" --to_time="2018-09-06 0:0:0 CST"
这里将杭州区域的源project
的源logstore
中服务器在时间范围["2018-09-05 0:0:0 CST","2018-09-06 0:0:0 CST")内接收到的数据,重新写入到源logstore
中去。
注意:
这里仅仅是复制一份数据进入目标logstore,并在写入时自动对其索引,原来的没有被索引的日志依然存在。
跨区域复制数据
有时需要将某一个logstore的日志迁移到另外一个logstore中去时,可以如下操作:
准备好目标logstore
假设目标logstore已经创建好了,并且配置好了索引。这一步操作可以在Web控制台完成,也可以通过CLI的复制logstore配置来完成,或者使用CLI的create_logstore创建日志库,再配置索引,通过命令get_index_config获取索引,调用命令create_index来实现。
复制数据
例如:
aliyunlog log copy_data --project="源项目" --logstore="源logstore" --from_time="2018-09-05 0:0:0 CST" --to_time="2018-09-06 0:0:0 CST" --to_project="目标project" --to_logstore="目标logstore" --to_client="bj"
这里将杭州区域的源project
的源logstore
中服务器在时间范围["2018-09-05 0:0:0 CST","2018-09-06 0:0:0 CST")内接收到的数据,写入到北京
区域的目标project
的目标logstore
中去。
注意:
这里用--to_client
指定操作目标project的账户为bj
,是前面前提中配置的账户名。
投递历史日志到OSS/ODPS
日志服务的投递任务配置好后,仅仅对新接受数据产生作用。这里也可以借助复制数据来实现投递历史日志的效果:
- 创建一个临时的logstore(不需要配置索引)
- 在临时logstore上配置投递OSS/ODPS的任务
- 复制需要投递的日志到目标logstore
- 投递结束后,删除临时logstore
时间格式
时间格式推荐是%Y-%m-%d %H:%M:%S %Z
, 如2018-01-24 17:00:00 CST
, 但也支持其他合法的时间格式, 例如:Jan 01 2018 10:10:10 CST
注意: 时区不仅可以是CST,如果发现拿不到数据,可以改成特定时区例如 UTC-8 或者 UTC+8
CLI还支持更多其他格式的时间格式,例如2 day ago
等,参考这里.
时间范围
传入的时间范围, 需要注意几点:
- 这里的时间指的是服务器接受日志的时间
- 时间的范围是左闭右开
[)
, 上面例子中16:00:00
服务器接受到的日志会被拉取到, 但是17:00:00
服务器所接受到的日志不会.
特殊的时间范围
有时我们不关心数据的某一边界, 例如期望获得所有存储的数据到某一天日期位置. 或者获取从某一天开始到目前存储的数据为止的话, 就可以使用特殊游标.
特殊游标包括begin
和end
. 例如:
aliyunlog log copy_data --project="p1" --logstore="l1" --from_time="begin" --to_time="2018-01-24 17:00:00 CST" --to_logstore="l2"
这里复制所有2018-01-24 17:00:00 CST
之前服务器接收到的日志到logstorel2
。
又例如:
aliyunlog log copy_data --project="p1" --logstore="l1" --from_time="2018-01-24 17:00:00 CST" --to_time="end" --to_logstore="l2"
这里复制所有2018-01-24 17:00:00 CST
开始及之后服务器接收到的日志到logstorel2
。
进一步参考
- 阿里云日志服务
- 阿里云日志服务CL
原文链接
本文为云栖社区原创内容,未经允许不得转载。
使用CLI进行高速跨域日志复制、历史数据重新索引与数仓投递相关推荐
- vue cli配置代理解决跨域问题
内容 跨域问题 解决跨域问题 vue cli配置代理 跨域问题 是由于违背了同源策略,同源策略规定了协议名.主机名.端口号必须一致 我们目前所处的位置是http localhost 8080,我们想向 ...
- 打响跨域/中央计算「攻坚」战,这些头部企业已经抢先布局
从域控架构到中央集成式架构,跨域融合已经加速到来,从单一域控制器,到多域融合+中央计算,市场门槛进一步抬升,市场也进入新一轮「攻坚」阶段. 高工智能汽车研究院发布<2023-2025年智能网联产 ...
- Web学习之跨域问题及解决方案
Web学习之跨域问题及解决方案 javascript/jquery 浏览数:161 2017-5-8 在做前端开发时,我们时常使用ajax与服务器通信获取资源,享受ajax便利的同时,也知道它有限制: ...
- 【09】Nginx:静态压缩 / 日志切割 / 防盗链 /恶意解析/ 跨域
写在前面的话 上一节我们谈了关于 nginx 服务器的一些简单的安全优化问题,能够帮助我们解决一部分线上服务存在的安全隐患.但是想要提升用户体验这是原因不够的,我们还需要从服务的优化方面入手. 本节更 ...
- VUe3 @cli(axios)跨域访问
CompC的代码: <template><div><button @click="sendAjax">发送ajax请求</button&g ...
- 日志服务Python消费组实战(三):实时跨域监测多日志库数据
解决问题 使用日志服务进行数据处理与传递的过程中,你是否遇到如下监测场景不能很好的解决: 特定数据上传到日志服务中需要检查数据内的异常情况,而没有现成监控工具? 需要检索数据里面的关键字,但数据没有建 ...
- vue cli 解决跨域 线上 nginx 反向代理配置
前后分离 axios 接 api 跨域问题如图: 解决办法: 1. npm start 本地开发环境解决: 在webpack配置文件 /config/index.js 里找到 proxyTable 开 ...
- Nginx一网打尽:动静分离、压缩、缓存、黑白名单、跨域、高可用、性能优化......
干货!文章有点长,建议先收藏 引言 一.性能怪兽-Nginx概念深入浅出 二.Nginx环境搭建 三.Nginx反向代理-负载均衡 四.Nginx动静分离 五.Nginx资源压缩 六.Nginx缓冲区 ...
- 【论文解读】CIKM20-MiNet:阿里|跨域点击率预估混合兴趣模型
" 本文介绍了阿里提出的一种利用跨域信息的CTR预估模型,基于UC头条的应用场景,将新闻feed流作为源域,广告作为目标域.跨域点击率预估的最大优势在于通过使用跨域数据,目标域中的数据稀疏和 ...
最新文章
- 程序员的自我修养--链接、装载与库笔记:运行库
- PHP魔术方法__tostring()篇
- stylus之运算符(Operators)
- CCIE理论-第九篇-IPV6详细介绍
- plt.plot绘图
- 【手把手】教你MySQL调优
- 二叉树查找结点及父结点
- 计算机电路与电子学试卷,电路与电子学(第5版)学习指导与习题解答
- 微信小程序优惠券制作方法
- 学习笔记(16):程序员的数学:微积分-常用导数(一):最常用到的技巧
- 2018年面经大合集
- [笔记] PPT幻灯片也RIA——PPT实现倒计时功能
- 如何用Serverless搭建Mock Server?
- 树莓派初次配置C++环境以及进行简单的hcsr04驱动
- 王劲说无人车是他的终身事业,他要重回行业一线!
- springboot毕设茶会微电影评价系统37iza(java+VUE+Mybatis+Maven+Mysql)
- 深圳大学计算机图形学期末大作业——OpenGL glfw库实现简单的Minecraft游戏
- 时间管理(Time Management)
- linux中进程杀不死解决办法
- 清北痛惜,30多名教授密集逝世…
热门文章
- android+内存清理+代码,最新版本:Android一键式清理,内存清理功能的实现
- web 服务器 内存 影响_C/C++服务器开发常用的7大开源库,让你在同行中脱颖而出...
- python导出csv有引号_python – csv中的双引号元素不能用pandas读取
- 程序的图标无法改变_安卓微信7.0.7内测版发布,细节更新,小程序功能优化
- java联合主键_hibernate联合主键映射(注解版)
- python数据库框架_目前最受欢迎的12个Python开源框架
- power iso linux启动盘,Power ISO Maker/ISO燃烧到磁盘工具 V3.0版
- pyqt按钮关闭窗口_PyQt5按钮单击事件,退出程序
- 3分钟了解物理学发展史
- 1900 页数学基础:面向 CS 的线性代数、拓扑、微积分和最优化