SQL_ODPS-MaxCompute-odpscmd-1.0
2024-05-10 19:45:41
dSQL_ODPS-MaxCompute-odpscmd-1.0
注：这篇每块代码按顺序操作 每块可按顺序看
目的：熟悉一下日志
（一）简单的语句操作
普通表
--复制表结构
odps@ work_test_1>create table t_denile_2 like t_deniel;ID = 000000001447167gm4yr392
OK-- 修改表名
odps@ work_test_1>alter table t_denile_2 rename to t_deniel_2;-- select
odps@ work_test_1>select * from t_deniel;ID = 0000000015051653g6f0s392
Log view:
http://logview
Summary:
resource cost: cpu 0.00 Core * Min, memory 0.00 GB * Min
inputs:
outputs:+------------+------------+
| id | name |
+------------+------------+
| 15 | 张三 |
| 16 | 李四 |
| 18 | 王五 |
+------------+------------+
3 records (at most 10000 supported) fetched by instance tunnel.-- 读表 不知道为什么用read会乱码
odps@ work_test_1>read t_deniel;
+------------+------------+
| id | name |
+------------+------------+
| 15 | ???? |
| 16 | ???? |
| 18 | ???? |
+------------+------------+-- left join （必须带on 不允许没有mapjoin的笛卡尔积）
odps@ work_test_1>select * from t_deniel a left join t_deniel_3 b on a.id=b.id;ID = 00000000151944507gwtc5mim
Log view:
http://logview
Job Queueing...
Summary:
resource cost: cpu 0.02 Core * Min, memory 0.02 GB * Min
inputs:work_test_1.t_deniel_3: 3 (448 bytes)work_test_1.t_deniel: 3 (448 bytes)
outputs:
Job run time: 1.000
Job run mode: service job
Job run engine: execution engine
M1:instance count: 1run time: 0.000instance time:min: 0.000, max: 0.000, avg: 0.000input records:TableScan2: 3 (min: 3, max: 3, avg: 3)output records:StreamLineWrite1: 3 (min: 3, max: 3, avg: 3)metrics_output_count:Filter1: 3 (min: 3, max: 3, avg: 3)StreamLineWrite1: 3 (min: 3, max: 3, avg: 3)TableScan2: 3 (min: 3, max: 3, avg: 3)metrics_inner_time_ms:Filter1: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0StreamLineWrite1: 4 (min: 4, max: 4, avg: 4) MaxInstance: 0TableScan2: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0
M3_2:instance count: 1run time: 1.000instance time:min: 1.000, max: 1.000, avg: 1.000input records:StreamLineRead2: 3 (min: 3, max: 3, avg: 3)TableScan1: 3 (min: 3, max: 3, avg: 3)output records:AdhocSink1: 3 (min: 3, max: 3, avg: 3)metrics_output_count:AdhocSink1: 3 (min: 3, max: 3, avg: 3)HashJoin1: 3 (min: 3, max: 3, avg: 3)HashJoin1#0: 3 (min: 3, max: 3, avg: 3)Project1: 3 (min: 3, max: 3, avg: 3)StreamLineRead2: 3 (min: 3, max: 3, avg: 3)TableScan1: 3 (min: 3, max: 3, avg: 3)metrics_inner_time_ms:AdhocSink1: 28 (min: 28, max: 28, avg: 28) MaxInstance: 0HashJoin1: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0HashJoin1#0: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0Project1: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0StreamLineRead2: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0TableScan1: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0
R2_1:instance count: 1run time: 0.000instance time:min: 0.000, max: 0.000, avg: 0.000input records:StreamLineRead1: 3 (min: 3, max: 3, avg: 3)output records:StreamLineWrite2: 3 (min: 3, max: 3, avg: 3)metrics_output_count:StreamLineRead1: 3 (min: 3, max: 3, avg: 3)StreamLineWrite2: 3 (min: 3, max: 3, avg: 3)metrics_inner_time_ms:StreamLineRead1: 49 (min: 49, max: 49, avg: 49) MaxInstance: 0StreamLineWrite2: 36 (min: 36, max: 36, avg: 36) MaxInstance: 0+------------+------------+------------+------------+
| id | name | id2 | name2 |
+------------+------------+------------+------------+
| 15 | 张三 | 15 | 张三 |
| 16 | 李四 | 16 | 李四 |
| 18 | 王五 | 18 | 王五 |
+------------+------------+------------+------------+分区表
--创建分区表
odps@ work_test_1>create table if not exists t_jackson(id int,name string) partitioned by(dt string);ID = 00000000153046739g24oi692
OK--desc查看表信息
odps@ work_test_1>desc t_jackson;+------------------------------------------------------------------------------------+
| Owner: ALIYUN$XXXX | Project: work_test_1 |
| TableComment: |
+------------------------------------------------------------------------------------+
| CreateTime: 0000-00-00 00:00:00 |
| LastDDLTime: 0000-00-00 00:00:00 |
| LastModifiedTime: 0000-00-00 00:00:00 |
+------------------------------------------------------------------------------------+
| InternalTable: YES | Size: 0 |
+------------------------------------------------------------------------------------+
| Native Columns: |
+------------------------------------------------------------------------------------+
| Field | Type | Label | Comment |
+------------------------------------------------------------------------------------+
| id | bigint | | |
| name | string | | |
+------------------------------------------------------------------------------------+
| Partition Columns: |
+------------------------------------------------------------------------------------+
| dt | string | |
+------------------------------------------------------------------------------------+OK--desc extended 查看外部表信息
odps@ work_test_1>desc extended t_jackson;+------------------------------------------------------------------------------------+
| Owner: ALIYUN$XXXX | Project: work_test_1 |
| TableComment: |
+------------------------------------------------------------------------------------+
| CreateTime: 0000-00-00 00:00:00 |
| LastDDLTime: 0000-00-00 00:00:00 |
| LastModifiedTime: 0000-00-00 00:00:00 |
+------------------------------------------------------------------------------------+
| InternalTable: YES | Size: 0 |
+------------------------------------------------------------------------------------+
| Native Columns: |
+------------------------------------------------------------------------------------+
| Field | Type | Label | ExtendedLabel | Nullable | DefaultValue | Comment |
+------------------------------------------------------------------------------------+
| id | bigint | | | true | NULL | |
| name | string | | | true | NULL | |
+------------------------------------------------------------------------------------+
| Partition Columns: |
+------------------------------------------------------------------------------------+
| dt | string | |
+------------------------------------------------------------------------------------+
| Extended Info: |
+------------------------------------------------------------------------------------+
| TableID: eeeeaacfab844a49c7d9616116cbbea |
| IsArchived: false |
| PhysicalSize: 0 |
| FileNum: 0 |
| StoredAs: AliOrc |
| CompressionStrategy: normal |
+------------------------------------------------------------------------------------+OK--新增分区（注意：只能新增分区，不能新增分区字段）
odps@ work_test_1>alter table work_test_1.t_jackson add if not exists partition (dt="00000101");ID = 0000000015480634gww7z592
OK--tunnel上传本地.csv数据至该分区
--多个分区可以tunnel upload D:\#ODPS_D2\odps_data\data_t_jackson.csv work_test_1.t_jackson/dt="00000101",region="shanghai";
odps@ work_test_1>tunnel upload D:\#ODPS_D2\odps_data\data_t_jackson.csv work_test_1.t_jackson/dt="00000101";
Upload session: 000000005127c2dbdb0b144e163b
Start upload:D:\#ODPS_D2\odps_data\data_t_jackson.csv
Using \r\n to split records
Upload in strict schema mode: true
Total bytes:32 Split input to 1 blocks
0000-00-00 00:00:00 scan block: '1'
0000-00-00 00:00:00 scan block complete, block id: 1
0000-00-00 00:00:00 upload block: '1'
0000-00-00 00:00:00 upload block complete, block id: 1
upload complete, average speed is 32 bytes/s
OK--查询一下数据有没有传成功
odps@ work_test_1>select * from work_test_1.t_jackson where dt="00000101";ID = 00000000155424113gpvki692
Log view:
http://logview
Job Queueing...
Summary:
resource cost: cpu 0.00 Core * Min, memory 0.00 GB * Min
inputs:work_test_1.t_jackson/dt=00000101: 4 (449 bytes)
outputs:
Job run time: 0.000
Job run mode: service job
Job run engine: execution engine
M1:instance count: 1run time: 0.000instance time:min: 0.000, max: 0.000, avg: 0.000input records:TableScan1: 4 (min: 4, max: 4, avg: 4)output records:AdhocSink1: 4 (min: 4, max: 4, avg: 4)metrics_output_count:AdhocSink1: 4 (min: 4, max: 4, avg: 4)Project1: 4 (min: 4, max: 4, avg: 4)TableScan1: 4 (min: 4, max: 4, avg: 4)metrics_inner_time_ms:AdhocSink1: 96 (min: 96, max: 96, avg: 96) MaxInstance: 0Project1: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0TableScan1: 0 (min: 0, max: 0, avg: 0) MaxInstance: 0+------------+------------+------------+
| id | name | dt |
+------------+------------+------------+
| 1 | 张三 | 00000101 |
| 2 | 李四 | 00000101 |
| 3 | 王五 | 00000101 |
| 4 | 赵六 | 00000101 |
+------------+------------+------------+
4 records (at most 10000 supported) fetched by instance tunnel.偏偏秉烛夜游
午夜星辰似奔走之友
爱你每个结痂伤口
酿成的陈年烈酒入喉尚算可口
怎么泪水还偶尔失守
邀你细看心中缺口
裂缝中留存温柔此时已莺飞草长爱的人正在路上
我知他风雨兼程途经日暮不赏
穿越人海只为与你相拥
此刻已皓月当空爱的人手捧星光
我知他乘风破浪去了黑暗一趟
感同身受给你救赎热望知道你不能还要你感受
让星光加了一点彩虹
让樱花偷偷吻你额头
让世间美好与你环环相扣
此时已莺飞草长爱的人正在路上
我知他风雨兼程途经日暮不赏
穿越人海只为与你相拥
此刻已皓月当空爱的人手捧星光
我知他乘风破浪去了黑暗一趟
感同身受给你救赎热望此时已莺飞草长爱的人正在路上
我知他风雨兼程途经日暮不赏
穿越人海只为与你相拥
此刻已皓月当空爱的人手捧星光
我知他乘风破浪去了黑暗一趟
感同身受给你救赎热望知道你不能还要你感受
让星光加了一点彩虹
当樱花开的纷纷扬扬
当世间美好与你环环相扣世间美好与你环环相扣
柏松
尹初七
柏松
彭圣杰
SQL_ODPS-MaxCompute-odpscmd-1.0相关推荐
- MaxCompute - ODPS重装上阵 第二弹 - 新的基本数据类型与内建函数
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务. MaxCompute除了持续优化性能外,也致力于提 ...
- MaxCompute JDBC 2.2 发布说明
简介 MaxCompute JDBC 2.2正式版已于2017年2月24日正式发布. github地址:https://github.com/aliyun/aliyun-odps-jdbc/relea ...
- ODPS2.0重装上阵，优化提升SQL语言表达能力
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务. MaxCompute除了持续优化性能外,也致力于提 ...
- MaxCompute - ODPS重装上阵 第五弹 - SELECT TRANSFORM
MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务. MaxCompute除了持续优化性能外,也致力于提 ...
- MaxCompute - ODPS重装上阵 第四弹 - CTE，VALUES，SEMIJOIN
摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务. MaxCompute除了持续优化性能外,也 ...
- MaxCompute - ODPS重装上阵 第三弹 - 复杂类型
摘要: MaxCompute(原ODPS)是阿里云自主研发的具有业界领先水平的分布式大数据处理平台, 尤其在集团内部得到广泛应用,支撑了多个BU的核心业务. MaxCompute除了持续优化性能外,也 ...
- 阿里巴巴大数据计算平台MaxCompute（原名ODPS）全套攻略（持续更新20171127）
概况介绍 大数据计算服务(MaxCompute,原名ODPS,产品地址:https://www.aliyun.com/product/odps)是一种快速.完全托管的TB/PB级数据仓库解决方案.Ma ...
- 大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...
- 阿里云数加大数据计算服务MaxCompute文章索引（持续更新201705）
概况介绍: 10年老兵带你看尽MaxCompute大数据运算挑战与实践 什么是阿里云数加大数据计算服务MaxCompute? 一分钟了解阿里云产品:大数据计算服务MaxCompute概述 数加平台如何 ...
- 估算带卷积核二分类0,3的网络的收敛时间和迭代次数
制作一个网络分类minst的0和3求出这网络的迭代次数曲线表达式n(δ),和准确率表达式p-max(δ),用预期准确率去估算n,并推算需要的时间. 将minst的28*28的图片缩小到9*9,网络用一 ...
最新文章
- 机器人工具箱 V9.10（Robotics Toolbook) (1)：建立机器人模型
- 深入浅出统计学 第六章 排列与组合
- 打开虚拟机磁盘类型无效_[图文]VMWARE虚拟机如何打开.VMDK格式的磁盘映像
- [luoguP2801] 教主的魔法（二分 + 分块）
- python在统计专业的应用_Python：使用Counter进行计数统计
- java spring hiberate_Java程序员：Spring Boot和Hibernate一起使用的技巧
- pytorch torch.eye
- AlwaysOn业务IP和高可用IP分开使用（四）
- ACL2016最佳论文：通过交互学习语言游戏
- 小技巧 - LeetCode 如何查看他人耗时更优的代码答案？
- 【毕业设计】基于树莓派的指纹识别与RFID考勤系统 - 嵌入式 单片机 物联网
- python 标准库库
- D. Challenging Valleys
- 【知识兔】Excel中的F1~F12快捷键，你还不会？强大到爆~
- HI3516DV300笔记（四）修改uboot环境变量
- 谷粒学院笔记-第二天-数据库设计
- 基于数据结构和C语言实现公交管理系统（含文档和代码)数据结构课程设计
- EFCore——Entry和Attach
- vba html网页自动登录,vba实现网页自动登录
- 哈佛学生是如何度过大学4年…