MaxCompute导入数据

使用tunnel命令导入数据的官方文档：https://help.aliyun.com/document_detail/27809.html?spm=a2c4g.11186623.6.590.709b5791JljgYi

具体过程如下：

odps@ YITIAN_BJ_MC>tunnel upload /Users/yitian/Documents/MaxCompute/documents/learning-data/banking.txt bank_data;
Upload session: 20191103115707c2dbdb0b16a7c781
Start upload:/Users/yitian/Documents/MaxCompute/documents/learning-data/banking.txt
Using \n to split records
Upload in strict schema mode: true
Total bytes:4841548  Split input to 1 blocks
2019-11-03 11:57:07 scan block: '1'
2019-11-03 11:57:08 scan block complete, blockid=1
2019-11-03 11:57:08 upload block: '1'
2019-11-03 11:57:13 1:0:4841548:/Users/yitian/Documents/MaxCompute/documents/learning-data/banking.txt  44% 2.1 MB  422.6 KB/s
2019-11-03 11:57:18 1:0:4841548:/Users/yitian/Documents/MaxCompute/documents/learning-data/banking.txt  97% 4.5 MB  458.8 KB/s
2019-11-03 11:57:20 1:0:4841548:/Users/yitian/Documents/MaxCompute/documents/learning-data/banking.txt  100%    4.6 MB  394 KB/s
2019-11-03 11:57:20 upload block complete, blockid=1
upload complete, average speed is 363.7 KB/s
OK
odps@ YITIAN_BJ_MC>select count(*) from bank_data;ID = 20191103035736853ggvb472m
Log view:
http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun.com/api&p=YITIAN_BJ_MC&i=20191103035736853ggvb472m&token=Mnk4VkVzSnZ4YjRhWVBvcThwUFI3OFJBbjJBPSxPRFBTX09CTzoxNzUzODE0MzI4NjM0Mjk4LDE1NzMzNTgyNTcseyJTdGF0ZW1lbnQiOlt7IkFjdGlvbiI6WyJvZHBzOlJlYWQiXSwiRWZmZWN0IjoiQWxsb3ciLCJSZXNvdXJjZSI6WyJhY3M6b2RwczoqOnByb2plY3RzL3lpdGlhbl9ial9tYy9pbnN0YW5jZXMvMjAxOTExMDMwMzU3MzY4NTNnZ3ZiNDcybSJdfV0sIlZlcnNpb24iOiIxIn0=
Job Queueing.
Summary:
resource cost: cpu 0.00 Core * Min, memory 0.00 GB * Min
inputs:yitian_bj_mc.bank_data: 41188 (454112 bytes)
outputs:
Job run time: 0.000
Job run mode: service job
Job run engine: execution engine
M1:instance count: 1run time: 0.000instance time:min: 0.000, max: 0.000, avg: 0.000input records:TableScan1: 41188  (min: 41188, max: 41188, avg: 41188)output records:StreamLineWrite1: 1  (min: 1, max: 1, avg: 1)metrics_output_count:HashAgg1: 1  (min: 1, max: 1, avg: 1)StreamLineWrite1: 1  (min: 1, max: 1, avg: 1)TableScan1: 41188  (min: 41188, max: 41188, avg: 41188)metrics_inner_time_ms:HashAgg1: 0  (min: 0, max: 0, avg: 0)   MaxInstance: 0StreamLineWrite1: 4  (min: 4, max: 4, avg: 4) MaxInstance: 0TableScan1: 0  (min: 0, max: 0, avg: 0)   MaxInstance: 0
R2_1:instance count: 1run time: 0.000instance time:min: 0.000, max: 0.000, avg: 0.000input records:StreamLineRead1: 1  (min: 1, max: 1, avg: 1)output records:AdhocSink1: 1  (min: 1, max: 1, avg: 1)metrics_output_count:AdhocSink1: 1  (min: 1, max: 1, avg: 1)Project1: 1  (min: 1, max: 1, avg: 1)SortedAgg1: 1  (min: 1, max: 1, avg: 1)StreamLineRead1: 1  (min: 1, max: 1, avg: 1)metrics_inner_time_ms:AdhocSink1: 21  (min: 21, max: 21, avg: 21)  MaxInstance: 0Project1: 0  (min: 0, max: 0, avg: 0) MaxInstance: 0SortedAgg1: 0  (min: 0, max: 0, avg: 0)   MaxInstance: 0StreamLineRead1: 51  (min: 51, max: 51, avg: 51)  MaxInstance: 0+------------+
| _c0        |
+------------+
| 41188      |
+------------+
1 records (at most 10000 supported) fetched by instance tunnel.

在使用MaxCompute Studio进行可视化数据导入的时候，容易出现下面问题：

如果这里的limit没有修改，最后导入的数据量只有100，需要注意一下。

MaxCompute导入数据相关推荐

BigData：MaxCompute大数据计算服务(阿里巴巴开发/原ODPS/云计算分布式)的简介(基本概念/功能/流程图)、使用方法之详细攻略
BigData:MaxCompute大数据计算服务(阿里巴巴开发/原ODPS/云计算分布式)的简介(基本概念/功能/流程图).使用方法之详细攻略目录背景-传统分布式计算的弊端 MaxCompute ...
大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...
用NumPy genfromtxt导入数据
用NumPy genfromtxt导入数据 NumPy provides several functions to create arrays from tabular data. We focus ...
怎么接收layui上传的文件_layui 上传文件_批量导入数据UI的方法
使用layui的文件上传组件,可以方便的弹出文件上传界面. 效果如下: 点击[批量导入]按钮调用js脚本importData(config)就可以实现数据上传到服务器. 脚本: /*** * 批量导入 ...
从Excel中导入数据时，提示“未在本地计算机上注册“Microsoft.ACE.OLEDB.12.0”提供程序”的解决办法...
注意,64位系统,用64位的补丁文件; https://www.cnblogs.com/A2008A/articles/2438962.html 操作系统:使用的是64位的Windows Server ...
Linux下通过txt文件导入数据到MySQL数据库
1.修改配置文件在 /etc/my.conf 中添加 local_infile=1 2.重启MySQL >service mysqld restart 3.登录数据库登录时添加参数 --lo ...
R语言data.table导入数据实战:data.table中编写函数并使用SD数据对象
R语言data.table导入数据实战:data.table中编写函数并使用SD数据对象目录 R语言data.table导入数据实战:data.table中编写函数并使用SD数据对象 #data.t ...
R语言data.table导入数据实战：把data.frame数据转化为data.table数据
R语言data.table导入数据实战:把data.frame数据转化为data.table数据目录 R语言data.table导入数据实战:把data.frame数据转化为data.table数据 ...
R语言data.table导入数据实战:data.table使用by函数进行数据分组（aggregate）
R语言data.table导入数据实战:data.table使用by函数进行数据分组(aggregate) 目录 R语言data.table导入数据实战:data.table使用by函数进行数据分组( ...

MaxCompute导入数据

MaxCompute导入数据相关推荐

最新文章

热门文章