maxcompute数据下载的三种方式

maxcoumpute下载数据有三种方式：
1、直接通过dataworks云端下载，但是这个只能下载小于1万行的数据；
2、通过odpscmd客户端下载，有两种方式：分区下载只能下一天数据；或者先运行dataworks（可以下多天数据），然后在odpscmd下载数据；
3、通过python下载，使用odps连接，然后下载数据，可以下载任意天数的数据，但是代码里面限制了字段，这个需要自己输入字段。

1、dataworks云端直接下载

2、odpscmd客户端下载数据

前面我们已经讲过odpscmd客户端怎么安装，如果忘记可以看下面

https://blog.csdn.net/Tanghaohao0/article/details/124867303

1、使用Tunnel下载和上传，详细的在阿里云在线文档里面都有，该方法限制只能下一个分区的数据：

https://help.aliyun.com/document_detail/27833.html

这里示范下我自己的下载命令：

tunnel download -h True  -c "gbk"  <项目名字>.<表名>/partition=<分区信息>  D:\data\001-data\1.csv;

2、先运行dataworks（可以下多天数据），然后在odpscmd下载数据：
dataworks里面是这样的：数据太多无法下载，但是我们可以通过odpscmd的命令下载。

这里示范下我自己的下载命令：

tunnel download -h True  -c "gbk" instance://<项目名字>/<id> <项目名字>.<表名>/partition=<分区信息>  D:\data\001-data\1.csv;

其中id通过下面方式获取

3、python连接odps下载数据

该方法可以下载任意天的数据，注意设置order limit超过1万行也执行，遇到设置order的时候就不会被限制。
示例代码如下：

from odps import ODPS
import csv
from email.mime.multipart import MIMEMultipart
from email.mime.application import MIMEApplication
import smtplib
import os
import os.path
from odps import options
# --设置order limit超过10000行也执行
options.sql.settings = {'odps.sql.validate.orderby.limit': False}
dirs = "D:/data/001-data/2.csv"#将表查询数据写入到当前文件中
o = ODPS(access_id=" ",secret_access_key=" ",project="  ",endpoint=" ")
head=['s','s2']#这里是具体的想要的字段，之后通过该字段遍历数据写入到csv里面
data=[]
string_sql='''
<sql语句>
'''reader=o.execute_sql(string_sql).open_reader(tunnel=True, limit=False)
for record in reader:tmp_value=[]for name in head:tmp_value.append(record[name])data.append(tmp_value)with open(dirs,"w+",encoding="utf-8-sig",newline='') as f:csvf = csv.writer(f)csvf.writerow(head)csvf.writerows(data)print(csvf)
print('finish')

maxcompute-入门-数据下载相关推荐

tcga数据下载_好东西丨零基础入门TCGA
GCBI学院-零基础入门TCGA_腾讯视频v.qq.com 课程大纲: TCGA简介 1.带你熟悉新版TCGA界面 2.TCGA包含哪些数据,哪些是公开可用的?作为新手,下载什么水平的数据最易上手 ...
python--从入门到实践--chapter 15 16 17 生成数据/下载数据/web API
1.随机漫步 random_walk.py from random import choice class RandomWalk():def __init__(self, num_points=500 ...
大数据全攻略：10年老兵带你看尽MaxCompute大数据运算挑战与实践
大数据计算服务(MaxCompute,原名ODPS)是一种快速.完全托管的TB/PB级数据仓库解决方案.MaxCompute向用户提供了完善的数据导入方案以及多种经典的分布式计算模型,能够更快速的解决 ...
AOD实践，modis数据下载，modis数据处理
modis数据下载-数据读取-重投影-拼接-均值一.数据下载 1.Cygwin安装 Cygwin安装教程:https://blog.csdn.net/u010356768/article/detai ...
tcga数据下载_TCGA数据库免疫相关文件下载大全
本文首发于生信技能树公众号,直达链接是:https://mp.weixin.qq.com/s/-amtbxvk0mC2Nv-bwt1BeQ 2018年4月Immunity杂志上发表了文章The Imm ...
使用MaxCompute进行数据质量核查
2019独角兽企业重金招聘Python工程师标准>>> Apsara Clouder大数据专项技能认证:使用MaxCompute进行数据质量核查数据质量问题一直是大数据分析系统关注 ...
linux ftp下载geo,高通量数据下载还能这样操作?
本文属于转录组入门系列(RAN-seq基础入门传送门 http://www.biotrainee.com/thread-1750-1-1.html)第2部分内容,以一篇Nature文章为例,详细解读如 ...
国外14亿泄露数据下载及还原
国外14亿泄露数据下载及还原 simeon 2018年6月10日freebuf发布了篇文章<14亿邮箱泄露密码明文信息查询网站惊现网络>(链接地址:http://www.freebuf.c ...
BigData：MaxCompute大数据计算服务(阿里巴巴开发/原ODPS/云计算分布式)的简介(基本概念/功能/流程图)、使用方法之详细攻略
BigData:MaxCompute大数据计算服务(阿里巴巴开发/原ODPS/云计算分布式)的简介(基本概念/功能/流程图).使用方法之详细攻略目录背景-传统分布式计算的弊端 MaxCompute ...

maxcompute-入门-数据下载

maxcompute数据下载的三种方式

1、dataworks云端直接下载

2、odpscmd客户端下载数据

3、python连接odps下载数据

maxcompute-入门-数据下载相关推荐

最新文章

热门文章