PyODPS 学习 实现查询数据 并更新数据
PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文用于帮助您快速开始使用PyODPS,并且能够用于实际项目。
Pyodps提供了两种执行SQL语句的方法,execute_sql与run_sql,前者会阻塞调起SQL实例,而后者是不会阻塞的,可实现并行
from odps import ODPS
import sys
reload(sys)
#修改系统默认编码 查询出的中文乱吗解决
sys.setdefaultencoding("utf-8")# print ('ds=' + args['bizdate'])
ds = args['bizdate']
sql = 'select c.cid,l.name from xgj.classes_out as c ,xgj.locations_deal as l where c.ds ='+ds+' and l.ds = '+ds+ ' and c.cid = l.cls_id'
instance = o.execute_sql(sql)
with instance.open_reader() as reader:# print (reader)# for record in reader 遍历这2万条数据,这里通过切片只取10条。#切片只取1条for record in reader[:1]: print(record)name = record.namecid = record.cidu_sql = '''UPDATE xgj.classes_out SET school_name = '%s' where ds='%s' and cid = '%s' '''%(name,ds,cid)print(u_sql)# print(name)#odps.execute_sql(u_sql) # 阻塞方法odps.run_sql(u_sql) # 异步方法
异常错误
Please add put { "odps.sql.submit.mode" : "script"} for multi-statement query in settings
想实现拼接多条sql一起执行,报以上的问题,解决方式 参考
sql = '''
UPDATE xgj.classes_out SET school_name = '韩店镇中心小学' where ds='20211110' and cid = '612b34c2996163490ab8adb5' ;
UPDATE xgj.classes_out SET school_name = '山东省泰安市岱岳区开元中学' where ds='20211110' and cid = '5e905a37a499a70e9c5b30f0' ;
UPDATE xgj.classes_out SET school_name = '蔡亭小学' where ds='20211110' and cid = '6147ca898f2bd2cd28739529' ;
'''odps.execute_sql(sql,hints={"odps.sql.submit.mode":"script"})
资料
- 阿里云api
- Pyodps之使用pyodps实现sql的循环
PyODPS 学习 实现查询数据 并更新数据相关推荐
- 学习sql注入:猜测数据库_学习SQL:删除和更新数据SQL最佳实践
学习sql注入:猜测数据库 Deleting and updating data is very common, but if performed without taking care, which ...
- Boost:计算一些tail统计数据,插入数据,更新数据
Boost:计算一些tail统计数据,插入数据,更新数据 实现功能 C++实现代码 实现功能 计算一些tail统计数据,插入数据,更新数据 C++实现代码 #include <iostream& ...
- mysql 先删后增 更新_MySQL 高级操作——新增数据、更新数据、删除数据、查询数据...
新增数据 多数据插入 只要写一次insert指令,但是可以插入多条记录 语法:insert into 表名 [(字段列表)] values (值列表1),(值列表2),(值列表3); 主键冲突 主键冲 ...
- mysql将查到的数据删除_MySQL基本SQL语句之数据插入、删除数据和更新数据 | 旺旺知识库...
一.INSERT插入数据: 方法一:批量插入 基本语法: INSERT INTO tb_name (col1, col2, ...) VALUES (val1, val2, ...)[,(val1, ...
- eclipse给mysql修改表数据_Eclipse中java向数据库中添加数据,更新数据,删除数据...
ASP.NET网页动态添加.更新或删除数据行 看过此篇 http://www.cnblogs.com/insus/p/3247935.html的网友,也许明白Insus.NET是怎样实现动态添加数据行 ...
- MySQL数据库表怎么进行添加数据、更新数据和删除数据操作——MySQL 5.7数据库
文章目录 表的数据操作 一. 表记录的插入 1.使用`insert into| replace`语句添加数据 2.利用`load data`语句将TXT文本数据装入数据库表中 3.使用set子句插入数 ...
- mysql 根据查询结果集更新数据
声明: MySQL4.0之后的版本可以支持下面sql语句进行更新操作 应用场景: 一个表中的字段需要根据查询结果集进行更新,或者从另一表查询获得 其本质还是更新的数据需要查询获得. 例如: user ...
- 前端学习(1339):mongodb更新数据文档
const mongoose = require('mongoose'); mongoose.connect('mongodb://localhost/playground', { useUnifie ...
- MySql 从查询结果中更新数据
个通过外键关联的表 ,将一个表中的内容更新到另一个表中 UPDATE question_extracting_item AS a INNER JOIN (SELECTb.id,b.title_text ...
最新文章
- 【C++】Effective STL:50条有效使用STL的经验
- 爱回收:十年磨一剑,出鞘亮锋芒
- Python 文件的详细操作
- java 运行环境测试_java – 在多个环境中执行JUnit测试的配置
- sqlserver:(1):sqlserver安装超详细
- MySQL 得到数据库的大小
- linux 用户管理、权限管理
- 微波射频工程师必读经典参考书
- MIPS汇编程序设计——Cousera
- ospf中DR/BDR选举及接口网络类型
- 计算机系云,计算机与信息技术学院
- Spark Basics
- 词法解析器 | 从零实现一门语言
- 电商基本功:被小瞧的促销设计,并没有想得那么简单
- ModelSim 修改测量时间显示的单位
- java有参构造_java的有参构造有什么用
- JS 特性:可选链(?.)
- 太极计算机公司介绍ppt,智能家居产业背景研究.ppt
- deepin深度系统安装方法
- 手机消息推送之web端开发