PyODPS是MaxCompute的Python版本的SDK,提供简单方便的Python编程接口。PyODPS支持类似Pandas的快速、灵活和富有表现力的数据结构。您可以通过PyODPS提供的DataFrame API使用Pandas的数据结果处理功能。本文用于帮助您快速开始使用PyODPS,并且能够用于实际项目。

Pyodps提供了两种执行SQL语句的方法,execute_sql与run_sql,前者会阻塞调起SQL实例,而后者是不会阻塞的,可实现并行

from odps import ODPS
import sys
reload(sys)
#修改系统默认编码 查询出的中文乱吗解决
sys.setdefaultencoding("utf-8")# print ('ds=' + args['bizdate'])
ds = args['bizdate']
sql = 'select c.cid,l.name from xgj.classes_out as c ,xgj.locations_deal as l where c.ds ='+ds+' and l.ds = '+ds+ ' and c.cid = l.cls_id'
instance = o.execute_sql(sql)
with instance.open_reader() as reader:# print (reader)# for record in reader 遍历这2万条数据,这里通过切片只取10条。#切片只取1条for record in reader[:1]:   print(record)name = record.namecid = record.cidu_sql = '''UPDATE  xgj.classes_out SET school_name = '%s'  where ds='%s' and  cid = '%s' '''%(name,ds,cid)print(u_sql)# print(name)#odps.execute_sql(u_sql) # 阻塞方法odps.run_sql(u_sql)   # 异步方法

异常错误

Please add put { "odps.sql.submit.mode" : "script"} for multi-statement query in settings

想实现拼接多条sql一起执行,报以上的问题,解决方式 参考

sql = '''
UPDATE  xgj.classes_out SET school_name = '韩店镇中心小学'  where ds='20211110' and  cid = '612b34c2996163490ab8adb5' ;
UPDATE  xgj.classes_out SET school_name = '山东省泰安市岱岳区开元中学'  where ds='20211110' and  cid = '5e905a37a499a70e9c5b30f0' ;
UPDATE  xgj.classes_out SET school_name = '蔡亭小学'  where ds='20211110' and  cid = '6147ca898f2bd2cd28739529' ;
'''odps.execute_sql(sql,hints={"odps.sql.submit.mode":"script"})

资料

  • 阿里云api
  • Pyodps之使用pyodps实现sql的循环

PyODPS 学习 实现查询数据 并更新数据相关推荐

  1. 学习sql注入:猜测数据库_学习SQL:删除和更新数据SQL最佳实践

    学习sql注入:猜测数据库 Deleting and updating data is very common, but if performed without taking care, which ...

  2. Boost:计算一些tail统计数据,插入数据,更新数据

    Boost:计算一些tail统计数据,插入数据,更新数据 实现功能 C++实现代码 实现功能 计算一些tail统计数据,插入数据,更新数据 C++实现代码 #include <iostream& ...

  3. mysql 先删后增 更新_MySQL 高级操作——新增数据、更新数据、删除数据、查询数据...

    新增数据 多数据插入 只要写一次insert指令,但是可以插入多条记录 语法:insert into 表名 [(字段列表)] values (值列表1),(值列表2),(值列表3); 主键冲突 主键冲 ...

  4. mysql将查到的数据删除_MySQL基本SQL语句之数据插入、删除数据和更新数据 | 旺旺知识库...

    一.INSERT插入数据: 方法一:批量插入 基本语法: INSERT INTO tb_name (col1, col2, ...) VALUES (val1, val2, ...)[,(val1, ...

  5. eclipse给mysql修改表数据_Eclipse中java向数据库中添加数据,更新数据,删除数据...

    ASP.NET网页动态添加.更新或删除数据行 看过此篇 http://www.cnblogs.com/insus/p/3247935.html的网友,也许明白Insus.NET是怎样实现动态添加数据行 ...

  6. MySQL数据库表怎么进行添加数据、更新数据和删除数据操作——MySQL 5.7数据库

    文章目录 表的数据操作 一. 表记录的插入 1.使用`insert into| replace`语句添加数据 2.利用`load data`语句将TXT文本数据装入数据库表中 3.使用set子句插入数 ...

  7. mysql 根据查询结果集更新数据

    声明: MySQL4.0之后的版本可以支持下面sql语句进行更新操作 应用场景: 一个表中的字段需要根据查询结果集进行更新,或者从另一表查询获得 其本质还是更新的数据需要查询获得. 例如: user ...

  8. 前端学习(1339):mongodb更新数据文档

    const mongoose = require('mongoose'); mongoose.connect('mongodb://localhost/playground', { useUnifie ...

  9. MySql 从查询结果中更新数据

    个通过外键关联的表 ,将一个表中的内容更新到另一个表中 UPDATE question_extracting_item AS a INNER JOIN (SELECTb.id,b.title_text ...

最新文章

  1. 【C++】Effective STL:50条有效使用STL的经验
  2. 爱回收:十年磨一剑,出鞘亮锋芒
  3. Python 文件的详细操作
  4. java 运行环境测试_java – 在多个环境中执行JUnit测试的配置
  5. sqlserver:(1):sqlserver安装超详细
  6. MySQL 得到数据库的大小
  7. linux 用户管理、权限管理
  8. 微波射频工程师必读经典参考书
  9. MIPS汇编程序设计——Cousera
  10. ospf中DR/BDR选举及接口网络类型
  11. 计算机系云,计算机与信息技术学院
  12. Spark Basics
  13. 词法解析器 | 从零实现一门语言
  14. 电商基本功:被小瞧的促销设计,并没有想得那么简单
  15. ModelSim 修改测量时间显示的单位
  16. java有参构造_java的有参构造有什么用
  17. JS 特性:可选链(?.)
  18. 太极计算机公司介绍ppt,智能家居产业背景研究.ppt
  19. deepin深度系统安装方法
  20. 手机消息推送之web端开发

热门文章

  1. 小程序地图的使用笔记
  2. JavaSE--jdom解析之bom
  3. UITextField 限制用户输入小数点后位数的方法
  4. 解决cocos2dx 3.x 导入cocostudio的ui界面出现错位问题
  5. 微软职位内部推荐-Senior Software Engineer-Eco
  6. 5招全面扫描网站页面的质量
  7. Flink在美团的应用与实践听课笔记
  8. apache日志分析简介
  9. 一些JSON相关的函数
  10. asp.net 对xml文件的读写,添加,修改,删除操作