5步带你入门GaussDB(DWS)的GDS导入导出

摘要：本篇文档为使用GDS导入示例的具体简单步骤和示例。

本文分享自华为云社区《带你快速入门GDS导入导出，玩转PB级数仓GaussDB(DWS)》，作者： yd_220527686。

1、创建导入目标表

CREATE TABLE tpcds_reasons
(r_reason_sk integer not null,r_reason_id char(16) not null,r_reason_desc char(100)
);

2、创建与目标表一致的外表

#外表中配置了数据源格式信息、GDS服务的访问信息，从而GaussDB(DWS)最终可以通过外表将数据服务器上的数据引流进数据库实表中。

DROP TABLE IF EXISTS foreign_tpcds_reasons;
CREATE FOREIGN TABLE foreign_tpcds_reasons
(r_reason_sk integer not null,r_reason_id char(16) not null,r_reason_desc char(100)
)SERVER gsmpp_serverOPTIONS
(
LOCATION 'gsfs://127.0.0.1:8780/*',
FORMAT 'CSV' ,
DELIMITER ',',
ENCODING 'utf8',
HEADER 'false',
FILL_MISSING_FIELDS 'true',
IGNORE_EXTRA_DATA 'true'
);

创建成功后可以使用alter修改表的属性，示例如下：

alter foreign table foreign_tpcds_reasons options(set  quote  '"');

3、启动本地gds

gds -d dir -p ip:port -H address_string -l log_file -D

注意端口号与外表端口号一致，示例如下：

gds -d /input_data/ -D -p 127.0.0.1:8780 -l /CodeHub/gds_log.txt -H 0/0 -t 10 -D

4、执行导入

INSERT INTO [目标表名] SELECT * FROM [foreign table 表名];

出现INSERT 0 3类信息表示数据导入成功，示例如下：

INSERT INTO tpcds_reasons SELECT * FROM foreign_tpcds_reasons;

5、tips

设置\set VERBOSITY verbose可看到导入失败的更多信息，包括gauss-00000类型错误码，SQLSTATE，以及HINT等信息

导入数据类型需与外表的各个参数做对应，比如：FORMAT为csv文件，以空格做字段分割，在外表创建时，DELIMITER需以空格为分割符

本篇文档为使用GDS导入示例的具体简单步骤和示例，如需详细介绍及参数说说明，请参考DWS产品文档。

点击关注，第一时间了解华为云新鲜技术~

5步带你入门GaussDB(DWS)的GDS导入导出相关推荐

Gaussdb(DWS) 迁移工具GDS介绍及搭建使用
一.GDS迁移工具介绍 GDS是Gaussdb(DWS)提供的数据迁移工具,面对大量数据可实现数据的高速导入,GDS一般需要部署到单独服务器上(也可以部署到数据服务器上),面对大数据量,可在多台服务器 ...
一文带你了解GaussDB(DWS) 的Roach逻辑备份实现原理
摘要:Roach工具是GaussDB(DWS)推出的一款主力的备份恢复工具,包含物理与逻辑备份两种主要能力,本文着重于讲解Roach逻辑备份的实现原理. 一.简介在大数据时代,数据的完整和可靠性成为 ...
GaussDB(DWS)介绍
数据仓库服务(Data Warehouse Service,GaussDB(DWS))是一种基于公有云基础架构和平台的在线数据处理数据库,提供即开即用.可扩展且完全托管的分析型数据库服务. 1. 简介 ...
华为云原生之数据仓库服务GaussDB(DWS)的深度使用与应用实践
一.GaussDB(DWS)简介 ① 什么是 GaussDB(DWS)? 数据仓库服务 GaussDB(DWS) 是一种基于华为云基础架构和平台的在线数据处理数据库,提供即开即用.可扩展且完全托管的分 ...
Dws同步mysql数据_数据库技术丨GaussDB(DWS)数据同步状态查看方法
摘要:针对数据同步状态查看方法,GaussDB(DWS)提供了丰富的系统函数.视图.工具等可以直观地对同步进度进行跟踪,尤其是为方便定位人员使用,gs_ctl工具已集合了大部分相关系统函数的调用,可做 ...
oracle迁移至gaussdb,GaussDB for DWS 数据融合系列第九期：Oracle数据迁移到GaussDB(DWS)...
当客户选择切换到GaussDB(DWS)数据库后可能会面临数据库的迁移任务,数据库迁移包括用户数据迁移和应用程序sql脚本迁移,其中,应用程序sql脚本迁移是一个复杂.高风险且耗时的过程. DSC(D ...
GaussDB(DWS)中共享消息队列实现的三大功能
摘要:本文将详细介绍GaussDB(DWS)中共享消息队列的实现. 本文分享自华为云社区<GaussDB(DWS)CBB组件之共享消息队列介绍>,作者:疯狂朔朔. 1)共享消息队列是什么? ...
云小课｜打造企业数据“高内聚，低耦合”--试试GaussDB(DWS)逻辑集群，实现数据物理隔离
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要:逻辑集群是基于No ...
云小课｜大数据时代的隐私利器-GaussDB(DWS)数据脱敏
阅识风云是华为云信息大咖,擅长将复杂信息多元化呈现,其出品的一张图(云图说).深入浅出的博文(云小课)或短视频(云视厅)总有一款能让您快速上手华为云.更多精彩内容请单击此处. 摘要: 数据仓库服务Ga ...