SingleStore数据库（mysql分布式）-装载TPCH数据

一、测试环境

名称	版本
操作系统	Red Hat Enterprise Linux Server release 7.9 (Maipo)
CPU	Intel® Core™ i7-7700HQ CPU @ 2.80GHz
内存	5G
TPCH工具	2.14.0

二、TPCH工具下载地址

1、TPCH工具官方下载地址

2、百度云盘链接

链接：https://pan.baidu.com/s/1VZHKCrk1JsKWLrpbeanbBg
提取码：y6sa

三、生成20G测试数据

unzip tpch_dbgen_linux64-2.14.0.zipcd tpch_dbgen_linux64/chmod 777 dbgen[root@xdw0 tpch_dbgen_linux64]# ./dbgen -vf -s 20
TPC-H Population Generator (Version 2.14.0)
Copyright Transaction Processing Performance Council 1994 - 2010
Generating data for suppliers table/
Preloading text ... 100%
done.
Generating data for customers tabledone.
Generating data for orders/lineitem tablesdone.
Generating data for part/partsupplier tablesdone.
Generating data for nation tabledone.
Generating data for region tabledone.[root@xdw0 tpch_dbgen_linux64]# ll
-rw-r--r--. 1 root root        1180 2月  27 2012 buildall
-rw-r--r--. 1 root root   490806602 5月   2 11:34 customer.tbl
-rwxrwxrwx. 1 root root      124297 2月  27 2012 dbgen
-rw-r--r--. 1 root root       11815 2月  27 2012 dists.dss
-rw-r--r--. 1 root root 15685400985 5月   2 11:34 lineitem.tbl
-rw-r--r--. 1 root root        2224 5月   2 11:34 nation.tbl
-rw-r--r--. 1 root root  3517488366 5月   2 11:34 orders.tbl
-r-sr-S--T. 1 root root  2422915386 5月   2 11:34 partsupp.tbl
-rw-r--r--. 1 root root   487760640 5月   2 11:34 part.tbl
-rw-r--r--. 1 root root         389 5月   2 11:34 region.tbl
-rw-r--r--. 1 root root    28471512 5月   2 11:34 supplier.tbl[root@xdw0 tpch_dbgen_linux64]# du -sh ../
22G ../

生成的8个tbl文件修改为csv结尾，下面的例子都以lineitem表为例，其他表可以以此为参考。

mv lineitem.tbl lineitem.csv

四、SingleStore建表及管道

--1
CREATE TABLE LINEITEM
(L_ORDERKEY           BIGINT NOT NULL,
L_PARTKEY            INT NOT NULL,
L_SUPPKEY            INT NOT NULL,
L_LINENUMBER         INT NOT NULL,
L_QUANTITY           FLOAT NOT NULL,
L_EXTENDEDPRICE      FLOAT NOT NULL,
L_DISCOUNT           FLOAT NOT NULL,
L_TAX                FLOAT NOT NULL,
L_RETURNFLAG         CHAR(1) NOT NULL,
L_LINESTATUS         CHAR(1) NOT NULL,
L_SHIPDATE           DATE NOT NULL,
L_COMMITDATE         DATE NOT NULL,
L_RECEIPTDATE        DATE NOT NULL,
L_SHIPINSTRUCT       CHAR(25) NOT NULL,
L_SHIPMODE           CHAR(10) NOT NULL,
L_COMMENT            VARCHAR(44) NOT NULL,
key(L_ORDERKEY,L_LINENUMBER) using clustered columnstore);--2
SET GLOBAL pipelines_stop_on_error = false;--3
CREATE PIPELINE LINEITEM_PIP AS LOAD DATA FS '/home/test/tpch/lineitem.csv' INTO TABLE LINEITEM FIELDS TERMINATED BY '|' lines TERMINATED BY '|\n';--4
START PIPELINE LINEITEM_PIP;--5
SHOW PIPELINES;
+------------------+---------+-----------+
| Pipelines_in_czg | State   | Scheduled |
+------------------+---------+-----------+
| LINEITEM_PIP     | Running | False     |
+------------------+---------+-----------+
1 row in set (0.00 sec)--6
select count(*) from LINEITEM;
+-----------+
| count(*)  |
+-----------+
| 119994608 |
+-----------+
1 row in set (0.00 sec)

SingleStore数据库（mysql分布式）-装载TPCH数据相关推荐

MySQL数据库——MySQL INSERT：插入数据（添加数据）
数据库与表创建成功以后,需要向数据库的表中插入数据.在 MySQL 中可以使用 INSERT 语句向数据库已有的表中插入一行或者多行元组数据. 基本语法 INSERT 语句有两种语法形式,分别是 IN ...
数据库Mysql基础------第一部分数据的准备与基础命令
一.初识数据库一.为什么要用数据库? 数据库(Database)是按照数据结构来组织.存储和管理数据的仓库数据库随时随地的存在,并且使用,简单的说,数据库就是收集数据的结构.数据涉及很多,例如一个 ...
WordPress的MySQL宕_wordpress数据库mysql使用phpmyadmin打开数据表，提示table “xxx” doesn`t exist...
最近几个vps上面的站点,搭配的宝塔,mysql总是随机宕掉.不知道确切的原因.查看了一下mysql的日志.显示一些错误如下: [Warning] InnoDB: Cannot open table ...
MySQL数据库——MySQL UPDATE：修改数据（更新数据）
在 MySQL 中,可以使用 UPDATE 语句来修改.更新一个或多个表的数据. UPDATE 语句的基本语法使用 UPDATE 语句修改单个表,语法格式为: UPDATE <表名> S ...
2023最新手机归属地数据库mysql,近49w条数据
最新手机号段归属地数据库最新手机号段数据库号码归属地数据库移动号段联通号段电信号段广电号段虚拟运营商字段有省份城市运营商区号邮编,对于数据分析.号码归属地查询等非常有帮助 ...
数据库 mysql 表设计，数据删除
文章目录视频表设计一对一一对一,附加表加外键,外键唯一. 一对多一对多,两张表,多的表加外键多对多多对多,三张表,关系表两个外键表删除数据先删除子表(外键),再删除父表(主键) 视频 ...
数据库 mysql 删除一列数据
1.不删除字段,只更新其中的内容在数据库中其实叫做更新(update) 语句如下: update 表 set 字段=null 2.删除字段语句如下: alter table 表 drop colu ...
4/5 MySQL入门总结：数据表（TABLE）操作
数据表操作数据表(或称表)是数据库最重要的组成部分之一,是其它对象的基础. 行:记录列:字段说明操作打开数据库 mysql> USE db_name; 查看数据表列表 mysql> ...
lua mysql 事务_Lua 操作数据库(MySQL)
Lua 操作数据库(MySQL) 对于简单的数据操作,我们可以使用文件,但是,有时这些文件操作可能效率不高.可扩展性和功能不够强大.为此,我们通常会切换到数据库.LuaSQL提供从Lua到数据库管理系 ...

SingleStore数据库（mysql分布式）-装载TPCH数据

SingleStore数据库（mysql分布式）-装载TPCH数据相关推荐

最新文章

热门文章