HadoopDB GlobalHasher的参数问题

hadoop jar hadoopdb.jar edu.yale.cs.hadoopdb.dataloader.GlobalHasher input_path output_path 10 \| 0

上面的命令是将数据切分到10个分区内，即集群中的10个结点，最后的参数 0是指对每行记录的第一个字段进行hash，可将其视作键值。

下面是edu.yale.cs.hadoopdb.dataloader.GlobalHasher类中的一段代码，可以看到

该全局hasher要求输入四个参数

     //输入 目录FileInputFormat.setInputPaths(conf, new Path(args[0]));// OUTPUT propertiesPath outputPath = new Path(args[1]);HDFSUtil.deletePath(outputPath);FileOutputFormat.setOutputPath(conf, outputPath);//分区数量int partNo = Integer.parseInt(args[2]);conf.setNumReduceTasks(partNo);//分界符conf.set(DELIMITER_PARAM, args[3]);//要hash的字段位置int hashFieldPos = Integer.parseInt(args[4]);conf.setInt(HASH_FIELD_POS_PARAM, hashFieldPos);

HadoopDB GlobalHasher的参数问题相关推荐

在Dockerfile中设置G1垃圾回收器参数
在Dockerfile中设置G1垃圾回收器参数 ENV JAVA_OPTS="\ -server \ -XX:SurvivorRatio=8 \ -XX:+DisableExplicitGC ...
Java Calendar.add()方法的使用，参数含义。指定时间差。
cal.add()方法中的参数含义: 第一个参数如果是1则代表的是对年份操作,2是对月份操作,3是对星期操作,5是对日期操作,11是对小时操作,12是对分钟操作,13是对秒操作,14是对毫秒操作. 第 ...
java带参数的方法笔记_具有Java参数的方法的类声明
类声明可以包含在Java中具有参数的方法.演示此过程的程序如下: 示例class Message { public void messagePrint(String msg) { System.out ...
Gin 框架学习笔记（02）— 参数自动绑定到结构体
参数绑定模型可以将请求体自动绑定到结构体中,目前支持绑定的请求类型有 JSON .XML .YAML 和标准表单 form数据 foo=bar&boo=baz 等.换句话说,只要定义好结构体, ...
VS Code 配置调试参数、launch.json 配置文件属性、task.json 变量替换、自动保存并格式化、空格和制表符、函数调用关系、文件搜索和全局搜索、
1. 生成配置参数对于大多数的调试都需要在当前项目目录下创建一个 lanch.json 文件,位置是在当前项目目录下生成一个 .vscode 的隐藏文件夹,在里面放置一些配置内容,比如:settin ...
VS Code 安装插件、自定义模板、自定义配置参数、自定义主题、配置参数说明、常用的扩展插件
1. 下载和官网教程下载地址:https://code.visualstudio.com/ 官方教程:https://code.visualstudio.com/docs 2. 安装插件安装扩展插 ...
浅显易懂 Makefile 入门（08）— 默认 shell （/bin/sh）、命令回显、make参数（-n 只显示命令但不执行，-s 禁止所有回显）、单行命令、多行命令、并发执行
1. shell 相关 1.1 默认 shell Makefile 所使用的命令是由 shell 命令行组成,他们是一条一条执行的. 多个命令之间要使用分号隔开,Makefile 中的任何命令都要以 ...
Go 学习笔记（65）— Go 中函数参数是传值还是传引用
Go 语言中,函数参数传递采用是值传递的方式.所谓"值传递",就是将实际参数在内存中的表示逐位拷贝到形式参数中.对于像整型.数组.结构体这类类型,它们的内存表示就是它们自身的数据内 ...
Go 学习笔记（61）— Go 高阶函数、函数作为一等公民（函数作为输入参数、返回值、变量）的写法
函数在 Go 语言中属于"一等公民(First-Class Citizen)"拥有"一等公民"待遇的语法元素可以如下使用可以存储在变量中: 可以作为参数传递给 ...

HadoopDB GlobalHasher的参数问题

HadoopDB GlobalHasher的参数问题相关推荐

最新文章

热门文章