Pig安装与配置教程
来自原小站,技术含量≈0,翻译整理自Hadoop-The Definitive Guide。
Pig是yahoo捐献给apache的一个项目,它是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。
Pig是一个客户端应用程序,就算你要在Hadoop集群上运行Pig,也不需要在集群上装额外的东西。Pig的安装是灰常的简单的:
1、安装JAVA6(在Windows的话要装Cygwin),设置好JAVA_HOME。
% export JAVA_HOME=/home/tom/jdk1.6
2、到http://hadoop.apache.org/pig/releases.html下载一个稳定的发行版(目前是0.5.0,可以在Hadoop-0.20.*上运行),解压到你的工作空间:
% tar xzf pig-x.y.z.tar.gz
3、为了方便,可以把Pig的程序目录放到命令行路径里,比如:
% export PIG_INSTALL=/home/tom/pig-x.y.z
% export PATH=$PATH:$PIG_INSTALL/bin
注销或重启,你就可以用pig -help来查看使用帮助了,安装够简单吧? :)
Pig有两种模式:
一种是Local mode,也就是本地模式,这种模式下Pig运行在一个JVM里,访问的是本地的文件系统,只适合于小规模数据集,一般是用来体验Pig。而且,它并没有用到Hadoop的Local runner,Pig把查询转换为物理的Plan,然后自己去执行。
在终端下输入
% pig -x local
就可以进入Local模式了。
还有一种就是Hadoop模式了,这种模式下,Pig才真正的把查询转换为相应的MapReduce Jobs,并提交到Hadoop集群去运行,集群可以是真实的分布式也可以是伪分布式。要想Pig能认识Hadoop,你要告诉它Hadoop的版本以及一些关键daemon的信息(也就是Namenode和Jobtracker的Address和Port)。比如,下面这个可以允许Pig连接到任何Hadoop0.20.*上:
% export PIG_HADOOP_VERSION=20
接下来,你还要指明集群的Namenode和Jobtracker的所在。有两种方法,一种就是把你Hadoop的Conf地址添加到Pig的Classpath上:
% export PIG_CLASSPATH=$HADOOP_INSTALL/conf/
还有一种就是在Pig目录的Conf文件夹(可能需要自己创建)里创建一个pig.properties文件,然后在里面添加集群的Namenode和Jobtracker的信息:
fs.default.name=hdfs://localhost/
mapred.job.tracker=localhost:8021
搞定后,在终端执行下面的命令:
% pig
你就会看到下面的信息:
2009-03-29 21:22:20,489 [main] INFO org.apache.pig.backend.hadoop.executionengine.
HExecutionEngine – Connecting to hadoop file system at: hdfs://localhost/
2009-03-29 21:22:20,760 [main] INFO org.apache.pig.backend.hadoop.executionengine.
HExecutionEngine – Connecting to map-reduce job tracker at: localhost:8021
grunt>
如你所见,Pig报告已经连上了Hadoop的Namenode和Jobtracker,是不是也灰常的简单?
到此,Pig的安装和配置讲解完毕,是不是很Easy,那还等什么,赶紧去试试,玩玩~
转载于:https://www.cnblogs.com/spork/archive/2009/12/29/1634761.html
Pig安装与配置教程相关推荐
- win10安装misql8_Win10下免安装版MySQL8.0.16的安装和配置教程图解
1.MySQL8.0.16解压 其中dada文件夹和my.ini配置文件是解压后手动加入的,如下图所示 2.新建配置文件my.ini放在D:\Free\mysql-8.0.16-winx64目录下 [ ...
- Tomcat安装及配置教程(超详细的图文教程)(亲测)
Tomcat安装及配置教程(超详细的图文教程) 1.什么是Tomcat Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下 ...
- 【Ubuntu】Ubuntu16.04+VMware+Win10安装及配置教程
Ubuntu16.04+VMware+Win10安装及配置教程 前言: 我之所以使用Ubuntu16.4,既为学Linux操作,也为学习Python.Ubuntu16.4一直以来在虚拟机上都跑 ...
- 最新Tomcat安装及配置教程+JavaWeb项目部署
最新Tomcat安装及配置教程+JavaWeb项目部署 介绍 一.下载安装Tomcat 二.配置环境变量 三.JavaWeb项目发布 四.登录Web查询系统 介绍 此文章为自己在Tomcat配置及项目 ...
- mysql5.7.28下载安装_Windows下mysql-5.7.28下载、安装、配置教程
MySQL 数据库 Windows下mysql-5.7.28下载.安装.配置教程 最近需要更换mysql数据库的版本,写一篇文章,记录一下 一.下载mysql数据库 我这里选择5.7.28-Windo ...
- Jmeter安装及配置教程
Jmeter安装及配置教程 一.JMeter的安装配置过程 二.JMeter的运行和语言设置 一.JMeter的安装配置过程 安装配置过程: 第一步 安装JDK,配置JDK路径 到Oracle官方网站 ...
- Tomcat8安装及配置教程
Apache Tomcat8.0安装及配置教程... Apache Tomcat8.0 官方网站链接:http://tomcat.apache.org/ apache-tomcat-8.0.39 ...
- Codeblocks安装与配置教程
Code::blocks安装与配置教程 本人第一次写文章,有写的不好的地方请提出,关于文章内容有什么不懂的也可以问我! 大佬及虐菜人士请自觉离开 ~ 注意! 作者于2022年9月28日尝试进入Code ...
- Discuz!论坛程序安装+模板配置教程
Discuz!论坛程序安装+模板配置教程 Linux系统安装方法: 第一步:检查是否安装apache mysql php ps -ef |grep httpd ps -ef |grep mysql p ...
最新文章
- 广西区计算机一级全称是,计算机一级考试(广西区)历年真题-20210412075414.pdf-原创力文档...
- 不同路径Python解法
- kodi android设置中文,Kodi(原XBMC)
- java线程中的task_Java线程(四):Timer和TimerTask
- iPhone 12再陷“信号门”:用户称每天需多次重启恢复;蚂蚁集团打新资金退款如期到账;Mutt 2.0 发布|极客头条
- Jquery取form表单中的所有参数
- 老老实实学WCF] 第五篇 再探通信--ClientBase
- 基于springboot+vue的二手商城(闲置物品交易)(前后端分离)
- 什么工作经常出差_职场妈妈困扰: 经常出差, 工作孩子该怎么选择?
- windows10系统精简:NTlite工具
- 80386汇编_全局描述表GDT介绍
- 两数求和(C语言超简单解法)
- 气功修炼常识之:调息、丹田呼吸、脐呼吸、体呼吸
- 孔雀东南飞用mysql存储_社区考试公共基础知识:乐府双璧
- linux之ls -l命令详解
- QQ安装包内置UE4是什么意义呢?会不会是奔着元宇宙,搭载了虚幻引擎的QQ在渲染数字孪生上表现更强劲?
- 商超霸主之争:天猫节节败退 沦为京东陪练
- Android开发系列7——icon图标和开机启动页
- 快递跨界电商是在“走弯路”
- Modbus的常见问题解答:多台设备如何连接?为什么要加终端电阻?RS485总线可挂接多少个设备?在RS485通讯中,最大传输距离是多少?
热门文章
- Engineering Department Bulletin News and information for the Department
- weather at Cambridge will be fine next week
- new uk psw policy
- 三月苏州健康小贴士!!!健康生活从我做起
- html5 新增属性了解
- 【C++拾遗】 从内存布局看C++虚继承的实现原理
- 2018-2019-1 20165226 《信息安全系统设计基础》第6周学习总结
- 浙江大数据交易中心正式上线
- 怎样健身最有效?程序员们可能还需要这些……
- Android --修改arr文件