来自原小站,技术含量≈0,翻译整理自Hadoop-The Definitive Guide。

Pig是yahoo捐献给apache的一个项目,它是SQL-like语言,是在MapReduce上构建的一种高级查询语言,把一些运算编译进MapReduce模型的Map和Reduce中,并且用户可以定义自己的功能。这是Yahoo开发的又一个克隆Google的项目:Sawzall。

Pig是一个客户端应用程序,就算你要在Hadoop集群上运行Pig,也不需要在集群上装额外的东西。Pig的安装是灰常的简单的:

1、安装JAVA6(在Windows的话要装Cygwin),设置好JAVA_HOME。

% export JAVA_HOME=/home/tom/jdk1.6

2、到http://hadoop.apache.org/pig/releases.html下载一个稳定的发行版(目前是0.5.0,可以在Hadoop-0.20.*上运行),解压到你的工作空间:

% tar xzf pig-x.y.z.tar.gz

3、为了方便,可以把Pig的程序目录放到命令行路径里,比如:

% export PIG_INSTALL=/home/tom/pig-x.y.z

% export PATH=$PATH:$PIG_INSTALL/bin

注销或重启,你就可以用pig -help来查看使用帮助了,安装够简单吧? :)

Pig有两种模式:

一种是Local mode,也就是本地模式,这种模式下Pig运行在一个JVM里,访问的是本地的文件系统,只适合于小规模数据集,一般是用来体验Pig。而且,它并没有用到Hadoop的Local runner,Pig把查询转换为物理的Plan,然后自己去执行。

在终端下输入

% pig -x local

就可以进入Local模式了。

还有一种就是Hadoop模式了,这种模式下,Pig才真正的把查询转换为相应的MapReduce Jobs,并提交到Hadoop集群去运行,集群可以是真实的分布式也可以是伪分布式。要想Pig能认识Hadoop,你要告诉它Hadoop的版本以及一些关键daemon的信息(也就是Namenode和Jobtracker的Address和Port)。比如,下面这个可以允许Pig连接到任何Hadoop0.20.*上:

% export PIG_HADOOP_VERSION=20

接下来,你还要指明集群的Namenode和Jobtracker的所在。有两种方法,一种就是把你Hadoop的Conf地址添加到Pig的Classpath上:

% export PIG_CLASSPATH=$HADOOP_INSTALL/conf/

还有一种就是在Pig目录的Conf文件夹(可能需要自己创建)里创建一个pig.properties文件,然后在里面添加集群的Namenode和Jobtracker的信息:

fs.default.name=hdfs://localhost/

mapred.job.tracker=localhost:8021

搞定后,在终端执行下面的命令:

% pig

你就会看到下面的信息:

2009-03-29 21:22:20,489 [main] INFO  org.apache.pig.backend.hadoop.executionengine.

HExecutionEngine – Connecting to hadoop file system at: hdfs://localhost/

2009-03-29 21:22:20,760 [main] INFO  org.apache.pig.backend.hadoop.executionengine.

HExecutionEngine – Connecting to map-reduce job tracker at: localhost:8021

grunt>

如你所见,Pig报告已经连上了Hadoop的Namenode和Jobtracker,是不是也灰常的简单?

到此,Pig的安装和配置讲解完毕,是不是很Easy,那还等什么,赶紧去试试,玩玩~

转载于:https://www.cnblogs.com/spork/archive/2009/12/29/1634761.html

Pig安装与配置教程相关推荐

  1. win10安装misql8_Win10下免安装版MySQL8.0.16的安装和配置教程图解

    1.MySQL8.0.16解压 其中dada文件夹和my.ini配置文件是解压后手动加入的,如下图所示 2.新建配置文件my.ini放在D:\Free\mysql-8.0.16-winx64目录下 [ ...

  2. Tomcat安装及配置教程(超详细的图文教程)(亲测)

    Tomcat安装及配置教程(超详细的图文教程) 1.什么是Tomcat Tomcat 服务器是一个免费的开放源代码的Web 应用服务器,属于轻量级应用服务器,在中小型系统和并发访问用户不是很多的场合下 ...

  3. 【Ubuntu】Ubuntu16.04+VMware+Win10安装及配置教程

    Ubuntu16.04+VMware+Win10安装及配置教程   前言:   我之所以使用Ubuntu16.4,既为学Linux操作,也为学习Python.Ubuntu16.4一直以来在虚拟机上都跑 ...

  4. 最新Tomcat安装及配置教程+JavaWeb项目部署

    最新Tomcat安装及配置教程+JavaWeb项目部署 介绍 一.下载安装Tomcat 二.配置环境变量 三.JavaWeb项目发布 四.登录Web查询系统 介绍 此文章为自己在Tomcat配置及项目 ...

  5. mysql5.7.28下载安装_Windows下mysql-5.7.28下载、安装、配置教程

    MySQL 数据库 Windows下mysql-5.7.28下载.安装.配置教程 最近需要更换mysql数据库的版本,写一篇文章,记录一下 一.下载mysql数据库 我这里选择5.7.28-Windo ...

  6. Jmeter安装及配置教程

    Jmeter安装及配置教程 一.JMeter的安装配置过程 二.JMeter的运行和语言设置 一.JMeter的安装配置过程 安装配置过程: 第一步 安装JDK,配置JDK路径 到Oracle官方网站 ...

  7. Tomcat8安装及配置教程

    Apache  Tomcat8.0安装及配置教程... Apache  Tomcat8.0  官方网站链接:http://tomcat.apache.org/ apache-tomcat-8.0.39 ...

  8. Codeblocks安装与配置教程

    Code::blocks安装与配置教程 本人第一次写文章,有写的不好的地方请提出,关于文章内容有什么不懂的也可以问我! 大佬及虐菜人士请自觉离开 ~ 注意! 作者于2022年9月28日尝试进入Code ...

  9. Discuz!论坛程序安装+模板配置教程

    Discuz!论坛程序安装+模板配置教程 Linux系统安装方法: 第一步:检查是否安装apache mysql php ps -ef |grep httpd ps -ef |grep mysql p ...

最新文章

  1. 广西区计算机一级全称是,计算机一级考试(广西区)历年真题-20210412075414.pdf-原创力文档...
  2. 不同路径Python解法
  3. kodi android设置中文,Kodi(原XBMC)
  4. java线程中的task_Java线程(四):Timer和TimerTask
  5. iPhone 12再陷“信号门”:用户称每天需多次重启恢复;蚂蚁集团打新资金退款如期到账;Mutt 2.0 发布|极客头条
  6. Jquery取form表单中的所有参数
  7. 老老实实学WCF] 第五篇 再探通信--ClientBase
  8. 基于springboot+vue的二手商城(闲置物品交易)(前后端分离)
  9. 什么工作经常出差_职场妈妈困扰: 经常出差, 工作孩子该怎么选择?
  10. windows10系统精简:NTlite工具
  11. 80386汇编_全局描述表GDT介绍
  12. 两数求和(C语言超简单解法)
  13. 气功修炼常识之:调息、丹田呼吸、脐呼吸、体呼吸
  14. 孔雀东南飞用mysql存储_社区考试公共基础知识:乐府双璧
  15. linux之ls -l命令详解
  16. QQ安装包内置UE4是什么意义呢?会不会是奔着元宇宙,搭载了虚幻引擎的QQ在渲染数字孪生上表现更强劲?
  17. 商超霸主之争:天猫节节败退 沦为京东陪练
  18. Android开发系列7——icon图标和开机启动页
  19. 快递跨界电商是在“走弯路”
  20. Modbus的常见问题解答:多台设备如何连接?为什么要加终端电阻?RS485总线可挂接多少个设备?在RS485通讯中,最大传输距离是多少?

热门文章

  1. Engineering Department Bulletin News and information for the Department
  2. weather at Cambridge will be fine next week
  3. new uk psw policy
  4. 三月苏州健康小贴士!!!健康生活从我做起
  5. html5 新增属性了解
  6. 【C++拾遗】 从内存布局看C++虚继承的实现原理
  7. 2018-2019-1 20165226 《信息安全系统设计基础》第6周学习总结
  8. 浙江大数据交易中心正式上线
  9. 怎样健身最有效?程序员们可能还需要这些……
  10. Android --修改arr文件