Hadoop源码编译-hadoop-2.0.3-alpha-Linux-CentOS

操作系统:CentOs 1.安装JDK、Maven并设置环境变量 a) JDK安装配置过程省略 b) Maven安装配置过程 下载地址:http://labs.mop.com/apache-mirror/maven/maven-3/3.0.5/binaries/apache-maven-3.0.5-bin.tar.gz 解压即可,并设置MAVEN_HOME,将$MAVEN_HOME/bin 加入PATH 设置本地仓库路径:$MAVEN_HOME/conf/setting.xml <localRepository>/runtu/repo</localRepository>   代理上网的话需…

CDH版本的Maven依赖

文章源自:http://www.th7.cn/Program/java/201411/316694.shtml 之前一直结合Maven开发Hadoop2.2.0的程序,环境换成CDH5.2后报错,发现是Maven依赖库的问题。 之前一直使用 http://mvnrepository.com/ 查找maven依赖,但这类网站只能查到通用的maven依赖,没有包含CDH依赖,还好Cloudera提供了CDH的依赖: http://www.cloudera.com/content/cloudera/en/documentation/core/latest/topics/cdh_vd_cdh…

HDFS的JavaAPI操作

一、搭建环境开发 1.下载maven压缩包,解压 2.在eclipse中配置maven (1)windows > preferences > maven > installation > add > 将解压完的maven添加进去 点击apply 在maven解压目录下找到/conf/settings.xml文件,修改本地存放位置为maven仓库位置 windows > preferences > maven > User setting 等待maven仓库下载安装,安装完毕即可创建maven工程 (2)创建maven工程以…

【Hadoop】IDEA上读取虚拟机上的hdfs的文件

一、建立工程 使用Gradle建立一个普通的Java工程。当然如果你习惯使用Maven,你也可以用Maven。 二、更换镜像 添加依赖 repositories { maven { url 'https://maven.aliyun.com/repository/apache-snapshots' } maven { url 'https://maven.aliyun.com/repository/central' } maven { url 'https://maven.aliyun.com/repository/google' } maven { url 'https://maven.aliyun.com/repository/gradle-…

暂时不想研究hadoop流 先记下来

暂时不想研究hadoop流 先记下来   错误的:hadoop jar /home/hadoop/hadoopcdh/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -input input -output output -mapper /bin/cat -reducer usr/bin/wc   正确的:hadoop jar /home/hadoop/hadoopcdh/contrib/streaming/hadoop-streaming-0.20.2-cdh3u6.jar -input input -output output3 -mapper cat -reducer wc    报错: java.lang.RuntimeEx…

Hadoop环境调试Java程序

最近在看《Hadoop实战》-第四章Hadoop I/O,在运行示例程序时,一些细节的地方遇到了问题,现在整理一下。我的Hadoop环境搭建在虚拟机上,在本机的Eclipse上编写程序。一般我们将编写好的程序拿到Hadoop环境执行,有两种方法: 1.      将程序打成jar拷贝到虚拟机中,通过以下命令执行hadoop  jar来运行: hadoop jar HadoopStudy-0.0.1.jar com.leaf.hadoop.io.SequenceFileWriteDemonumbers.seq 命…

hadoop入门:3.运行简单的MapReduce计算

在$HADOOP_HOME 下有个 jar 包,叫 hadoop-example-1.1.2.jar 执行命令:            hadoop jar hadoop-example-1.1.2.jar aggregatewordcount等都是内置的各种程序。 如何执行这些程序呢? 可以清楚的看到用法,<in> 和 <out>分别是输入路径和输出路径 所以接下来,首先上传一个文件到hdfs: 这时候我们再运行 wordcount 例子,命令如下:            hadoop jar hadoop-examples-1.1.2.…

maven报错Missing artifact jdk.tools:jdk.tools:jar:1.8解决方案

转自:https://blog.csdn.net/qy20115549/article/details/53004779在eclipse中,遇到了Missing artifact jdk.tools:jdk.tools:jar:1.8。其他也没有报错,感到很奇怪。原因:tools.jar包是JDK自带的,pom.xml中以来的包隐式依赖tools.jar包,而tools.jar并未在库中,只需要将tools.jar包添加到jdk库中即可。解决方案:在pom文件中添加如下代码即可。 <dependency> <groupId>jdk.tools<…

hadoop-mapreduce-examples

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.3.0-cdh5.1.0.jar pi 2 5 [root@name01 cmake-2.8.12.2]# hadoop version Hadoop 2.3.0-cdh5.1.0 Subversion git://github.sf.cloudera.com/CDH/cdh.git -r 8e266e052e423af592871e2dfe09d54c03f6a0e8 Compiled by jenkins on 2014-07-12T13:48Z Compiled with protoc 2.5.0 From source with checksum 7ec68264497939dee7ab5b9125…

hadoop中exmaple运行参数分析

2016年07月05日 20:09:28阅读数:2866问题:想像hadoop-example...jar那样用hadoop运行jar  中多个类。通过查找资料,好像没有java -cp 那样的参数就是下面问题1中提到的那样运行参数,但是自带的例子却好像可以用这样的方式运行,例如下面,用参数运行不同的class.hadoop jar hadoop-example*.jar  10 1000000 (好像用投掷飞镖的方式是求pi)hadoop jar hadoop-example*.jar wordcont intput output…

5.map_reduce简单例子与任务运行命令

 wordcount例子public class WordCount {       public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {       private final static IntWritable one = new IntWritable(1);       private Text word = new Text();         public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter…

以jar方式在cdh3u2下运行WordCount

1.编写Map/Reduce/Driver类 Map:hadoop.TokenizerMapper Reduce:hadoop.IntSumReducerDriver:hadoop.WordCount 2.export jar 选择项目>右键/export... > Java/JAR file > 下一步 ,选择相关资源文件和JAR文件名称路径 >下一步 >选择 Main class:hadoop.WordCount >点击 完成 3.准备输入数据 xcloud@xcloud:~/iworkspace/HelloHadoop$ sudo gedit input1.txt [sudo] password for xcloud: x…

初学HADOOP(MAPREDUCE-WORLD COUNT/HIVE/SQOOP)

MAPREDUCE-WORLD COUNT mapreduce-并行处理大数据集的框架 处理机制:JOBTRACKER-TASKTRACKER-JOB-MAP-REDUCE-OUTPUT 主要思想:分而制之 #查看JAR信息 hadoop jar hadoop-mapreduce-examples-2.7.1.jar #在HDFS新建目录 此目录虚拟? hadoop fs -mkdir /input #将服务器的文件拷贝到HDFS目录下 hadoop fs -put input/test.txt /input #执行WORLDCOUNT /output表示使用 HDFS 根目录下的 output 目录存…

YARN指令[官网整理]

【YARN指令(2.2+)】   1、jar:运行jar     “yarn jar <jar-path> [mainClass] args” 2、application:操作application(job)     “yarn application <options>”,其中可选的options有:     -status <appliationId>:查看application的状态。     -list:从AM中列出所有的applicaiton。     -kill <applicationId>:杀死指定的application。   3、node:获取指定node的信息 …

SLF4J: Class path contains multiple SLF4J bindings.

SLF4J: Found binding in [jar:file:/usr/local/hbase/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class]SLF4J: Found binding in [jar:file:/usr/local/hadoop/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar!/org/slf4j/impl/StaticLoggerBinder.class] hadoop下跟hbase下包重复。估计可能是由于重复两个包都没有加载。删除任意一个即可。