一、内容

1、安装eclipse

2、安装eclipse-hadoop-plugin

3、配置hadoop插件

4、运行wordcount程序

二、步骤

将eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gz放到/root/目录下,然后解压得到eclipse目录

命令:tar -xvf eclipse-standard-kepler-SR2-linux-gtk-x86_64.tar.gz

下载hadoop2x-eclipse-plugin  

地址:https://github.com/winghc/hadoop2x-eclipse-plugin

 

然后解压后放到/root/目录下

将文件放入/root/目录下,保证eclipse, hadoop2x-eclipse-plugin, hadoop-2.5.2都存在

 

eclipse环境配置

1,将编译好的hadoop-eclipse-plugin-2.5.2.jar拷贝至eclipse的plugins目录下,然后重启eclipse

 

2,打开菜单Window--Preference--Hadoop Map/Reduce进行配置,如下图所示:

 

3,显示Hadoop连接配置窗口:Window--OpenPerspective--Other-MapReduce,如下图所示

 

  1. 配置连接Hadoop,如下图所示:

 

查看是否连接成功,能看到如下信息,则表示连接成功:

在HDFS建立新目录并上传自己创建的几个文本,上传后如下:

 

新建MapReduce项目:

 

Finish生成项目如下,建立WordCount.Java类

 

 

创建WordCount.java类,输入几行简单代码先运行起来

 

 

配置Run Configuration 参数:

hdfs://localhost:9000/user/dat/input

hdfs://localhost:9000/user/dat/output

 

设置Main

 

设置Arguments

 

 

 

运行结果

接下来新建如下3个文件

然后Run on Hadoop

 

 

运行结果

 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐