IntelliJ IDEA 运行 Hadoop 程序

安装 JDK 和 IntelliJ IDEA

略

下载 Hadoop

下载地址：http://mirror.metrocast.net/apache/hadoop/common/

wget http://mirror.metrocast.net/apache/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

tar -xvf hadoop-2.7.3.tar.gz

编写 Hadoop 程序并运行

创建 Java 项目

1. 点击 File → New → Project...
   
2. 点击 next
3. 点击 next
4. 设置 Project name 和 Project location
   
5. 点击 Finish

编写程序代码

代码：单词计数

引入 Hadoop 相关的 jar

1. 点击 File → Project Structure...
2. 点击左侧 Modules
3. 点击 + → 1 JARs or directories...
   
   
   
   
   
4. 添加 Hadoop → share → hadoop 下相应的目录
   
5. 点击 OK

添加 Artifacts

1. 点击 File → Project Structure...
2. 点击左侧 Artifacts
3. 点击 + → JAR → Empty
   
4. 修改 Name 为 HadoopDemo
5. 点击 + → Module Output 并选中 HadoopDemo 点击 OK
   
6. 勾选 Build on make
   
7. 点击 OK

添加 Configurations

1. 点击 Edit Configurations...
   
2. 点击 + → Application
   
   
   
   
   
3. 修改 Name 为 HadoopDemo
4. 修改 Main Class 为 org.apache.hadoop.util.RunJar
5. 修改 Program arguments

/Users/mubai/iKYXXS/HadoopDemo/out/artifacts/HadoopDemo/HadoopDemo.jar
com.demo.WordCount
input/
output/

6. 点击 OK

添加测试数据

1. 新建目录 input
2. 新建文件 input.txt

hello world
hello world
hello hadoop

运行

查看运行结果

运行结果在 output 目录下