hadoopの動作確認のため、サンプルプログラムを実行してみます。
テキストファイルに表れる単語をカウントするサンプルプログラムがhadoop標準で用意されています。
[hdspark@node01 ~]$ cat a
a a b b b c b c
[hdspark@node01 ~]$ cat b
ab a b b c c c
上記のような2つのテキストファイルを用意します。
[hdspark@node01 ~]$ hadoop fs -put a /input/
[hdspark@node01 ~]$ hadoop fs -put b /input/
[hdspark@node01 ~]$ hadoop fs -ls -R /
drwxr-xr-x - hdspark supergroup 0 2015-12-11 00:59 /input
-rw-r--r-- 1 hdspark supergroup 16 2015-12-11 00:58 /input/a
-rw-r--r-- 1 hdspark supergroup 15 2015-12-11 00:59 /input/b
それぞれをhdfsのinputフォルダに配置します。
[hdspark@node01 ~]$ hadoop jar /opt/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/ /output/
サンプルプログラム/hadoop-mapreduce-examples-2.7.1.jarを実行します。
/inputフォルダに存在するテキストファイルの単語をカウントし、/outputフォルダに結果を出力します。
[hdspark@node01 ~]$ hadoop fs -ls -R /
drwxr-xr-x - hdspark supergroup 0 2015-12-11 00:59 /input
-rw-r--r-- 1 hdspark supergroup 16 2015-12-11 00:58 /input/a
-rw-r--r-- 1 hdspark supergroup 15 2015-12-11 00:59 /input/b
drwxr-xr-x - hdspark supergroup 0 2015-12-11 01:03 /output
-rw-r--r-- 1 hdspark supergroup 0 2015-12-11 01:03 /output/_SUCCESS
-rw-r--r-- 1 hdspark supergroup 17 2015-12-11 01:03 /output/part-r-00000
サンプルプログラム実行後のフォルダ構成です。
part-r-00000に結果が格納されています。
[hdspark@node01 ~]$ hadoop fs -cat /output/*
a 3
ab 1
b 6
c 5
実際に中身を覗いてみた結果です。
テキストファイルに表れる単語をカウントするサンプルプログラムがhadoop標準で用意されています。
[hdspark@node01 ~]$ cat a
a a b b b c b c
[hdspark@node01 ~]$ cat b
ab a b b c c c
上記のような2つのテキストファイルを用意します。
[hdspark@node01 ~]$ hadoop fs -put a /input/
[hdspark@node01 ~]$ hadoop fs -put b /input/
[hdspark@node01 ~]$ hadoop fs -ls -R /
drwxr-xr-x - hdspark supergroup 0 2015-12-11 00:59 /input
-rw-r--r-- 1 hdspark supergroup 16 2015-12-11 00:58 /input/a
-rw-r--r-- 1 hdspark supergroup 15 2015-12-11 00:59 /input/b
それぞれをhdfsのinputフォルダに配置します。
[hdspark@node01 ~]$ hadoop jar /opt/hadoop-2.7.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /input/ /output/
サンプルプログラム/hadoop-mapreduce-examples-2.7.1.jarを実行します。
/inputフォルダに存在するテキストファイルの単語をカウントし、/outputフォルダに結果を出力します。
[hdspark@node01 ~]$ hadoop fs -ls -R /
drwxr-xr-x - hdspark supergroup 0 2015-12-11 00:59 /input
-rw-r--r-- 1 hdspark supergroup 16 2015-12-11 00:58 /input/a
-rw-r--r-- 1 hdspark supergroup 15 2015-12-11 00:59 /input/b
drwxr-xr-x - hdspark supergroup 0 2015-12-11 01:03 /output
-rw-r--r-- 1 hdspark supergroup 0 2015-12-11 01:03 /output/_SUCCESS
-rw-r--r-- 1 hdspark supergroup 17 2015-12-11 01:03 /output/part-r-00000
サンプルプログラム実行後のフォルダ構成です。
part-r-00000に結果が格納されています。
[hdspark@node01 ~]$ hadoop fs -cat /output/*
a 3
ab 1
b 6
c 5
実際に中身を覗いてみた結果です。

コメント