HadoopでPython使ってテストしてみた - その２
前回の続き
Pythonで[mapper]と[reducer]を作ったところから
ファイルシステムのフォーマットを行います。
hadoop@ubuntu-vm:~$ hadoop namenode -format
hadoop@ubuntu-vm:~$ start-all.sh
hadoop@ubuntu-vm:~$ jps
9258 TaskTracker
9043 SecondaryNameNode
17131 Jps
8885 DataNode
8751 NameNode
9122 JobTracker
jpsコマンドが上記のようになっていればOKです。
今度は[HDFS]というファイルシステムに前回作ったサンプルデータを登録します。
データ量が多い場合は時間が結構かかります。
hadoop@ubuntu-vm:~$ hadoop dfs -copyFromLocal input input
ファイルシステムに登録されたファイルの確認。
hadoop@ubuntu-vm:~$ hadoop dfs -lsr
drwxr-xr-x - hadoop supergroup 0 2009-12-15 18:12 /user/hadoop/input
-rw-r--r-- 1 hadoop supergroup 96 2009-12-15 18:11 /user/hadoop/input/example.tsv
で、やっと実行です。
hadoop@ubuntu-vm:~$ hadoop jar contrib/streaming/hadoop-0.20.1-streaming.jar \
-mapper /usr/local/hadoop/work/python/map.py \
-reducer /usr/local/hadoop/work/python/reduce.py \
-input input \
-output output
packageJobJar: [/tmp/hadoop-hadoop/hadoop-unjar2202646462728913956/] [] /tmp/streamjob1294070877681960957.jar tmpDir=null
09/12/15 18:13:43 INFO mapred.FileInputFormat: Total input paths to process : 1
09/12/15 18:13:44 INFO streaming.StreamJob: getLocalDirs(): [/tmp/hadoop-hadoop/mapred/local]
09/12/15 18:13:44 INFO streaming.StreamJob: Running job: job_200912151157_0005
09/12/15 18:13:44 INFO streaming.StreamJob: To kill this job, run:
09/12/15 18:13:44 INFO streaming.StreamJob: /usr/local/hadoop/bin/../bin/hadoop job -Dmapred.job.tracker=localhost:9001 -kill job_200912151157_0005
09/12/15 18:13:44 INFO streaming.StreamJob: Tracking URL: http://localhost:50030/jobdetails.jsp?jobid=job_200912151157_0005
09/12/15 18:13:45 INFO streaming.StreamJob: map 0% reduce 0%
09/12/15 18:13:58 INFO streaming.StreamJob: map 100% reduce 0%
09/12/15 18:14:13 INFO streaming.StreamJob: map 100% reduce 100%
09/12/15 18:14:16 INFO streaming.StreamJob: Job complete: job_200912151157_0005
09/12/15 18:14:16 INFO streaming.StreamJob: Output: output
処理結果の確認。
hadoop@ubuntu-vm:~$ hadoop dfs -lsr
drwxr-xr-x - hadoop supergroup 0 2009-12-15 18:12 /user/hadoop/input
-rw-r--r-- 1 hadoop supergroup 96 2009-12-15 18:11 /user/hadoop/input/example.tsv
drwxr-xr-x - hadoop supergroup 0 2009-12-15 18:14 /user/hadoop/output
drwxr-xr-x - hadoop supergroup 0 2009-12-15 18:13 /user/hadoop/output/_logs
drwxr-xr-x - hadoop supergroup 0 2009-12-15 18:13 /user/hadoop/output/_logs/history
-rw-r--r-- 1 hadoop supergroup 17173 2009-12-15 18:13 /user/hadoop/output/_logs/history/localhost_1260845857887_job_200912151157_0005_conf.xml
-rw-r--r-- 1 hadoop supergroup 8986 2009-12-15 18:13 /user/hadoop/output/_logs/history/localhost_1260845857887_job_200912151157_0005_hadoop_streamjob1294070877681960957.jar
-rw-r--r-- 1 hadoop supergroup 74 2009-12-15 18:14 /user/hadoop/output/part-00000
中身を見てみる。
hadoop@ubuntu-vm:~$ hadoop dfs -cat /user/hadoop/output/part-00000
[ test ] : 4
[ aaaa ] : 2
[ bbbbb ] : 1
[ hagaeru3sei ] : 2
[ mochi ] : 2
おおおおお！！！できた！！！
次回はデータ量を増やしてAmazon S3とか使ってテストしてみたいと思います。
