완전 분산 모드 설치

호스트 파일 수정

$vi /etc/hosts

ip 호스트명1

ip 호스트명1

ip 호스트명1

ip 호스트명1 

인코딩 방식 확인 

echo $LANG

ssh 공개키 만들기

$ ssh-keygen -t rsa

공개키 복사

$ ssh-copy-id -i [복사경로] [계정]@[호스트]

(경로는 계정 홉디렉토리에서 is_rsa.pub 로 지정한다]

하둡 다운로드

hadoop.apache.org 에서 다운로드

압축 해제후 환경변수 설정(저같은 경우 홈에 .bash_profile 사용)

export HADOOP_HOME=하둡경로

export PATH=$PATH:$HADOOP_HOME/bin

하둡 환경설정

hadoop-env.sh (하둡실행에 필요한 환경변수 설정)

vi $HADOOP_HOME/conf/hadoop-env.sh

export JAVA_HOME=자바 경로

export HADOOP_HOME_WARN_SUPPRESS="TRUE"  // 하둡 warnning error 잡아줌

masters(보조 네임노드)\

vi $HADOOP_HOME/conf/masters

네임노드로 설정할 호스트명

slaves(데이터 노드)

vi $HADOOP_HOME/conf/slaves

데이터노드로 설정할 호스트명

core-site.xml(hdfs와 mapred 공통 설정)

<property>

<name>fs.default.name</name> <!--네임노드의 기본 이름 -->

<value>hdfs://네임노드호스트명:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name> <!--임시데이터 저장장소-->

<value>계정홈디렉토리/hadoop-data</value>

</property>

hdfs-site.xml(hdfs설정)

<property>

<name>dfs.replication</name> <!--데이터 복제수 -->

<value>3</value>

</property>

<property>

<name>dfs.http.address</name> <!-- hdfs를 보여줄 네임노드 주소 -->

<value>네임노드:50070</value>

</property>

<property>

<name>dfs.secondary.httpp.address</name> <!--세컨더리 네임노드 주소 -->

<value>보조네임노드:50090</value>

</property>

mapred-site.xml(mapreduce 설정)

<property>

<name>mapred.job.tracker</name> <!--보조네임노드 이름 -->

<value>네임노드:9001</value>

</property>

방화벽 해제

service iptables stop

chkconfig iptables off

네임노드 포맷

hadoop namenoce -format

*데이터노드가 실행되지 않을경우

네임노드를 포맷하게 되면 데이터노드는 전의 네임노드의 값만 가지고 있기때문에

네임노드를 포맷할떄마다 데이터노드의 hadoop-data/dfs/data 디렉토리 안에 내용을 지워 주어야 한다