리눅스 하둡1

ssh key를 만드는 포스팅에서 우리는 namenode와 snamenode 두개의 서버를 만들었기 때문에 하둡에서도 

두개의 서버를 이용할 것이다.

---

하둡설치

우선 각 서버에 디렉토리를 생성한다.

[각 서버에 모두 수행]

---

하둡압축파일을 바탕화면 Temp폴더에 다운받은 후 리눅스상에서 압축을 풀고 local의 경로로 이동시킨다. 

local로 이동시킨 후에 폴더를 hadoop으로 링크를 연결한다.

- namenode에서 진행

[하둡 압축파일 해제]

[파일을 옮긴 후 hadoop으로 링크를 연결]

---

bashrc 파일에 alias 설정

//하둡을 실행하기전 해당 폴더내의 모든 파일을 삭제

alias tr='rm -rf /home/hadoop/hdfs/temp/*'    

alias mr='rm -rf /home/hadoop/hdfs/mapred/*'

//리눅스 자체의 방화벽기능을 비활성화 하는 법

alias sps='service iptables stop' 

---

cd hadoop/conf로 가서 6개의 파일에 대해 설정을 해줘야한다. (vi 편집기 사용)

1. hadoop-env.sh : 하둡실행 시 필요한 쉘스크립 환경 변수 //vi hadoop-env.sh

2. core-site.xml : hdfs, 맵 리듀스 환경정보 //vi core-site.xml

3. hdfs-site.xml : HDFS 환경정보 //vi hdfs-site.xml

[value 값을 1로 설정한 것은 snamenode하나만 사용하기 때문에 1로 설정]

4. mapred-site.xml : 맵리듀스 환경정보 //vi mapred-site.xml

5. masters : 보조 네임노드(SecondaryNode) 설정// vi masters

6. slaves : 데이터노드 설정 //vi slaves

---

local로 이동하여 hadoop의 모든 내용을 압축시킨다. (tar czvfp hadoop.tar.gz hadoop-1.0.4)

-hadoop-1.0.4의 파일을 hadoop.tar.gz의 이름으로 압축

압축이 완료되었다면 압축파일을 snamenode서버의 local로 전송 (scp -rp hadoop.tar.gz snamenode:/usr/local )

전송이 완료되었다면 snamenode에서 압축을 풀어준다.

[해당 파일을 압축]

[namenode서버에서 snamenoe 서버로 전송]

[snamenode로 파일을 받아온 것을 확인했고 압축해제 후 hadoop으로 링크 연결]

---

namenode 서버에서 vi /etc/profile 에 하둡이 존재하고 있는 경로를 설정하여 PATH에 추가한다.

(export HADOOP_HOME=/usr/local/hadoop , export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH)

[하둡경로와 PATH 설정]

---

하둡 실행

namenode서버에서만 진행하며 네임노드를 초기화한다. (hadoop namenode -format)

- 경로는 /usr/local/hadoop 에서 수행!

[하둡 초기화]

HDFS와 맵리듀스 모두 실행한다. (start-all.sh)

---

각 서버에 jps를 입력한다 

jps는  jvm 위에서 돌아가는 프로세스를 확인하는 툴이며 namenode에서는 JPS, NameNode, JobTracker 가 출력되어야하고

snamenode에서는 SecondaryNameNode, DataNode, JPS, TaskTracker 가 출력되어야한다.

[namenode의 터미널]

[snamenode의 터미널]