2. 빅데이터 파일럿 프로젝트 - 환경 구성 (2)

2.5 빅데이터 클러스터 구성 (이어서)

 

2.5.1  Putty를 활용한 서버 환경 접속

 

Putty 다운로드

http://www.putty.org

Download PuTTY - a free SSH and telnet client for Windows

 

Virtual Box에 추가한 가상 머신 서버(2개) 를 실행 시켜준 후,

Putty 앱 활성화하여 

Host Name과 Port 22 입력하고, Saved Sessions 에 서버명을 작성하여 Save해주면 된다.

Virtual Box에서 서버 실행 상태에서 Putty 를 통한 가상 서버 접속이 가능하다.

(실행 안되어 있는 상태에서 putty로 접속하면, Network Error: Connection Timed Out 에러 뜸)

login as : root 

password : adminuser

입력해주면 접속 완료

 

 

 

2.5.2  HDFS / 주키퍼 명령어 활용

 

우선 Filezilla 를 통해 Server 02에 샘플 파일을 업로드하여 

빅데이터 기본 명령어를 사용할 수 있는 환경을 구성해준다.

 

그리고 HDFS 에 파일을 저장해줄 것이다.

(1) PuTTY 프로그램 실행

(2) Server02에 root 계정으로 SSH 접속

$ cd/home/bigdata

$ hdfs dfs -put Sample.txt /tmp 

 

put 명령어를 사용하여 샘플 파일을 HDFS에 저장

Sample.txt 파일이 HDFS의 /tmp 디렉토리에 저장된다.

 

HDFS 저장 파일 확인

$ hdfs dfs -ls /tmp

앞서 /tmp 디렉터리에 저장한 Sample.txt 파일의 목록을 조회한다.

 

HDFS 저장 파일 내용 보기

$ hdfs dfs -cat /tmp/Sample.txt

 

HDFS 저장 파일 상태 확인

$ hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

 

HDFS 저장 파일 이름 바꾸기

$ hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt

 

HDFS 파일 시스템 상태 검사 ( / - root 이후 파일 전부 검사 진행됨)

$ hdfs fsck /

전체 크기, 디렉토리 수, 파일 수, 노드 수 등 파일 시스템의 전체 상태를 보여준다.

 

$ hdfs dfsadmin -report

하둡 파일시스템의 기본 정보 및 통계를 보여준다.

 

HDFS 저장 파일을 로컬 파일시스템으로 가져오기

$ hdfs dfs -get /tmp/Sample2.txt 

로컬의 /home/pilot-pit/ 디렉터리에 파일이 가져와진다.

 

HDFS 저장 파일 삭제(휴지통)

$ hdfs dfs -rm /tmp/Sample2.txt

삭제 명령을 실행하면 우선 휴지통에 임시 삭제되며, 복구가 가능하다.

휴지통으로 임시 삭제된 파일은 특정 시간(24시간. CDH 기준)이 지나면 자동으로 완전 삭제된다.

휴지통에 임시 삭제가 필요 없을 때는 -skipTrash 옵션을 이용해준다.

 

 

HDFS 점검 명령을 실행할 때 하둡의 파일시스템에 문제가 발생하는 경우가 존재하는데

빈번한 강제 셧다운이나 리소스가 부족한 테스트 환경에서 자주 발생한다.

 

HDFS는 비정상적인 파일 블록을 발견하면, 다른 노드에 복구하려고 시도하며(복제) 

사용자가 직접 삭제/이동 명령을 조치할 수 있다. 

 

 

 

 

 

 

실습

가상 서버 내 bigdata 파일 선택

그리고 로컬 컴퓨터 내 저장한 Sample.txt 파일 더블클릭하여 옮겨준다.(가상서버 2로)

 

PuTTY 에서 저장된 파일 확인해보기

cat 명령어를 통해 Sample.txt 파일 내용 확인

HDFS 명령어 사용하여 HDFS 파일 시스템 내 파일 저장하고 확인하기

 

HDFS 의 cat 명령어로 파일 내용 확인 가능

파일 상태 확인 명령어( 파일 크기 b, 블록 크기 o, 복제수 r, 소유자 u, 파일명 n)

 

 

파일 명 바꾸기(-mv)

 

파일 상태 검사 (fsck)

missing block, corrupt block, Missing replicas 가 있는지 확인 중요

HDFS 리포트 명령어 결과 (에러 났을 때 가장 먼저 실행보는 명령어다)

 

 

HDFS에 Sample2.txt 가져오기 + 삭제하기(휴지통)

-rm 명령어는 다이렉트 삭제가 아닌 휴지통으로 보낸다.

 

 

 

주키퍼 명령어 실습

주키퍼 shell 상태로 변경된다.

 

create -  pilot-pjt 라는  Z노드 생성

get -  Z노드 내용 조회 (bigdata라는 값)

delete - Z노드 삭제