본문 바로가기

Project/Pilot_Smart Car

2. 빅데이터 파일럿 프로젝트 - 환경 구성 (2)

2.5 빅데이터 클러스터 구성 (이어서)

 

2.5.1  Putty를 활용한 서버 환경 접속

 

Putty 다운로드

http://www.putty.org

 

Download PuTTY - a free SSH and telnet client for Windows

Is Bitvise affiliated with PuTTY? Bitvise is not affiliated with PuTTY. We develop our SSH Server for Windows, which is compatible with PuTTY. Many PuTTY users are therefore our users as well. From time to time, they need to find the PuTTY download link. W

www.putty.org

 

Virtual Box에 추가한 가상 머신 서버(2개) 를 실행 시켜준 후,

Putty 앱 활성화하여 

Host Name과 Port 22 입력하고, Saved Sessions 에 서버명을 작성하여 Save해주면 된다.

Virtual Box에서 서버 실행 상태에서 Putty 를 통한 가상 서버 접속이 가능하다.

(실행 안되어 있는 상태에서 putty로 접속하면, Network Error: Connection Timed Out 에러 뜸)

login as : root 

password : adminuser

입력해주면 접속 완료

 

 

 

2.5.2  HDFS / 주키퍼 명령어 활용

 

우선 Filezilla 를 통해 Server 02에 샘플 파일을 업로드하여 

빅데이터 기본 명령어를 사용할 수 있는 환경을 구성해준다.

 

그리고 HDFS 에 파일을 저장해줄 것이다.

(1) PuTTY 프로그램 실행

(2) Server02에 root 계정으로 SSH 접속

$ cd/home/bigdata

$ hdfs dfs -put Sample.txt /tmp 

 

put 명령어를 사용하여 샘플 파일을 HDFS에 저장

Sample.txt 파일이 HDFS의 /tmp 디렉토리에 저장된다.

 

HDFS 저장 파일 확인

$ hdfs dfs -ls /tmp

앞서 /tmp 디렉터리에 저장한 Sample.txt 파일의 목록을 조회한다.

 

HDFS 저장 파일 내용 보기

$ hdfs dfs -cat /tmp/Sample.txt

 

HDFS 저장 파일 상태 확인

$ hdfs dfs -stat '%b %o %r %u %n' /tmp/Sample.txt

 

HDFS 저장 파일 이름 바꾸기

$ hdfs dfs -mv /tmp/Sample.txt /tmp/Sample2.txt

 

HDFS 파일 시스템 상태 검사 ( / - root 이후 파일 전부 검사 진행됨)

$ hdfs fsck /

전체 크기, 디렉토리 수, 파일 수, 노드 수 등 파일 시스템의 전체 상태를 보여준다.

 

$ hdfs dfsadmin -report

하둡 파일시스템의 기본 정보 및 통계를 보여준다.

 

HDFS 저장 파일을 로컬 파일시스템으로 가져오기

$ hdfs dfs -get /tmp/Sample2.txt 

로컬의 /home/pilot-pit/ 디렉터리에 파일이 가져와진다.

 

HDFS 저장 파일 삭제(휴지통)

$ hdfs dfs -rm /tmp/Sample2.txt

삭제 명령을 실행하면 우선 휴지통에 임시 삭제되며, 복구가 가능하다.

휴지통으로 임시 삭제된 파일은 특정 시간(24시간. CDH 기준)이 지나면 자동으로 완전 삭제된다.

휴지통에 임시 삭제가 필요 없을 때는 -skipTrash 옵션을 이용해준다.

 

 

HDFS 점검 명령을 실행할 때 하둡의 파일시스템에 문제가 발생하는 경우가 존재하는데

빈번한 강제 셧다운이나 리소스가 부족한 테스트 환경에서 자주 발생한다.

 

HDFS는 비정상적인 파일 블록을 발견하면, 다른 노드에 복구하려고 시도하며(복제) 

사용자가 직접 삭제/이동 명령을 조치할 수 있다. 

 

 

 

 

 

 

실습

가상 서버 내 bigdata 파일 선택

그리고 로컬 컴퓨터 내 저장한 Sample.txt 파일 더블클릭하여 옮겨준다.(가상서버 2로)

 

PuTTY 에서 저장된 파일 확인해보기

cat 명령어를 통해 Sample.txt 파일 내용 확인

HDFS 명령어 사용하여 HDFS 파일 시스템 내 파일 저장하고 확인하기

 

HDFS 의 cat 명령어로 파일 내용 확인 가능

파일 상태 확인 명령어( 파일 크기 b, 블록 크기 o, 복제수 r, 소유자 u, 파일명 n)

 

 

파일 명 바꾸기(-mv)

 

파일 상태 검사 (fsck)

missing block, corrupt block, Missing replicas 가 있는지 확인 중요

HDFS 리포트 명령어 결과 (에러 났을 때 가장 먼저 실행보는 명령어다)

 

 

HDFS에 Sample2.txt 가져오기 + 삭제하기(휴지통)

-rm 명령어는 다이렉트 삭제가 아닌 휴지통으로 보낸다.

 

 

 

주키퍼 명령어 실습

주키퍼 shell 상태로 변경된다.

 

create -  pilot-pjt 라는  Z노드 생성

get -  Z노드 내용 조회 (bigdata라는 값)

delete - Z노드 삭제