HDFS - [운영] 네임노드, 보조 네임노드 데이터 구조

Posted 05 14, 2013 10:13, Filed under: BigData/Hadoop


# 네임노드와 보조 네임노드 데이터 구조


1) 네임노드에 hdfs-site.xml 파일의 dfs.name.dir 속성에서 네임노드와 [백업 또는 NFS 디렉토리] 설정
[hadoop@master data]$ cat ~/hadoop/conf/hdfs-site.xml
<property>
 <name>dfs.name.dir</name>
 <value>/data/name,[/data/backup 또는 NFS서버 디렉토리]</value>
</property>

2) 보조 네임노드에 hdfs-site.xml 파일의 fs.checkpoint.dir 속성에서 네임노드 복구 정보를 설정
[hadoop@secondary data]$ cat ~/hadoop/conf/hdfs-site.xml
<property>
 <name>fs.checkpoint.dir</name>
 <value>/data/checkpoint</value>
</property>


네임노드에서 dfs.name.dir의 기본값은 ${hadoop.tmp.dir}/dfs/name 이며, current 디렉토리에는 HDFS에서 마지막으로 체크포인팅한 데이터가 저장됩니다.

네임노드 디렉토리 구조
디렉토리 내용
 ${dfs.name.dir}/current/VERSION  파일 시스템 레이아웃
 ${dfs.name.dir}/current/fsimage  체크포인팅한 시점의 파일 시스템 레이아웃
 ${dfs.name.dir}/current/fstime  체크포인팅을 실행한 시간
 ${dfs.name.dir}/current/edits  체크포인팅 이후의 HDFS 트랜잭션 로그
 ${dfs.name.dir}/image/fsimage  체크포인팅을 시작하기 직전의 파일 시스템 이미지
 ${dfs.name.dir}/previous.checkpoint  마지막으로 체크포인팅한 정보


보조 네임노드에는 체크포인팅한 데이터가 저장됩니다.

보조 네임노드 디렉토리 구조
디렉토리 내용
 ${fs.checkpoint.dir}/current/VERSION  파일 시스템 레이아웃
 ${fs.checkpoint.dir}/current/fsimage  체크포인팅한 시점의 파일 시스템 레이아웃
 ${fs.checkpoint.dir}/current/fstime  체크포인팅을 실행한 시간
 ${fs.checkpoint.dir}/current/edits  체크포이팅한 시점의 HDFS 트랜잭션 로그
 ${fs.checkpoint.dir}/image/fsimage  체크포인팅을 시작하기 직전의 파일 시스템 이미지

네임노드 디렉토리 조회
[hadoop@master data]$ ls -alR /data/name
/data/name:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop    0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint

/data/name/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:57 fstime

/data/name/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop  157 2013-05-14 09:57 fsimage

/data/name/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:19 fstime

백업 또는 NFS 디렉토리 조회
[hadoop@master data]$ ls -alR /data/backup
/data/backup:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop    0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint

/data/backup/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:57 fstime

/data/backup/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop  157 2013-05-14 09:57 fsimage

/data/backup/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:19 fstime

보조 네임노드 디렉토리 조회
[hadoop@secondary data]$ ls -alR /data/checkpoint
/data/checkpoint:
합계 16
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 .
drwxr-xr-x. 6 hadoop hadoop 4096 2013-05-10 10:16 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 10:18 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 image
-rw-rw-r--. 1 hadoop hadoop    0 2013-05-14 09:28 in_use.lock

/data/checkpoint/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 10:18 .
drwxrwxr-x. 4 hadoop hadoop  4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 10:18 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 10:18 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 10:18 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 10:18 fstime

/data/checkpoint/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 .
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop  157 2013-05-14 10:18 fsimage


참고 : 시작하세요! 하둡 프로그래밍

※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.

"BigData / Hadoop" 분류의 다른 글

HDFS - Hive 실행시 System Time 오류 (0)2016/07/26
Client에서 HDFS 환경의 데이터 처리시(읽기, 쓰기) 오류 정리 (0)2016/06/21
Hadoop - MapReduce 실행 오류 (0)2015/11/24
Hadoop - 네트워크 위상(Network Topology)과 하둡 (0)2015/11/23
HDFS - Map / Reduce Task 수 설정 (0)2015/09/20
HDFS - 외부 시스템(Windows OS)에서 HDFS 파일 컨트롤 (0)2013/06/10
HDFS - Eclipse 개발 환경 설정 (0)2013/06/09
HDFS - DFS 블록 사이즈 수정 업로드 (0)2013/05/18
HDFS - [복구] HA 모드 백업 복구와 보조 네임노드를 이용한 복구 (0)2013/05/14
HDFS - [운영] 데이터노드 추가, 제거 (2)2013/05/12
05 14, 2013 10:13 05 14, 2013 10:13

Tag : , , ,
Response : 0 Trackback , 0 Comment

Trackback URL : http://develop.sunshiny.co.kr/trackback/894

Leave a comment
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다
« Previous : 1 : ... 122 : 123 : 124 : 125 : 126 : 127 : 128 : 129 : 130 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. print & mail services print & mail services 13 07
  2. montana fishing vacations montana fishing vacations 13 07
  3. decks colorado decks colorado 13 07
  4. phoenix az closet organizers phoenix az closet organizers 13 07
  5. useful reference useful reference 13 07

Calendar

«   07 2020   »
일 월 화 수 목 금 토
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 3006591 HIT
TODAY 32 HIT
YESTERDAY 1048 HIT