HDFS - [운영] 네임노드, 보조 네임노드 데이터 구조

Posted 05 14, 2013 10:13, Filed under: BigData/Hadoop


# 네임노드와 보조 네임노드 데이터 구조


1) 네임노드에 hdfs-site.xml 파일의 dfs.name.dir 속성에서 네임노드와 [백업 또는 NFS 디렉토리] 설정
[hadoop@master data]$ cat ~/hadoop/conf/hdfs-site.xml
<property>
 <name>dfs.name.dir</name>
 <value>/data/name,[/data/backup 또는 NFS서버 디렉토리]</value>
</property>

2) 보조 네임노드에 hdfs-site.xml 파일의 fs.checkpoint.dir 속성에서 네임노드 복구 정보를 설정
[hadoop@secondary data]$ cat ~/hadoop/conf/hdfs-site.xml
<property>
 <name>fs.checkpoint.dir</name>
 <value>/data/checkpoint</value>
</property>


네임노드에서 dfs.name.dir의 기본값은 ${hadoop.tmp.dir}/dfs/name 이며, current 디렉토리에는 HDFS에서 마지막으로 체크포인팅한 데이터가 저장됩니다.

네임노드 디렉토리 구조
디렉토리 내용
 ${dfs.name.dir}/current/VERSION  파일 시스템 레이아웃
 ${dfs.name.dir}/current/fsimage  체크포인팅한 시점의 파일 시스템 레이아웃
 ${dfs.name.dir}/current/fstime  체크포인팅을 실행한 시간
 ${dfs.name.dir}/current/edits  체크포인팅 이후의 HDFS 트랜잭션 로그
 ${dfs.name.dir}/image/fsimage  체크포인팅을 시작하기 직전의 파일 시스템 이미지
 ${dfs.name.dir}/previous.checkpoint  마지막으로 체크포인팅한 정보


보조 네임노드에는 체크포인팅한 데이터가 저장됩니다.

보조 네임노드 디렉토리 구조
디렉토리 내용
 ${fs.checkpoint.dir}/current/VERSION  파일 시스템 레이아웃
 ${fs.checkpoint.dir}/current/fsimage  체크포인팅한 시점의 파일 시스템 레이아웃
 ${fs.checkpoint.dir}/current/fstime  체크포인팅을 실행한 시간
 ${fs.checkpoint.dir}/current/edits  체크포이팅한 시점의 HDFS 트랜잭션 로그
 ${fs.checkpoint.dir}/image/fsimage  체크포인팅을 시작하기 직전의 파일 시스템 이미지

네임노드 디렉토리 조회
[hadoop@master data]$ ls -alR /data/name
/data/name:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop    0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint

/data/name/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:57 fstime

/data/name/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop  157 2013-05-14 09:57 fsimage

/data/name/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:19 fstime

백업 또는 NFS 디렉토리 조회
[hadoop@master data]$ ls -alR /data/backup
/data/backup:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop    0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint

/data/backup/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:57 fstime

/data/backup/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop  157 2013-05-14 09:57 fsimage

/data/backup/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop  4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 09:19 fstime

보조 네임노드 디렉토리 조회
[hadoop@secondary data]$ ls -alR /data/checkpoint
/data/checkpoint:
합계 16
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 .
drwxr-xr-x. 6 hadoop hadoop 4096 2013-05-10 10:16 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 10:18 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 image
-rw-rw-r--. 1 hadoop hadoop    0 2013-05-14 09:28 in_use.lock

/data/checkpoint/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop  4096 2013-05-14 10:18 .
drwxrwxr-x. 4 hadoop hadoop  4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop   100 2013-05-14 10:18 VERSION
-rw-rw-r--. 1 hadoop hadoop     4 2013-05-14 10:18 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 10:18 fsimage
-rw-rw-r--. 1 hadoop hadoop     8 2013-05-14 10:18 fstime

/data/checkpoint/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 .
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop  157 2013-05-14 10:18 fsimage


참고 : 시작하세요! 하둡 프로그래밍

※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.

"BigData / Hadoop" 분류의 다른 글

HDFS - Hive 실행시 System Time 오류 (0)2016/07/26
Client에서 HDFS 환경의 데이터 처리시(읽기, 쓰기) 오류 정리 (0)2016/06/21
Hadoop - MapReduce 실행 오류 (0)2015/11/24
Hadoop - 네트워크 위상(Network Topology)과 하둡 (0)2015/11/23
HDFS - Map / Reduce Task 수 설정 (0)2015/09/20
HDFS - 외부 시스템(Windows OS)에서 HDFS 파일 컨트롤 (0)2013/06/10
HDFS - Eclipse 개발 환경 설정 (0)2013/06/09
HDFS - DFS 블록 사이즈 수정 업로드 (0)2013/05/18
HDFS - [복구] HA 모드 백업 복구와 보조 네임노드를 이용한 복구 (0)2013/05/14
HDFS - [운영] 데이터노드 추가, 제거 (2)2013/05/12
05 14, 2013 10:13 05 14, 2013 10:13

Tag : , , ,
Response : 0 Trackback , 0 Comment

Trackback URL : http://develop.sunshiny.co.kr/trackback/894

Leave a comment
« Previous : 1 : ... 122 : 123 : 124 : 125 : 126 : 127 : 128 : 129 : 130 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. find out this here find out this here %M
  2. amazon fire streaming amazon fire streaming %M
  3. roku channel builder roku channel builder %M
  4. clocks for facilities clocks for facilities %M
  5. PA speakers for businesses PA speakers for businesses %M

Calendar

«   12 2019   »
일 월 화 수 목 금 토
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2777443 HIT
TODAY 168 HIT
YESTERDAY 468 HIT