HDFS - [운영] 네임노드, 보조 네임노드 데이터 구조
Posted 05 14, 2013 10:13, Filed under: BigData/Hadoop# 네임노드와 보조 네임노드 데이터 구조
1) 네임노드에 hdfs-site.xml 파일의 dfs.name.dir 속성에서 네임노드와 [백업 또는 NFS 디렉토리] 설정
[hadoop@master data]$ cat ~/hadoop/conf/hdfs-site.xml <property> <name>dfs.name.dir</name> <value>/data/name,[/data/backup 또는 NFS서버 디렉토리]</value> </property>
2) 보조 네임노드에 hdfs-site.xml 파일의 fs.checkpoint.dir 속성에서 네임노드 복구 정보를 설정
[hadoop@secondary data]$ cat ~/hadoop/conf/hdfs-site.xml <property> <name>fs.checkpoint.dir</name> <value>/data/checkpoint</value> </property>
네임노드에서 dfs.name.dir의 기본값은 ${hadoop.tmp.dir}/dfs/name 이며, current 디렉토리에는 HDFS에서 마지막으로 체크포인팅한 데이터가 저장됩니다.
네임노드 디렉토리 구조
디렉토리 | 내용 |
${dfs.name.dir}/current/VERSION | 파일 시스템 레이아웃 |
${dfs.name.dir}/current/fsimage | 체크포인팅한 시점의 파일 시스템 레이아웃 |
${dfs.name.dir}/current/fstime | 체크포인팅을 실행한 시간 |
${dfs.name.dir}/current/edits | 체크포인팅 이후의 HDFS 트랜잭션 로그 |
${dfs.name.dir}/image/fsimage | 체크포인팅을 시작하기 직전의 파일 시스템 이미지 |
${dfs.name.dir}/previous.checkpoint | 마지막으로 체크포인팅한 정보 |
보조 네임노드에는 체크포인팅한 데이터가 저장됩니다.
보조 네임노드 디렉토리 구조
디렉토리 | 내용 |
${fs.checkpoint.dir}/current/VERSION | 파일 시스템 레이아웃 |
${fs.checkpoint.dir}/current/fsimage | 체크포인팅한 시점의 파일 시스템 레이아웃 |
${fs.checkpoint.dir}/current/fstime | 체크포인팅을 실행한 시간 |
${fs.checkpoint.dir}/current/edits | 체크포이팅한 시점의 HDFS 트랜잭션 로그 |
${fs.checkpoint.dir}/image/fsimage | 체크포인팅을 시작하기 직전의 파일 시스템 이미지 |
네임노드 디렉토리 조회
[hadoop@master data]$ ls -alR /data/name
/data/name:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop 0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint
/data/name/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:57 fstime
/data/name/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 157 2013-05-14 09:57 fsimage
/data/name/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:19 fstime
/data/name:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop 0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint
/data/name/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:57 fstime
/data/name/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 157 2013-05-14 09:57 fsimage
/data/name/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:19 fstime
백업 또는 NFS 디렉토리 조회
[hadoop@master data]$ ls -alR /data/backup
/data/backup:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop 0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint
/data/backup/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:57 fstime
/data/backup/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 157 2013-05-14 09:57 fsimage
/data/backup/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:19 fstime
/data/backup:
합계 20
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 .
drwxr-xr-x. 7 hadoop hadoop 4096 2013-05-12 15:59 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 image
-rw-rw-r--. 1 hadoop hadoop 0 2013-05-14 09:27 in_use.lock
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 previous.checkpoint
/data/backup/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:57 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:57 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:57 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 09:57 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:57 fstime
/data/backup/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:16 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 157 2013-05-14 09:57 fsimage
/data/backup/previous.checkpoint:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 09:19 .
drwxrwxr-x. 5 hadoop hadoop 4096 2013-05-14 09:27 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 09:19 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 09:19 edits
-rw-rw-r--. 1 hadoop hadoop 21597 2013-05-14 09:19 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 09:19 fstime
보조 네임노드 디렉토리 조회
[hadoop@secondary data]$ ls -alR /data/checkpoint
/data/checkpoint:
합계 16
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 .
drwxr-xr-x. 6 hadoop hadoop 4096 2013-05-10 10:16 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 10:18 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 image
-rw-rw-r--. 1 hadoop hadoop 0 2013-05-14 09:28 in_use.lock
/data/checkpoint/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 10:18 .
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 10:18 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 10:18 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 10:18 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 10:18 fstime
/data/checkpoint/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 .
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop 157 2013-05-14 10:18 fsimage
/data/checkpoint:
합계 16
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 .
drwxr-xr-x. 6 hadoop hadoop 4096 2013-05-10 10:16 ..
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 10:18 current
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 image
-rw-rw-r--. 1 hadoop hadoop 0 2013-05-14 09:28 in_use.lock
/data/checkpoint/current:
합계 44
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-14 10:18 .
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop 100 2013-05-14 10:18 VERSION
-rw-rw-r--. 1 hadoop hadoop 4 2013-05-14 10:18 edits
-rw-rw-r--. 1 hadoop hadoop 22056 2013-05-14 10:18 fsimage
-rw-rw-r--. 1 hadoop hadoop 8 2013-05-14 10:18 fstime
/data/checkpoint/image:
합계 12
drwxrwxr-x. 2 hadoop hadoop 4096 2013-05-10 10:21 .
drwxrwxr-x. 4 hadoop hadoop 4096 2013-05-14 10:18 ..
-rw-rw-r--. 1 hadoop hadoop 157 2013-05-14 10:18 fsimage
참고 : 시작하세요! 하둡 프로그래밍
※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
"BigData / Hadoop" 분류의 다른 글
HDFS - Hive 실행시 System Time 오류 (0) | 2016/07/26 |
Client에서 HDFS 환경의 데이터 처리시(읽기, 쓰기) 오류 정리 (0) | 2016/06/21 |
Hadoop - MapReduce 실행 오류 (0) | 2015/11/24 |
Hadoop - 네트워크 위상(Network Topology)과 하둡 (0) | 2015/11/23 |
HDFS - Map / Reduce Task 수 설정 (0) | 2015/09/20 |
HDFS - 외부 시스템(Windows OS)에서 HDFS 파일 컨트롤 (0) | 2013/06/10 |
HDFS - Eclipse 개발 환경 설정 (0) | 2013/06/09 |
HDFS - DFS 블록 사이즈 수정 업로드 (0) | 2013/05/18 |
HDFS - [복구] HA 모드 백업 복구와 보조 네임노드를 이용한 복구 (0) | 2013/05/14 |
HDFS - [운영] 데이터노드 추가, 제거 (2) | 2013/05/12 |
Response :
0 Trackback
,
0 Comment
Trackback URL : http://develop.sunshiny.co.kr/trackback/894