HDFS - [운영] 데이터 저장 경로 설정

Posted 05 12, 2013 15:06, Filed under: BigData/Hadoop


# HDFS 데이터 저장 경로 설정 파일


파일 속성명 기본값 내용
 core-site.xml  hadoop.tmp.dir  /tmp/hadoop-${user.name}  하둡의 임시 데이터 저장 디렉토리
 fs.checkpoint.dir  ${hadoop.tmp.dir}/dfs
  /namesecondary
 체크포인팅한 데이터를 저장하기 위한
 보조 네임노드의 로컬 파일 시스템의
 디렉토리
 hdfs-site.xml  dfs.name.dir  ${hadoop.tmp.dir}/dfs/name  HDFS의 파일 시스템 이미지를 저장하기
 위한 네임노드의 로컬 파일시스템의
 디렉토리
 dfs.data.dir  ${hadoop.tmp.dir}/dfs/data  HDFS의 블록 정보를 저장하기 위한
  데이터노드의 로컬 파일 시스템의
  디렉토리
 mapred-site.xml  mapred.local.dir  ${hadoop.tmp.dir}/mapred/local  맵리듀스 잡 진행 중에 생성되는 임시
  데이터를 저장하기 위한 로컬 파일
  시스템의 디렉토리
 mapred.system.dir  ${hadoop.tmp.dir}/mapred 
 
/system
 맵리듀스의 시스템 파일을 저장하기
 위한 디렉토리


태스크트래커의 출력 데이터는 로컬 디스크에 저장됩니다.
데이터의 저장 경로는 mapred-site.xml에 정의된 mapred.local.dir 속성을 기준으로 합니다.
mapred.local.dir 속성에 별도의 경로를 지정하지 않을 경우, hadoop.tmp.dir 속성으로 정의한 디렉토리 하위 디렉토리에 생성이 됩니다.

hadoop.tmp.dir 의 기본값은 리눅스 서버의 임시 데이터 저장 공간인 /tmp 디렉토리입니다.
/tmp 경로의 용량이 부족할 경우 태스크가 수행되는 중에 오류가 나거나 새로운 태스크를 실행하지 못하게 됩니다.

이러한 오류를 사전에 방지하기 위해 우선 hadoop.tmp.dir 속성은 /tmp 디렉토리를 사용하지 말고, 하둡 관리자 계정의 홈 디렉토리에 설정하는 것이 좋습니다.



참고 : 시작하세요! 하둡 프로그래밍


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
05 12, 2013 15:06 05 12, 2013 15:06


Trackback URL : http://develop.sunshiny.co.kr/trackback/892

Leave a comment
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다

« Previous : 1 : ... 124 : 125 : 126 : 127 : 128 : 129 : 130 : 131 : 132 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. clock synchronization software clock synchronization software 2 06
  2. print and mailing services print and mailing services 2 06
  3. print and mail service print and mail service 1 06
  4. clocks large facilities clocks large facilities 1 06
  5. print and mail service print and mail service 31 05

Calendar

«   06 2020   »
  1 2 3 4 5 6
7 8 9 10 11 12 13
14 15 16 17 18 19 20
21 22 23 24 25 26 27
28 29 30        

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2968345 HIT
TODAY 50 HIT
YESTERDAY 1325 HIT