Hive - Metastore 정보

Posted 06 18, 2013 19:30, Filed under: BigData/Hive


Hive Metastore

하이브의 테이블과 파티션에 대한 모든 메타 데이터는 하이브 Metastore에 저장이 됨.
상용 관계형 DB와 대부분의 오픈 소스 데이터스토어가 지원
JDBC 드라이버가 있는 데이터 저장소는 사용 할 수 있음


# 3가지 메타스토어 유형

 * 임베디드 메타스토어(Embedded metastore)
  - 하이브를 설치하고 기본 실행을 하면, 임베디드 메타스토어를 사용
  - 메타스토어 파일이 로컬 장비에 생성되므로 한번에 하나의 프로세스만 메타스토어에 접근 가능
  - 실제 환경에서는 사용을 권장하지 않음(단위 테스트 목적)

 * 로컬 메타스토어(Local metastore)
  - 메타데이터가 원격 또는 로컬의 데이터베이스(mysql)에 저장

 * 원격 메타스토어(Remote metastore)
  - 메타데이터가 원격 또는 로컬의 데이터베이스(mysql)에 저장
  - 로컬 메타스토어와 달리 메타스토어를 서비스하는 별도의 서버가 실행
  - 클라이언트는 데이터베이스에 직접 쿼리를 날리는 대신 메타스토어 서버의 중개를 받게 됨(thrift 통신)


사용자 삽입 이미지































# Hive 실행시 생성한 메타정보(테이블) 보이지 않는 경우

 - bin/hive 실행 위치에 따라 실행 디렉토리 안에 metastore_db 파일들이 생성됨.
   해당 증상으로 hive 실행 위치가 바뀔 때마다 기존의 메타정보들이 공유되지 않는 증상


> 기존 메타데이터 복제및 metastore_db 위치 고정 설정
1) 기존의 생성된 메타정보 디렉토리(metastore_db)를 위치하고자하는 디렉토리의 하위로 복사
2) conf/hive-site.xml 파일의 javax.jdo.option.ConnectionURL 옵션의 값에서 metastore_db 부분 앞에 절대경로를 넣어줌.
  예) databaseName=/home/hadoop/hive/metastore_db


[hadoop@master conf]$ vi hive-site.xml
 <property>
   <name>hive.metastore.uris</name>
   <value></value>
   <description>Thrift uri for the remote metastore. 
               Used by metastore client to connect to remote metastore.</description>
 </property>
 
 <property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:derby:;databaseName=/home/hadoop/hive/metastore_db;create=true</value>
   <description>JDBC connect string for a JDBC metastore</description>
 </property>
 
 <property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>org.apache.derby.jdbc.EmbeddedDriver</value>
   <description>Driver class name for a JDBC metastore</description>
 </property>

 <property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/user/hive/warehouse</value>
   <description>location of default database for the warehouse</description>
 </property>



# 참고 자료

AdminManual MetastoreAdmin


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
06 18, 2013 19:30 06 18, 2013 19:30


Trackback URL : http://develop.sunshiny.co.kr/trackback/927

Leave a comment

« Previous : 1 : ... 99 : 100 : 101 : 102 : 103 : 104 : 105 : 106 : 107 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. wireless communication systems wireless communication systems %M
  2. amazon fire television amazon fire television %M
  3. how to broadcast your own tv station how to broadcast your own tv station %M
  4. elapsed time clock for operating r... elapsed time clock for operating r... %M
  5. Mysql - mysql 설치후 Character set... 멀고 가까움이 다르기 때문 %M

Calendar

«   12 2019   »
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2780523 HIT
TODAY 106 HIT
YESTERDAY 1360 HIT