Hive - Metastore 정보

Posted 06 18, 2013 19:30, Filed under: BigData/Hive


Hive Metastore

하이브의 테이블과 파티션에 대한 모든 메타 데이터는 하이브 Metastore에 저장이 됨.
상용 관계형 DB와 대부분의 오픈 소스 데이터스토어가 지원
JDBC 드라이버가 있는 데이터 저장소는 사용 할 수 있음


# 3가지 메타스토어 유형

 * 임베디드 메타스토어(Embedded metastore)
  - 하이브를 설치하고 기본 실행을 하면, 임베디드 메타스토어를 사용
  - 메타스토어 파일이 로컬 장비에 생성되므로 한번에 하나의 프로세스만 메타스토어에 접근 가능
  - 실제 환경에서는 사용을 권장하지 않음(단위 테스트 목적)

 * 로컬 메타스토어(Local metastore)
  - 메타데이터가 원격 또는 로컬의 데이터베이스(mysql)에 저장

 * 원격 메타스토어(Remote metastore)
  - 메타데이터가 원격 또는 로컬의 데이터베이스(mysql)에 저장
  - 로컬 메타스토어와 달리 메타스토어를 서비스하는 별도의 서버가 실행
  - 클라이언트는 데이터베이스에 직접 쿼리를 날리는 대신 메타스토어 서버의 중개를 받게 됨(thrift 통신)


사용자 삽입 이미지































# Hive 실행시 생성한 메타정보(테이블) 보이지 않는 경우

 - bin/hive 실행 위치에 따라 실행 디렉토리 안에 metastore_db 파일들이 생성됨.
   해당 증상으로 hive 실행 위치가 바뀔 때마다 기존의 메타정보들이 공유되지 않는 증상


> 기존 메타데이터 복제및 metastore_db 위치 고정 설정
1) 기존의 생성된 메타정보 디렉토리(metastore_db)를 위치하고자하는 디렉토리의 하위로 복사
2) conf/hive-site.xml 파일의 javax.jdo.option.ConnectionURL 옵션의 값에서 metastore_db 부분 앞에 절대경로를 넣어줌.
  예) databaseName=/home/hadoop/hive/metastore_db


[hadoop@master conf]$ vi hive-site.xml
 <property>
   <name>hive.metastore.uris</name>
   <value></value>
   <description>Thrift uri for the remote metastore. 
               Used by metastore client to connect to remote metastore.</description>
 </property>
 
 <property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:derby:;databaseName=/home/hadoop/hive/metastore_db;create=true</value>
   <description>JDBC connect string for a JDBC metastore</description>
 </property>
 
 <property>
   <name>javax.jdo.option.ConnectionDriverName</name>
   <value>org.apache.derby.jdbc.EmbeddedDriver</value>
   <description>Driver class name for a JDBC metastore</description>
 </property>

 <property>
   <name>hive.metastore.warehouse.dir</name>
   <value>/user/hive/warehouse</value>
   <description>location of default database for the warehouse</description>
 </property>



# 참고 자료

AdminManual MetastoreAdmin


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
06 18, 2013 19:30 06 18, 2013 19:30


Trackback URL : http://develop.sunshiny.co.kr/trackback/927

Leave a comment
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다

« Previous : 1 : ... 99 : 100 : 101 : 102 : 103 : 104 : 105 : 106 : 107 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. print & mail services print & mail services 13 07
  2. montana fishing vacations montana fishing vacations 13 07
  3. decks colorado decks colorado 13 07
  4. phoenix az closet organizers phoenix az closet organizers 13 07
  5. useful reference useful reference 13 07

Calendar

«   07 2020   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 3006625 HIT
TODAY 66 HIT
YESTERDAY 1048 HIT