# 정규형식의 컬럼에 MapReduce 작업시 오류


증상 (1) ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe

전체보기...

# 1또는 2번의 설정을 적용
-- 1) hive-contrib 라이브러리(정규식 사용) 로드
hive> add jar ../lib/hive-contrib-0.10.0.jar;
Added ../lib/hive-contrib-0.10.0.jar to class path
Added resource: ../lib/hive-contrib-0.10.0.jar

-- 2) 로컬 모드로 설정
hive> SET mapred.job.tracker=local;

hive> SELECT * FROM apache_logs ORDER BY referer DESC LIMIT 10;


# 메타스토어(Metastore) 관련 오류


# 오류 내용

hive> show tables;
FAILED: Error in metadata: java.lang.RuntimeException:
Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

원인 : Hive 메타스토어 유형이 임베디드(Embedded metastore) 일경우, 한번에 하나의 프로세스만 메타스토어에 접근 가능.
진행 : 기존 연결된 hive 프로세스를 quit 하거나 창을 닫음.


# Hive 쿼리 수행중 실패

# 내용
[hadoop@master bin]$ hive -e "SELECT * FROM TableName LIMIT 5";
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/home/hadoop/hive-0.10.0/conf/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_20130101.txt
FAILED: SemanticException Unable to fetch table TableName

원인 : 이미 실행중인 RunJar이 존재하기 때문
진행 : RunJar 파일 존재여부를 조회하고, 정리

[hadoop@master bin]$ jps
17726 Jps
9004 RunJar
2619 JobTracker
2452 NameNode
[hadoop@master bin]$ kill 9004


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
05 30, 2013 19:35 05 30, 2013 19:35


Trackback URL : http://develop.sunshiny.co.kr/trackback/918

Leave a comment
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다


Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. project management project management %M
  2. cabo villas for rent cabo villas for rent %M
  3. buy my house fast buy my house fast %M
  4. buy my house now buy my house now %M
  5. how to sell a house quickly how to sell a house quickly 3 04

Calendar

«   04 2020   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30    

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2902943 HIT
TODAY 336 HIT
YESTERDAY 1312 HIT