# 정규형식의 컬럼에 MapReduce 작업시 오류


증상 (1) ClassNotFoundException: org.apache.hadoop.hive.contrib.serde2.RegexSerDe

전체보기...

# 1또는 2번의 설정을 적용
-- 1) hive-contrib 라이브러리(정규식 사용) 로드
hive> add jar ../lib/hive-contrib-0.10.0.jar;
Added ../lib/hive-contrib-0.10.0.jar to class path
Added resource: ../lib/hive-contrib-0.10.0.jar

-- 2) 로컬 모드로 설정
hive> SET mapred.job.tracker=local;

hive> SELECT * FROM apache_logs ORDER BY referer DESC LIMIT 10;


# 메타스토어(Metastore) 관련 오류


# 오류 내용

hive> show tables;
FAILED: Error in metadata: java.lang.RuntimeException:
Unable to instantiate org.apache.hadoop.hive.metastore.HiveMetaStoreClient
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask

원인 : Hive 메타스토어 유형이 임베디드(Embedded metastore) 일경우, 한번에 하나의 프로세스만 메타스토어에 접근 가능.
진행 : 기존 연결된 hive 프로세스를 quit 하거나 창을 닫음.


# Hive 쿼리 수행중 실패

# 내용
[hadoop@master bin]$ hive -e "SELECT * FROM TableName LIMIT 5";
WARNING: org.apache.hadoop.metrics.jvm.EventCounter is deprecated. Please use org.apache.hadoop.log.metrics.EventCounter in all the log4j.properties files.
Logging initialized using configuration in file:/home/hadoop/hive-0.10.0/conf/hive-log4j.properties
Hive history file=/tmp/hadoop/hive_job_log_hadoop_20130101.txt
FAILED: SemanticException Unable to fetch table TableName

원인 : 이미 실행중인 RunJar이 존재하기 때문
진행 : RunJar 파일 존재여부를 조회하고, 정리

[hadoop@master bin]$ jps
17726 Jps
9004 RunJar
2619 JobTracker
2452 NameNode
[hadoop@master bin]$ kill 9004


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
05 30, 2013 19:35 05 30, 2013 19:35


Trackback URL : http://develop.sunshiny.co.kr/trackback/918

Leave a comment

« Previous : 1 : ... 106 : 107 : 108 : 109 : 110 : 111 : 112 : 113 : 114 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. I'm curious to find out what blog... 레깅스룸 03시 26분
  2. 안녕하세요^^ 배그핵
  3. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  4. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  5. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny

Recent Trackbacks

  1. find here find here %M
  2. wedding dj’s in bozeman montana wedding dj’s in bozeman montana %M
  3. important site important site %M
  4. host insurance host insurance %M
  5. why not try here why not try here %M

Calendar

«   01 2020   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2825991 HIT
TODAY 459 HIT
YESTERDAY 1151 HIT