Apache - Hadoop 관련 솔루션 종류 및 성격

Posted 04 8, 2013 13:11, Filed under: BigData

Apache Hadoop 생태계 솔루션

구분 이름 설명 링크
웹 크롤링 Nutch 웹 검색 http://nutch.apache.org
수집 Chukwa 로그 수집/분석/출력/모니터링 http://incubator.apache.org/chukwa
Sqoop RDBMS 데이터 수집 http://sqoop.apache.org
Flume 이벤트 데이터 수집 http://flume.apache.org
Kafka 데이터 수집 http://kafka.apache.org
S4 이벤트 데이터 처리 http://incubator.apache.org/s4/
데이터 직렬화 Thrift 데이터 직렬화 http://thrift.apache.org
Avro 데이터 직렬화 http://avro.apache.org
적재 HDFS 하둡 분산 파일 시스템 http://hadoop.apache.org
Fuse-DFS 마운터블 HDFS http://wiki.apache.org/hadoop/MountableHDFS
Hcatalog 테이블 관리 http://incubator.apache.org/hcatalog/
데이터 모델링
및 처리 분석
MapReduce 데이터 분석 엔진
Mahout 데이터 마이닝 http://mahout.apache.org
Giraph 그래프 분석 http://giraph.apache.org
Hama 병렬 컴퓨팅 http://hama.apache.org
질의 지원 Pig 데이터 분석 언어 http://pig.apache.org
Hive 데이터 쿼리 언어 http://hive.apache.org
워크플로우 지원 Oozie 워크플로우 관리 http://oozie.apache.org
실시간 분석/검색 Hbase NoSQL http://hbase.apache.org
Lucene 검색엔진 http://lucene.apache.org/core/
모니터링 및 관리 Zookeeper 클러스터 관리 http://zookeeper.apache.org
Ambari 환경설정, 모니터링 http://incubator.apache.org/ambari
Whirr 클러스터 배포 http://whirr.apache.org
Bigtop 패키지 개발 http://bigtop.apache.org


구글(Google)과 하둡(Hadoop)의 솔루션 공개 비교

  Google 오픈소스(Hadoop 진영)
기능 발표년도 이름 발표년도 이름(제공처)
대용량 데이터 적재,
분산 배치 연산,
프로그래밍 지원
2004 GFS & MapReduce 2006 Hadoop(Apache)
배치 쿼리 2005 Sawzall 2008 Pig & Hive(Apache)
온라인 Key-Value 엔진 2006 BigTable 2008 Hbase(Apache)
온라인 쿼리 2010 Dremel / F1 2012 Impala(Cloudera)
트랜잭션 등 2012 Spanner ? ?



출처 : 대용량 데이터 분석 및 처리를 위한 Hadoop & NoSQL


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
04 8, 2013 13:11 04 8, 2013 13:11


Trackback URL : http://develop.sunshiny.co.kr/trackback/873

Leave a comment
[로그인][오픈아이디란?]
오픈아이디로만 댓글을 남길 수 있습니다

« Previous : 1 : ... 142 : 143 : 144 : 145 : 146 : 147 : 148 : 149 : 150 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. print & mail services print & mail services 13 07
  2. montana fishing vacations montana fishing vacations 13 07
  3. decks colorado decks colorado 13 07
  4. phoenix az closet organizers phoenix az closet organizers 13 07
  5. useful reference useful reference 13 07

Calendar

«   07 2020   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 3006608 HIT
TODAY 49 HIT
YESTERDAY 1048 HIT