Apache - Hadoop 관련 솔루션 종류 및 성격

Posted 04 8, 2013 13:11, Filed under: BigData

Apache Hadoop 생태계 솔루션

구분 이름 설명 링크
웹 크롤링 Nutch 웹 검색 http://nutch.apache.org
수집 Chukwa 로그 수집/분석/출력/모니터링 http://incubator.apache.org/chukwa
Sqoop RDBMS 데이터 수집 http://sqoop.apache.org
Flume 이벤트 데이터 수집 http://flume.apache.org
Kafka 데이터 수집 http://kafka.apache.org
S4 이벤트 데이터 처리 http://incubator.apache.org/s4/
데이터 직렬화 Thrift 데이터 직렬화 http://thrift.apache.org
Avro 데이터 직렬화 http://avro.apache.org
적재 HDFS 하둡 분산 파일 시스템 http://hadoop.apache.org
Fuse-DFS 마운터블 HDFS http://wiki.apache.org/hadoop/MountableHDFS
Hcatalog 테이블 관리 http://incubator.apache.org/hcatalog/
데이터 모델링
및 처리 분석
MapReduce 데이터 분석 엔진
Mahout 데이터 마이닝 http://mahout.apache.org
Giraph 그래프 분석 http://giraph.apache.org
Hama 병렬 컴퓨팅 http://hama.apache.org
질의 지원 Pig 데이터 분석 언어 http://pig.apache.org
Hive 데이터 쿼리 언어 http://hive.apache.org
워크플로우 지원 Oozie 워크플로우 관리 http://oozie.apache.org
실시간 분석/검색 Hbase NoSQL http://hbase.apache.org
Lucene 검색엔진 http://lucene.apache.org/core/
모니터링 및 관리 Zookeeper 클러스터 관리 http://zookeeper.apache.org
Ambari 환경설정, 모니터링 http://incubator.apache.org/ambari
Whirr 클러스터 배포 http://whirr.apache.org
Bigtop 패키지 개발 http://bigtop.apache.org


구글(Google)과 하둡(Hadoop)의 솔루션 공개 비교

  Google 오픈소스(Hadoop 진영)
기능 발표년도 이름 발표년도 이름(제공처)
대용량 데이터 적재,
분산 배치 연산,
프로그래밍 지원
2004 GFS & MapReduce 2006 Hadoop(Apache)
배치 쿼리 2005 Sawzall 2008 Pig & Hive(Apache)
온라인 Key-Value 엔진 2006 BigTable 2008 Hbase(Apache)
온라인 쿼리 2010 Dremel / F1 2012 Impala(Cloudera)
트랜잭션 등 2012 Spanner ? ?



출처 : 대용량 데이터 분석 및 처리를 위한 Hadoop & NoSQL


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
04 8, 2013 13:11 04 8, 2013 13:11


Trackback URL : http://develop.sunshiny.co.kr/trackback/873

Leave a comment

« Previous : 1 : ... 142 : 143 : 144 : 145 : 146 : 147 : 148 : 149 : 150 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. see page see page %M
  2. find out this here find out this here %M
  3. amazon fire streaming amazon fire streaming %M
  4. roku channel builder roku channel builder %M
  5. clocks for facilities clocks for facilities %M

Calendar

«   12 2019   »
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2777458 HIT
TODAY 183 HIT
YESTERDAY 468 HIT