Apache - Hadoop 관련 솔루션 종류 및 성격

Posted 04 8, 2013 13:11, Filed under: BigData

Apache Hadoop 생태계 솔루션

구분 이름 설명 링크
웹 크롤링 Nutch 웹 검색 http://nutch.apache.org
수집 Chukwa 로그 수집/분석/출력/모니터링 http://incubator.apache.org/chukwa
Sqoop RDBMS 데이터 수집 http://sqoop.apache.org
Flume 이벤트 데이터 수집 http://flume.apache.org
Kafka 데이터 수집 http://kafka.apache.org
S4 이벤트 데이터 처리 http://incubator.apache.org/s4/
데이터 직렬화 Thrift 데이터 직렬화 http://thrift.apache.org
Avro 데이터 직렬화 http://avro.apache.org
적재 HDFS 하둡 분산 파일 시스템 http://hadoop.apache.org
Fuse-DFS 마운터블 HDFS http://wiki.apache.org/hadoop/MountableHDFS
Hcatalog 테이블 관리 http://incubator.apache.org/hcatalog/
데이터 모델링
및 처리 분석
MapReduce 데이터 분석 엔진
Mahout 데이터 마이닝 http://mahout.apache.org
Giraph 그래프 분석 http://giraph.apache.org
Hama 병렬 컴퓨팅 http://hama.apache.org
질의 지원 Pig 데이터 분석 언어 http://pig.apache.org
Hive 데이터 쿼리 언어 http://hive.apache.org
워크플로우 지원 Oozie 워크플로우 관리 http://oozie.apache.org
실시간 분석/검색 Hbase NoSQL http://hbase.apache.org
Lucene 검색엔진 http://lucene.apache.org/core/
모니터링 및 관리 Zookeeper 클러스터 관리 http://zookeeper.apache.org
Ambari 환경설정, 모니터링 http://incubator.apache.org/ambari
Whirr 클러스터 배포 http://whirr.apache.org
Bigtop 패키지 개발 http://bigtop.apache.org


구글(Google)과 하둡(Hadoop)의 솔루션 공개 비교

  Google 오픈소스(Hadoop 진영)
기능 발표년도 이름 발표년도 이름(제공처)
대용량 데이터 적재,
분산 배치 연산,
프로그래밍 지원
2004 GFS & MapReduce 2006 Hadoop(Apache)
배치 쿼리 2005 Sawzall 2008 Pig & Hive(Apache)
온라인 Key-Value 엔진 2006 BigTable 2008 Hbase(Apache)
온라인 쿼리 2010 Dremel / F1 2012 Impala(Cloudera)
트랜잭션 등 2012 Spanner ? ?



출처 : 대용량 데이터 분석 및 처리를 위한 Hadoop & NoSQL


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
04 8, 2013 13:11 04 8, 2013 13:11


Trackback URL : http://develop.sunshiny.co.kr/trackback/873

Leave a comment

« Previous : 1 : ... 142 : 143 : 144 : 145 : 146 : 147 : 148 : 149 : 150 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. It's amazing to pay a visit this s... 대구유흥 01 18,
  2. 안녕하세요^^ 배그핵
  3. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  4. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  5. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny

Recent Trackbacks

  1. pet friendly flats to rent in london pet friendly flats to rent in london 18 01
  2. los cabos luxury vacation los cabos luxury vacation 18 01
  3. get redirected here get redirected here 18 01
  4. Mysql - mysql 설치후 Character set... 멀고 가까움이 다르기 때문 %M

Calendar

«   01 2020   »
      1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30 31  

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2817447 HIT
TODAY 0 HIT
YESTERDAY 647 HIT