# 미국 항공편 운항 통계 데이터 컬럼 정보

Num Name Description
1  Year  연도, 1987-2008
2  Month  월, 1~12
3  DayofMonth  일, 1~31
4  DayOfWeek  요일, 1 (Monday) - 7 (Sunday)
5  DepTime  실제 출발 시각, 연지 시각 기준 hhmm 형태로 표기
6  CRSDepTime  예정 출발 시각, 연지 시각 기준 hhmm 형태로 표기
7  ArrTime  실제 도착 시각, 연지 시각 기준 hhmm 형태로 표기
8  CRSArrTime  예정 도착 시각, 연지 시각 기준 hhmm 형태로 표기
9  UniqueCarrier  항공사 코드
10  FlightNum  항공편 번호
11  TailNum  공기 등록 번호(비행기 고리 날개 쪽에 표기)
12  ActualElapsedTime  실제 경과 시간, 분으로 표기
13  CRSElapsedTime  예정 경과 시간, 분으로 표기
14  AirTime  방송시간, 분으로 표기
15  ArrDelay  도착 지연 시간, 분으로 표기
16  DepDelay  출발 지연 시간, 분으로 표기
17  Origin  출발지 공항 코드, IATA(국제 항공 운송 협회) 기준
18  Dest  도착지 공항 코드, IATA(국제 항공 운송 협회) 기준
19  Distance  비행 거리, 마일 기준
20  TaxiIn  비행기 바퀴가 지면에 닿아서(착률) 목적지 공항의 게이트에 도착할 때까지 시간
21  TaxiOut  출발지 공항의 게이트에서 출발해서 바퀴가 지면에서 떨어질 (이륙)까지의 시간
22  Cancelled  비행 취소 여부 > 1:, 0:아이오
23  CancellationCode  비행 취소 코드 > A:항공사, B:기상, C:NAS(National Airspace System), D:보안
24  Diverted  우회 여부 > 1:, 0:아니오
25  CarrierDelay  항공사 지연 시간, 분으로 표기
26  WeatherDelay  기상 지연 시간, 분으로 표기
27  NASDelay  NAS 지연 시간, 분으로 표기
28  SecurityDelay  보안 지연 시간, 분으로 표기
29  LateAircraftDelay  연착 항공기 지연 시간, 분으로 표기


# 항공사 자료 분석 준비 작업(HDFS 적재)


데이터 다운로드 사이트 : http://stat-computing.org/dataexpo/2009/the-data.html

1987~2008년도 데이터 모두 다운로드

[hadoop@master data]$ wget http://stat-computing.org/dataexpo/2009/1987.csv.bz2
.
[hadoop@master data]$ wget http://stat-computing.org/dataexpo/2009/2008.csv.bz2

bz2 파일 압축 풀기
[hadoop@master data]$ bzip2 -d *.bz2

csv 파일 리스트
[hadoop@master data]$ ls -al
++계 11747404
drwxrwxr-x.  2 hadoop hadoop      4096 2013-05-11 17:01 .
drwx------. 11 hadoop hadoop      4096 2013-05-11 16:46 ..
-rw-rw-r--.  1 hadoop hadoop 127162942 2008-08-22 12:55 1987.csv
-rw-rw-r--.  1 hadoop hadoop 501039472 2008-08-22 13:03 1988.csv
-rw-rw-r--.  1 hadoop hadoop 486518821 2008-08-22 13:11 1989.csv
-rw-rw-r--.  1 hadoop hadoop 509194687 2008-08-22 13:19 1990.csv
-rw-rw-r--.  1 hadoop hadoop 491210093 2008-08-22 13:28 1991.csv
-rw-rw-r--.  1 hadoop hadoop 492313731 2008-08-22 13:36 1992.csv
-rw-rw-r--.  1 hadoop hadoop 490753652 2008-08-22 13:44 1993.csv
-rw-rw-r--.  1 hadoop hadoop 501558665 2008-08-22 13:52 1994.csv
-rw-rw-r--.  1 hadoop hadoop 530751568 2008-08-22 14:02 1995.csv
-rw-rw-r--.  1 hadoop hadoop 533922363 2008-08-22 14:10 1996.csv
-rw-rw-r--.  1 hadoop hadoop 540347861 2008-08-22 14:19 1997.csv
-rw-rw-r--.  1 hadoop hadoop 538432875 2008-08-22 14:28 1998.csv
-rw-rw-r--.  1 hadoop hadoop 552926022 2008-08-22 14:37 1999.csv
-rw-rw-r--.  1 hadoop hadoop 570151613 2008-08-22 14:46 2000.csv
-rw-rw-r--.  1 hadoop hadoop 600411462 2008-08-22 14:55 2001.csv
-rw-rw-r--.  1 hadoop hadoop 530507013 2008-08-22 15:04 2002.csv
-rw-rw-r--.  1 hadoop hadoop 626745242 2008-08-22 15:15 2003.csv
-rw-rw-r--.  1 hadoop hadoop 669879113 2008-08-22 15:27 2004.csv
-rw-rw-r--.  1 hadoop hadoop 671027265 2008-08-22 15:39 2005.csv
-rw-rw-r--.  1 hadoop hadoop 672068096 2008-08-22 15:51 2006.csv
-rw-rw-r--.  1 hadoop hadoop 702878193 2008-08-22 16:03 2007.csv
-rw-rw-r--.  1 hadoop hadoop 689413344 2009-06-10 11:53 2008.csv

전체 csv 파일 용량
[hadoop@master data]$ du -sh .
12G     .

csv 파일 정보 일부 확인
[hadoop@master data]$ more 1987.csv
Year,Month,DayofMonth,DayOfWeek,DepTime,CRSDepTime,ArrTime,CRSArrTime,UniqueCarrier,FlightNum,TailNum,ActualElapsedTime,CRSElapsedTi
me,AirTime,ArrDelay,DepDelay,Origin,Dest,Distance,TaxiIn,TaxiOut,Cancelled,CancellationCode,Diverted,CarrierDelay,WeatherDelay,NASDe
lay,SecurityDelay,LateAircraftDelay
1987,10,14,3,741,730,912,849,PS,1451,NA,91,79,NA,23,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,15,4,729,730,903,849,PS,1451,NA,94,79,NA,14,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,17,6,741,730,918,849,PS,1451,NA,97,79,NA,29,11,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,18,7,729,730,847,849,PS,1451,NA,78,79,NA,-2,-1,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA
1987,10,19,1,749,730,922,849,PS,1451,NA,93,79,NA,33,19,SAN,SFO,447,NA,NA,0,NA,0,NA,NA,NA,NA,NA

업로드할 data 디렉토리 생성
[hadoop@master bin]$ ./hadoop fs -mkdir /user/hadoop/data
[hadoop@master bin]$ ./hadoop fs -ls data

파일 업로드
[hadoop@master bin]$ ./hadoop fs -put /home/hadoop/data/* data

업로드된 파일 확인
[hadoop@master bin]$ ./hadoop fs -lsr /user/hadoop/data
drwxr-xr-x   - hadoop supergroup          0 2013-05-11 17:23 /user/hadoop/data
-rw-r--r--   2 hadoop supergroup  127162942 2013-05-11 17:16 /user/hadoop/data/1987.csv
-rw-r--r--   2 hadoop supergroup  501039472 2013-05-11 17:17 /user/hadoop/data/1988.csv
-rw-r--r--   2 hadoop supergroup  486518821 2013-05-11 17:05 /user/hadoop/data/1989.csv
-rw-r--r--   2 hadoop supergroup  509194687 2013-05-11 17:06 /user/hadoop/data/1990.csv
-rw-r--r--   2 hadoop supergroup  491210093 2013-05-11 17:15 /user/hadoop/data/1991.csv
-rw-r--r--   2 hadoop supergroup  492313731 2013-05-11 17:16 /user/hadoop/data/1992.csv
-rw-r--r--   2 hadoop supergroup  490753652 2013-05-11 17:17 /user/hadoop/data/1993.csv
-rw-r--r--   2 hadoop supergroup  501558665 2013-05-11 17:09 /user/hadoop/data/1994.csv
-rw-r--r--   2 hadoop supergroup  530751568 2013-05-11 17:21 /user/hadoop/data/1995.csv
-rw-r--r--   2 hadoop supergroup  533922363 2013-05-11 17:19 /user/hadoop/data/1996.csv
-rw-r--r--   2 hadoop supergroup  540347861 2013-05-11 17:12 /user/hadoop/data/1997.csv
-rw-r--r--   2 hadoop supergroup  538432875 2013-05-11 17:22 /user/hadoop/data/1998.csv
-rw-r--r--   2 hadoop supergroup  552926022 2013-05-11 17:13 /user/hadoop/data/1999.csv
-rw-r--r--   2 hadoop supergroup  570151613 2013-05-11 17:14 /user/hadoop/data/2000.csv
-rw-r--r--   2 hadoop supergroup  600411462 2013-05-11 17:07 /user/hadoop/data/2001.csv
-rw-r--r--   2 hadoop supergroup  530507013 2013-05-11 17:10 /user/hadoop/data/2002.csv
-rw-r--r--   2 hadoop supergroup  626745242 2013-05-11 17:20 /user/hadoop/data/2003.csv
-rw-r--r--   2 hadoop supergroup  669879113 2013-05-11 17:13 /user/hadoop/data/2004.csv
-rw-r--r--   2 hadoop supergroup  671027265 2013-05-11 17:18 /user/hadoop/data/2005.csv
-rw-r--r--   2 hadoop supergroup  672068096 2013-05-11 17:23 /user/hadoop/data/2006.csv
-rw-r--r--   2 hadoop supergroup  702878193 2013-05-11 17:11 /user/hadoop/data/2007.csv
-rw-r--r--   2 hadoop supergroup  689413344 2013-05-11 17:22 /user/hadoop/data/2008.csv


참고 : 시작하세요! 하둡 프로그래밍


※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
05 11, 2013 17:31 05 11, 2013 17:31


Trackback URL : http://develop.sunshiny.co.kr/trackback/889

Leave a comment

« Previous : 1 : ... 127 : 128 : 129 : 130 : 131 : 132 : 133 : 134 : 135 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. Mysql - mysql 설치후 Character set... 멀고 가까움이 다르기 때문 %M

Calendar

«   10 2019   »
    1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31    

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2724044 HIT
TODAY 510 HIT
YESTERDAY 589 HIT