검색 로봇 제어

Posted 05 28, 2009 11:05, Filed under: Language/Html

# 참고 사이트
http://www.robotstxt.org/meta.html

# 검색로봇 제어
일부 페이지별 검색로봇에 대한 명령은 <meta name="ROBOTS" />라는 형식으로 지정한다.
(모든 검색엔진에 유효한 명령은 아님)

<head>
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />

<title>웹 구조의 이해</title>

# content 속성에는 아래와같은 값을 지정할수 있고 복수지정할때에는 콤마로 구분한다.
    검색로봇은 대소문자를 구분하지 않는다.

#    ALL : 'INDEX, FOLLOW'를 지정한것과 같다.
#    NONE : 'NOINDEX, NOFOLLOW'를 지정한것과 같다.
#    INDEX : 그 페이지를 수집대상으로 한다.(검색결과에 나타남)
#    FOLLOW : 그 페이지를 포함해 링크가 걸린곳을 수집대상으로 한다.
#    NOINDEX : 그 페이지를 수집대상에서 제외(검색결과에 나타나지 않음)
#    NOFOLLOW : 그 페이지를 포함해 링크가 걸린곳을 수집대상으로 하지 않는다.
#    NOARCHIVE : 그 페이지를 캐시하지 않는다.
#    NOIMAGEINDEX : 그 페이지에 포함된 이미지를 검색대상에서 제외한다.
#     NOIMAGECLICK : 그 페이지에 포함된 이미지에의 링크를 방지한다.


# 구글의 검색 로봇만 제어
<meta name="GOOGLEBOT" content="NOINDEX, NOFOLLOW" />

# 구글에서 검색된 페이지 삭제 요청
http://www.google.co.kr/support/webmasters/bin/topic.py?topic=8459


## Robot.txt 이용 하여 검색로봇 제어

robots.txt 로 파일을 생성하여 사이트의 루트 디렉토리 가장 위에 위치하는 폴더에 저장한다.

User-agent:* 에서 *은 모든 검색로봇에 대하여를 의미

# robots.txt 내용
Uesr-agent:*                -> 모든 검색엔진을 막음. 구글만 막으려면 : User-agent: Googlebot
Disallow: /                   -> 모든 위치를 막음.

-> 특정 주소, 디렉토리만 막고자 할경우 Disallow: / 없애고 아래와 같이
Disallow: /selected      
Disallow: /reports/stat

-> 특정 검색엔젠에 대해서만 접근 허용
Uesr-agent: google.com
Disallow:
Uesr-agent: *
Disallow: /

-> 모든 검색엔진에 대해 모든 홈페이지 접근을 허용하지만 /directory/a.html 의 접근을 거부
User-Agent:*
Disallow:/directory/a.html

-> 모든 검색엔진에 대해 모든 홈페이지 접근을 거부하지만 디렉토리명이 information인 것에 대한 접근을 허가
User-Agent:*
Disallow: /
Allow:/information

-> 파일 확장자로 차단 (ex: 사이트의 모든 PHP프로그램은 검색로봇이 접근을 거부)
User-agent: *
Disallow: /*.php



※ 위 내용은, 여러 자료를 참고하거나 제가 주관적으로 정리한 것입니다.
   잘못된 정보나 보완이 필요한 부분을, 댓글 또는 메일로 보내주시면 많은 도움이 되겠습니다.
05 28, 2009 11:05 05 28, 2009 11:05


Trackback URL : http://develop.sunshiny.co.kr/trackback/221

Leave a comment

« Previous : 1 : ... 480 : 481 : 482 : 483 : 484 : 485 : 486 : 487 : 488 : ... 648 : Next »

Recent Posts

  1. HDFS - Python Encoding 오류 처리
  2. HP - Vertica ROS Container 관련 오류...
  3. HDFS - Hive 실행시 System Time 오류
  4. HP - Vertica 사용자 쿼리 이력 테이블...
  5. Client에서 HDFS 환경의 데이터 처리시...

Recent Comments

  1. 안녕하세요^^ 배그핵
  2. 안녕하세요^^ 도움이 되셨다니, 저... sunshiny
  3. 정말 큰 도움이 되었습니다.. 감사합... 사랑은
  4. 네, 안녕하세요. 댓글 남겨 주셔서... sunshiny
  5. 감사합니다 많은 도움 되었습니다!ㅎㅎ 프리시퀸스

Recent Trackbacks

  1. church building construction church building construction %M
  2. wireless clocks transmitter wireless clocks transmitter %M
  3. how to build a metal building how to build a metal building %M
  4. builder builder %M
  5. social media management company social media management company %M

Calendar

«   12 2019   »
1 2 3 4 5 6 7
8 9 10 11 12 13 14
15 16 17 18 19 20 21
22 23 24 25 26 27 28
29 30 31        

Bookmarks

  1. 위키피디아
  2. MysqlKorea
  3. 오라클 클럽
  4. API - Java
  5. Apache Hadoop API
  6. Apache Software Foundation
  7. HDFS 생태계 솔루션
  8. DNSBL - Spam Database Lookup
  9. Ready System
  10. Solaris Freeware
  11. Linux-Site
  12. 윈디하나의 솔라나라

Site Stats

TOTAL 2781574 HIT
TODAY 1157 HIT
YESTERDAY 1360 HIT