검색 로봇 제어
Posted 05 28, 2009 11:05, Filed under: Language/Html
# 한번의 광고 클릭으로, 당신을 대신해서 불우이웃을 도울 기회가 많아집니다.
# 참고 사이트
http://www.robotstxt.org/meta.html
# 검색로봇 제어
일부 페이지별 검색로봇에 대한 명령은 <meta name="ROBOTS" />라는 형식으로 지정한다.
(모든 검색엔진에 유효한 명령은 아님)
<head>
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
<title>웹 구조의 이해</title>
# content 속성에는 아래와같은 값을 지정할수 있고 복수지정할때에는 콤마로 구분한다.
검색로봇은 대소문자를 구분하지 않는다.
# ALL : 'INDEX, FOLLOW'를 지정한것과 같다.
# NONE : 'NOINDEX, NOFOLLOW'를 지정한것과 같다.
# INDEX : 그 페이지를 수집대상으로 한다.(검색결과에 나타남)
# FOLLOW : 그 페이지를 포함해 링크가 걸린곳을 수집대상으로 한다.
# NOINDEX : 그 페이지를 수집대상에서 제외(검색결과에 나타나지 않음)
# NOFOLLOW : 그 페이지를 포함해 링크가 걸린곳을 수집대상으로 하지 않는다.
# NOARCHIVE : 그 페이지를 캐시하지 않는다.
# NOIMAGEINDEX : 그 페이지에 포함된 이미지를 검색대상에서 제외한다.
# NOIMAGECLICK : 그 페이지에 포함된 이미지에의 링크를 방지한다.
# 구글의 검색 로봇만 제어
<meta name="GOOGLEBOT" content="NOINDEX, NOFOLLOW" />
# 구글에서 검색된 페이지 삭제 요청
http://www.google.co.kr/support/webmasters/bin/topic.py?topic=8459
## Robot.txt 이용 하여 검색로봇 제어
robots.txt 로 파일을 생성하여 사이트의 루트 디렉토리 가장 위에 위치하는 폴더에 저장한다.
http://www.robotstxt.org/meta.html
# 검색로봇 제어
일부 페이지별 검색로봇에 대한 명령은 <meta name="ROBOTS" />라는 형식으로 지정한다.
(모든 검색엔진에 유효한 명령은 아님)
<head>
<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />
<title>웹 구조의 이해</title>
# content 속성에는 아래와같은 값을 지정할수 있고 복수지정할때에는 콤마로 구분한다.
검색로봇은 대소문자를 구분하지 않는다.
# ALL : 'INDEX, FOLLOW'를 지정한것과 같다.
# NONE : 'NOINDEX, NOFOLLOW'를 지정한것과 같다.
# INDEX : 그 페이지를 수집대상으로 한다.(검색결과에 나타남)
# FOLLOW : 그 페이지를 포함해 링크가 걸린곳을 수집대상으로 한다.
# NOINDEX : 그 페이지를 수집대상에서 제외(검색결과에 나타나지 않음)
# NOFOLLOW : 그 페이지를 포함해 링크가 걸린곳을 수집대상으로 하지 않는다.
# NOARCHIVE : 그 페이지를 캐시하지 않는다.
# NOIMAGEINDEX : 그 페이지에 포함된 이미지를 검색대상에서 제외한다.
# NOIMAGECLICK : 그 페이지에 포함된 이미지에의 링크를 방지한다.
# 구글의 검색 로봇만 제어
<meta name="GOOGLEBOT" content="NOINDEX, NOFOLLOW" />
# 구글에서 검색된 페이지 삭제 요청
http://www.google.co.kr/support/webmasters/bin/topic.py?topic=8459
## Robot.txt 이용 하여 검색로봇 제어
robots.txt 로 파일을 생성하여 사이트의 루트 디렉토리 가장 위에 위치하는 폴더에 저장한다.
User-agent:* 에서 *은 모든 검색로봇에 대하여를 의미
# robots.txt 내용
Uesr-agent:* -> 모든 검색엔진을 막음. 구글만 막으려면 : User-agent: Googlebot
Disallow: / -> 모든 위치를 막음.
-> 특정 주소, 디렉토리만 막고자 할경우 Disallow: / 없애고 아래와 같이
Disallow: /selected
Disallow: /reports/stat
# robots.txt 내용
Uesr-agent:* -> 모든 검색엔진을 막음. 구글만 막으려면 : User-agent: Googlebot
Disallow: / -> 모든 위치를 막음.
-> 특정 주소, 디렉토리만 막고자 할경우 Disallow: / 없애고 아래와 같이
Disallow: /selected
Disallow: /reports/stat
-> 특정 검색엔젠에 대해서만 접근 허용
Uesr-agent: google.com
Disallow:
Uesr-agent: *
Disallow: /
-> 모든 검색엔진에 대해 모든 홈페이지 접근을 허용하지만 /directory/a.html 의 접근을 거부
User-Agent:*
Disallow:/directory/a.html
-> 모든 검색엔진에 대해 모든 홈페이지 접근을 거부하지만 디렉토리명이 information인 것에 대한 접근을 허가
User-Agent:*
Disallow: /
Allow:/information
-> 파일 확장자로 차단 (ex: 사이트의 모든 PHP프로그램은 검색로봇이 접근을 거부)
User-agent: *
Disallow: /*.php
"Language / Html" 분류의 다른 글
| HTML Codes (0) | 2009/12/16 |
| Javascript - form 타겟을이용 값을 팝업창으로 넘기기 (0) | 2009/01/08 |
| Div 태그 속성 (0) | 2008/12/25 |
| Html - 페이지 중앙에 해당 링크페이지 레이어 넣기 - div, iframe 태그를 이용 (0) | 2008/12/25 |
| [펌글]Html - Image Map 이미지맵 태그_좌표값 읽기(coords) (0) | 2008/12/23 |
# 한번의 광고 클릭으로, 당신을 대신해서 불우이웃을 도울 기회가 많아집니다.
Response :
0 Trackback
,
0 Comment
Trackback URL : http://develop.sunshiny.co.kr/trackback/221