블로그 돈버는 방법 15_티스토리 네이버 검색 최적화를 위한 robots.txt 등록 방법

robots.txt란?

robots.txt 파일은 '인터넷 검색엔진 로봇 배제 표준' 이며 크롤러가 사이트에서 액세스할 수 있는 URL을 검색엔진 크롤러에 알려 줍니다.

특정 크롤러가 웹사이트에서 지정된 파일 경로에 액세스 할 수 없게 권한을 차단하거나 허용할 수 있습니다.

 

한마디로 크롤러의 접근을 관리할 수 있게 만들어 주는 규칙 파일입니다.

각각의 크롤러들이 내가 발행한 포스팅을 모두다 접근하고 정보를 열람할 수 있게 권한을 설정한다면 훨씬더 많은 노출이 일어날 수 있겠죠? 

 

크롤러(crawler)란?

크롤러들은 웹사이트를 돌아다니면서 내가 수집할 수 있는지 없는지에대한 권한을 확인하고, 검색 결과를 네이버, 구글과 같은 검색 포털에 띄워주게 됩니다. 

각각의 포털에서는 자신에게 최적화 되어 있는 검색 크롤러들을 운영하고 있는데요. 

크롤러들이 마음대로 자신의 웹사이트나 인터넷 상에 올라와 있는 정보를 수집하게 되면 문제가 될 수도 있습니다. 

그래서 사람들이 크롤러가 접근하거나 혹은 접근하지 못하도록 권한을 설정해 놓았는데요. 

그 권한에 대한 정보를 담고 있는 파일이 바로 robots.txt 입니다. 

 

이 규칙파일 들을 생성하고 적용하는 방법에 대해 알아보도록 하겠습니다. 

 

 

네이버 웹마스터 도구를 이용한  robots.txt 생성 및 설정

우선 먼저 네이버 서치 어드바이저 사이트에 로그인하여 자신이 등록한 사이트를 클릭 후 웹마스터 도구로 들어갑니다. 그 후 왼쪽에 보이는 검증 메뉴에 웹 페이지 최적화를 클릭하여 자신의 웹페이지 최적화를 검증할 수 있는데요.

 

 

확인 클릭 후 최적화 검증이 시작됩니다. 

아무것도 입력하지 않으셔도 되요!!  

 

 

저는 이미 robots.txt가 정상적으로 존재하는 상태입니다. 

하지만

robots.txt가 존재하지 않는 상태라고 가정하고 설명을 진행해 보도록 할께요. 

 

robots.txt 간단 생성기를 통해 자신의 티스토리 블로그 사이트에 robots.txt 파일을 업로드 해보도록 하겠습니다.

 

1. 왼쪽 메뉴로 가서 robots.txt를 클릭합니다. 그런 다음 오른쪽에 robots.txt 검증과 robots.txt 간단 생성 방법입니다.

2. 간단 생성에 앞서 '네이버 검색로봇이'라는 것은 네이버 검색 로봇(Yeti)만 접근 가능한 설정이기 때문에, 포털사이트의 모든 로봇들도 검색할 수 있게 '모든 검색로봇이'로 설정 후

3. 오른쪽에 다운로드를 클릭하여 팝업이 뜨면 저장을 클릭하고 다운로드 위치를 정하고 다운로드합니다. *대표 검색로봇으로는 구글(Googlebot), 구글 이미지(Googlebot-image), Msn(MSNBot), Daum(Daumoa)등이 있습니다. 

 

 

 

설정 후 다운로드를 클릭하면 아래와 같은 robots.txt 파일이 생성됩니다. 

다운로드한 robots.txt 파일 위치를 잘 기억해주셔야 업로드할 때 파일을 찾을 수 있습니다. 

 

 

 

 

티스토리에 robots.txt 파일 업로드 하기

 

티스토리 관리메뉴 꾸미기 스킨편집으로 이동해 주세요. 

 

 

 

 

이제 자신의 티스토리 블로그를 접속하여 왼쪽의 관리 메뉴 중 꾸미기의 '스킨 편집' 메뉴를 클릭합니다.

그 후 오른쪽 위 보이는 'html 편집'을 클릭합니다. 대부분은 html 편집을 클릭하면 복잡한 태그를 생각합니다. 하지만 오늘은 간단히 파일만 업로드할 것입니다.

 

 

 

 

 

맨 위에 메뉴가 3가지가 더 있는데요. 

1. 파일업로드를 클릭해주세요. 그러면 자신의 블로그 사이트 루트에 깔려있는 파일들 보이는데요. 

2. 맨 밑에 +추가를 클릭하여 아까 다운로드한 robots.txt 파일을 지정해줍니다.

3. image/robots.txt 가 추가된 걸 확인한 후

4. 적용 을 클릭해 주세요. 

 

robots.txt의 업로드가 끝났습니다.

 

 

 

 

이제 업로드한 로봇 룰 파일이 잘 업로드 됐는지 검증을 해야 하는데요.

다시 네이버 서치 어드바이저 '웹마스터 도구' 메뉴를 가서 검증 메뉴의 robots.txt를 클릭합니다.

오른쪽에 보면 'robots.txt 정보'라는 글씨가 보이는데요.

오른쪽에 '수집요청'을 클릭하여 검색로봇 수집을 확인하시면 

 

 

아래와 같이 정상적으로 적용된 것을 확인할 수 있습니다.

 

 

다시 웹페이제 최적화 메뉴로 가서 확인을 해보도록 하겠습니다. 

정상적으로 수집이 되는걸 확인할 수 있습니다.