블로그 돈버는 방법 15_티스토리 네이버 검색 최적화를 위한 robots.txt 등록 방법 robots.txt란? robots.txt 파일은 '인터넷 검색엔진 로봇 배제 표준' 이며 크롤러가 사이트에서 액세스할 수 있는 URL을 검색엔진 크롤러에 알려 줍니다. 특정 크롤러가 웹사이트에서 지정된 파일 경로에 액세스 할 수 없게 권한을 차단하거나 허용할 수 있습니다. 한마디로 크롤러의 접근을 관리할 수 있게 만들어 주는 규칙 파일입니다. 각각의 크롤러들이 내가 발행한 포스팅을 모두다 접근하고 정보를 열람할 수 있게 권한을 설정한다면 훨씬더 많은 노출이 일어날 수 있겠죠? 크롤러(crawler)란? 크롤러들은 웹사이트를 돌아다니면서 내가 수집할 수 있는지 없는지에대한 권한을 확인하고, 검색 결과를 네이버, 구글과 같은 검색 포털에 띄워주게 됩니다. 각각의 포털에서는 자신에게 최적화 되어 있는 검색 .. 2022. 9. 8. 이전 1 다음
