robots.txt-그 이유입니다
웹 사이트를 실행중인 경우 FTP 프로그램에서 robots.txt라는 파일을 이미 발견했을 수 있습니다. 이 텍스트 파일 뒤에 무엇이 있으며이 실용적인 팁에서 왜 중요한지 알아볼 수 있습니다.
robots.txt-검색 엔진 요구 사항
각 도메인에는 robots.txt가 있어야합니다. SEO의 중요한 부분입니다.
- 검색 엔진은 크롤러와 함께 작동합니다. 이들은 작고 독립적으로 작동하는 프로그램입니다. 그들은 인터넷에서 콘텐츠를 검색합니다. 웹 사이트를 읽고 색인을 생성합니다.
- 크롤러는 독립적으로 작동하기 때문에 검색 엔진 봇 또는 로봇이라고도합니다.
- 웹 사이트의 robots.txt는 크롤러에게 읽을 수있는 디렉토리와 읽을 수없는 디렉토리를 알려줍니다.
- 이 정보를 얻기 위해 크롤러는 먼저 도메인의 robots.txt를 찾습니다. 이러한 이유로 robots.txt는 디렉토리 구조의 최상위 레벨에 있어야합니다. 디렉토리로 이동해서는 안됩니다. 그러면 봇은 이러한 텍스트 파일을 찾지 못합니다.
- 간단히 말해 robots.txt는 검색 엔진에 두 가지 정보를 크롤링합니다. "User-agent :"항목은 robots.txt에서 사용자 에이전트로 처리되는 로봇을 지정합니다. 다음 지침이 적용됩니다.
- 그 뒤에 "allow :"또는 "disallow :"항목이옵니다. 봇이 크롤링 할 수있는 디렉토리 및 서브 디렉토리 및 인덱싱이 뒤에 나열 될 때 제외해야하는 디렉토리.
- "허용 :"항목은 덜 중요합니다. 명시 적으로 제외되지 않은 것은 어쨌든 로봇에 의해 색인됩니다.
- Drupal과 같은 일부 CMS는 설치 중에 직접 robots.txt를 만듭니다. WordPress에서는 플러그인을 사용하여 robots.txt를 만들 수 있습니다.
"보통 많은 요청"이라는 Google 메시지가 표시되면 다음 실용적인 팁에서 수행 할 수있는 작업을 확인할 수 있습니다.