이전에 Route53 에서 TXT 레코드를 추가하고 robots.txt 파일의 내용을 집어 넣었던 기억이 있다. 키워드만 정리해 놓았었는데, 뭔지 궁금해서 정리해본다. 정의 "robots.txt" 파일은 웹사이트 소유자가 검색 엔진 로봇(또는 크롤러)에게 자신의 웹사이트의 어떤 부분을 크롤링하고 색인화할 수 있는지 제어하기 위한 표준 프로토콜입니다. 이 파일은 웹사이트의 루트 디렉터리에 위치하며, 검색 엔진 크롤러가 웹사이트를 방문할 때 이 파일을 확인하고 그에 따라 행동합니다. 왜 사용하는가? 크롤링 대상 제어 : 웹 사이트 소유자는 어떤 검색 엔진 크롤러가 그들의 웹 사이트를 크롤링할 수 있는지 제어하려는 경우 사용한다. 이를 통해 웹 페이지의 특정 부분을 숨기거나 숨기지 않고 검색 엔진에서 색인화할..
