본 문서는 Framer를 배우는 국내 사용자들이 한글 자료의 부족으로 겪는 어려움을 해결하고자, 공식 블로그의 내용을 한국어로 번역하고 실무에 유용한 정보를 추가했습니다. 프레이머를 사용하는 여러분께 작게나마 도움이 되길 바랍니다.

robots.txt란?

robots.txt는 검색 엔진과 같은 웹 크롤러(로봇)에게 웹사이트의 어떤 페이지는 검색 결과에 포함시켜도 되는지, 어떤 페이지는 크롤링(수집)하지 말아야 하는지를 알려주는 지침 파일입니다.

예를 들어, 로그인 페이지나 관리자 페이지처럼 공개되지 않아야 하는 영역은 robots.txt를 통해 검색 대상에서 제외시킬 수 있습니다. 이 파일은 검색 엔진 최적화(SEO) 측면에서도 중요한 역할을 하며, 검색 로봇이 웹사이트를 보다 효율적으로 탐색하고, 필요한 콘텐츠만 정확하게 색인(indexing)할 수 있도록 도와줍니다.

robots.txt 확인 방법

Framer로 만든 웹사이트는 robots.txt 파일을 자동으로 생성하므로 별도의 설정 없이 사이트 주소 뒤에/robots.txt를 붙이면 바로 확인할 수 있습니다.

https://framerspace.com/robots.txt

해당 주소에 접속하면, 웹사이트가 검색 엔진 크롤러에게 어떤 지침을 주고 있는지 텍스트 형식으로 확인할 수 있습니다.
Note: robots.txt는 일반 사용자에게 보여지는 페이지가 아니라, 검색 엔진과 로봇을 위한 기술적인 안내서입니다. 잘못 설정하면 중요한 페이지가 검색되지 않을 수 있으니 주의가 필요해요.

본 글은 Framer 공식 블로그의 ‘How to access the robots.txt file’을 번역·각색한 콘텐츠입니다.