この文書は、Framerを学ぶ韓国国内のユーザーが韓国語資料の不足で感じる困難を解決するため、公式ブログの内容を韓国語に翻訳し、実務に役立つ情報を追加しました。Framerを利用する皆さまに少しでも役立てば幸いです。

robots.txtとは？

robots.txtは、検索エンジンなどのウェブクローラー（ロボット）に対して、ウェブサイトのどのページを検索結果に含めてよいか、どのページはクロール（収集）してはいけないかを指示するためのファイルです。

例えば、ログインページや管理者ページのように公開されるべきでない領域は、robots.txtを通じて検索対象から除外することができます。このファイルは、検索エンジン最適化（SEO）の観点からも重要な役割を果たし、検索ロボットがウェブサイトをより効率的にナビゲートし、必要なコンテンツのみを正確にインデックスすることを助けます。

robots.txtの確認方法

Framerで作成したウェブサイトは自動的にrobots.txtファイルを生成するため、特別な設定をせずにサイトのアドレスの後に/robots.txtを付けるだけで確認できます。

https://framerspace.com/robots.txt

そのアドレスにアクセスすると、ウェブサイトが検索エンジンクローラーにどのような指示をしているかをテキスト形式で確認できます。
注: robots.txtは一般ユーザーに見せるページではなく、検索エンジンやロボット向けの技術的なガイドです。設定を間違えると重要なページが検索されないことがあるので注意が必要です。

この記事は、Framer公式ブログの「robots.txtファイルへのアクセス方法」を翻訳・脚色したコンテンツです。