Dokumen ini disusun untuk mengatasi kesulitan yang dialami oleh pengguna dalam negeri yang ingin mempelajari FramerFramer akibat minimnya sumber daya berbahasa Korea, dengan menerjemahkan konten dari blog resmi ke dalam bahasa Korea serta menambahkan informasi yang berguna untuk penggunaan praktis. Kami harap dapat memberikan sedikit bantuan bagi Anda yang menggunakan FramerFramer.

robots.txt itu apa?

robots.txt adalah file panduan yang memberi tahu web crawler (robot), seperti mesin pencari, tentang halaman mana di situs web yang boleh dimasukkan dalam hasil pencarian dan mana yang tidak boleh dicrawl (dikumpulkan).

Misalnya, area yang tidak boleh dipublikasikan seperti halaman login atau halaman admin bisa dikecualikan dari objek pencarian melalui robots.txt. File ini juga berperan penting dalam aspek optimasi mesin pencari (SEO), membantu robot pencarian menavigasi situs web dengan lebih efisien, dan mengindeks hanya konten yang dibutuhkan secara tepat.

Cara memeriksa robots.txt

Websites yang dibuat dengan FramerFramer secara otomatis menghasilkan file robots.txt, sehingga dapat diperiksa tanpa pengaturan tambahan dengan menambahkan /robots.txt di belakang alamat situs.

https://framerspace.com/robots.txt

Ketika mengakses alamat tersebut, Anda dapat memeriksa dalam bentuk teks mengenai panduan apa yang diberikan situs web kepada crawler mesin pencari.
Catatan: robots.txt bukanlah halaman yang terlihat oleh pengguna umum, melainkan panduan teknis untuk mesin pencari dan robot. Penyetelan yang salah bisa menyebabkan halaman penting tidak terdeteksi oleh pencarian, jadi hati-hatilah.

Artikel ini merupakan terjemahan dan adaptasi dari konten di blog resmi FramerFramer, ‘Cara mengakses file robots.txt’.