Apa itu LLMs.txt?
File llms.txt adalah standar yang diusulkan yang dimaksudkan untuk membantu model bahasa besar (LLM) lebih memahami dan menggunakan konten dari situs web.
Ini dia spesifikasi resmi:
Idenya cukup mudah: Daripada membiarkan perayap AI berkeliaran di situs Anda, Anda memberi mereka daftar konten terpenting Anda yang dikurasi. Untuk memberi tahu AI konten apa di situs Anda yang harus benar-benar diperhatikan.
Kami sudah memiliki standar seperti itu robots.txt Dan sitemaps untuk membantu mesin pencari menavigasi situs web dengan lebih efisien. Yang berbeda dari llms.txt adalah ia dirancang khusus untuk model AI yang mungkin menggunakan konten Anda untuk menjawab pertanyaan atau menghasilkan respons bagi pengguna.
Ada juga spekulasi bahwa penerapan llms.txt dapat memberikan visibilitas lebih besar pada situs web dalam respons yang dihasilkan AI dan berpotensi mendorong lebih banyak lalu lintas rujukan.
Sebelum kita membongkar llms.txt dan menentukan apakah ini layak untuk diterapkan, mari kita pahami mengapa ada kebutuhan untuk membuat standar web lain.
Masalah Apa yang LLMs.txt Coba Selesaikan?
llms.txt dirancang untuk membantu perayap AI menjelajahi situs web dengan lebih efektif. Saat ini, crawler ini menghadapi dua tantangan besar:
- Situs web modern sulit dibaca. Kebanyakan perayap AI hanya dapat membaca HTML dasar laman Anda—bukan konten yang dimuat oleh JavaScript. Artinya, llms.txt menyediakan format yang jelas dan terstruktur yang membantu perayap AI mencerna informasi dengan cepat.
- Sebagian besar situs web memiliki informasi yang melimpah. Saat perayap AI mengunjungi situs web Anda, mereka belum tentu mengetahui apa yang penting. Jika mereka menghabiskan waktu untuk mencari halaman yang tidak berguna (seperti postingan blog lama), mereka mungkin menghasilkan respons berdasarkan informasi yang kurang optimal—llms.txt membantu memecahkan masalah ini.
llms.txt juga dapat mengurangi inefisiensi dalam pelatihan model bahasa berukuran besar.
Ada biaya komputasi besar yang terlibat dalam pelatihan LLM. Dengan panduan llms.txt, LLM cenderung tidak membuang sumber daya untuk konten yang tidak relevan.
Bagaimana Struktur File LLMs.txt?
Menurut standar yang diusulkan, file llms.txt harus terstruktur dan diformat dalam Markdown.
Penurunan harga adalah bahasa markup ringan yang menggunakan sintaks pemformatan teks biasa untuk membuat dokumen terstruktur. (Ini adalah format yang sama yang digunakan pengembang dalam file GitHub README, dan mudah diurai oleh sistem AI.)
Beberapa elemen penurunan harga umum yang akan Anda gunakan dalam file llms.txt meliputi:
- # untuk heading H1, ## untuk H2s, ### untuk H3s, dan seterusnya
- > untuk blockquote untuk menyorot deskripsi penting
- – atau * untuk poin-poin dalam daftar tidak berurutan
- [text](url) untuk hyperlink ke konten Anda
- : untuk menambahkan deskripsi di samping tautan guna membantu menjelaskan tujuannya
- “` untuk blok kode saat berbagi contoh teknis
Spesifikasi resmi llms.txt memberikan contoh yang sangat mendasar tentang tampilan file Anda. Namun jika situs web Anda besar atau kompleks, Anda mungkin ingin menambahkan lebih banyak struktur—menggunakan H3 dan H4 untuk membuat subbagian, menggabungkan tabel untuk mengatur data, atau menyertakan cuplikan kode untuk menunjukkan penggunaan API.
Tidak ada yang salah dengan itu. File penurunan harga sepenuhnya dapat dibaca oleh perayap AI, jadi Anda aman selama Anda menggunakan sintaksis yang valid. Struktur tambahan mungkin sebenarnya memberikan lebih banyak konteks kepada crawler AI.
Berikut contoh sederhana mengikuti spesifikasi dasar:
# Company Name
> Brief description of what your company does
## Products
- [Product 1](https://example.com/product-1): Description of this product
- [Product 2](https://example.com/product-2): Description of this product
## Documentation
- [Getting Started](https://example.com/docs/getting-started): Introduction to our platform
- [API Reference](https://example.com/api): Complete API documentation
Apakah Merek Menggunakan Standar LLMs.txt?
Ya, beberapa SaaS dan perusahaan yang berfokus pada pengembang sudah menggunakan file llms.txt di situs web mereka.
Namun, adopsi secara keseluruhan cukup khusus. Menurut NerdyData saja 951 domain (sebagian kecil dari web) telah menerbitkan file llms.txt pada Juli 2025.
Berikut adalah beberapa contoh perusahaan:
|
Merek |
Apa yang Menjadi Fokus File |
Struktur Keseluruhan |
|
Dokumen pengembang |
Menggunakan beberapa tingkat judul (#, ##, ###, ####) untuk membagi konten menjadi beberapa bagian terpisah. Ini juga mencakup contoh kode lengkap, banyak tautan, dan catatan bermanfaat. Secara keseluruhan, ini terasa seperti basis pengetahuan yang komprehensif. |
|
|
Dokumen pengembang |
Dimulai dengan baris deskriptif di bagian atas, seperti judul:, deskripsi:, dan tag: untuk memberikan gambaran tentang dokumentasi tertentu setelahnya. Dan menggunakan header yang jelas (#, ##, ###) untuk mengatur konten ke dalam bagian logis. Di setiap bagian, Anda akan menemukan petunjuk langkah demi langkah dan contoh kode praktis. |
|
|
Dokumen pengembang |
Menggunakan sejumlah kecil judul dan menciptakan struktur yang sangat mendasar. Sebagian besar terdiri dari daftar panjang tautan dan deskripsi di sebelahnya untuk membantu menjelaskan tujuan mereka. |
|
|
Dokumen pengembang |
Menggunakan judul di bagian atas (#, ##) dan kemudian melompat langsung ke daftar tautan yang sangat panjang. Tautan tidak dikelompokkan menjadi beberapa bagian, dan tidak ada subjudul, ringkasan, atau deskripsi. |
Perhatikan betapa berbedanya pendekatan setiap perusahaan terhadap file llms.txt mereka. Masing-masing menggunakan struktur yang berbeda.
Tidak ada yang salah dengan ini. Selama mereka menggunakan Markdown yang valid, file tersebut dapat dibaca mesin dan dapat dengan mudah diproses oleh sistem AI.
Selain itu, tidak satu pun dari perusahaan ini yang memiliki file yang berfokus pada situs web mereka secara keseluruhan. Itu adalah pilihan pribadi yang mereka buat. Anda dapat membuat file yang fokus pada keseluruhan situs Anda atau hanya satu bagian tertentu.
Haruskah Anda Menggunakan LLMs.txt di Situs Anda?
Menggunakan llms.txt mungkin tidak sepadan dengan waktu Anda saat ini, kecuali Anda hanya penasaran dan ingin bereksperimen.
llms.txt saat ini hanyalah sebuah standar yang diusulkan dan bukan sesuatu yang benar-benar digunakan oleh perusahaan AI besar.
Tak satu pun dari perusahaan LLM seperti OpenAI, Google, atau Anthropic yang secara resmi mengatakan bahwa mereka mengikuti file-file ini ketika mereka merayapi situs web.
John Mueller dari Google juga mengonfirmasi hal ini di Bluesky:
Meski begitu, ada beberapa sinyal menarik.
Misalnya, Anthropic telah menerbitkan file llms.txt di situs webnya sendiri. Itu tidak berarti perayap AI mereka benar-benar menggunakan file-file ini—tetapi ini menunjukkan bahwa mereka setidaknya terbuka terhadap gagasan tersebut.
Kami masih dalam tahap spekulasi awal di mana orang-orang mengimplementasikan file tersebut dan berharap file tersebut dapat berguna suatu hari nanti.
Pada bulan Maret 2025, kami menerapkan file ini di salah satu situs saudara kami, Search Engine Land, untuk melihat apakah file ini menawarkan keuntungan yang berarti dalam hal visibilitas dan lalu lintas AI.
Dalam pengujian kami, kami tidak menemukan korelasi antara penerapan llms.txt dan peningkatan kinerja pada hasil AI.
Lalu lintas LLM ke Search Engine Land telah meningkat selama beberapa bulan terakhir, namun hal ini disebabkan oleh faktor lain selain file llms.txt.
Kami juga menganalisis log server untuk melihat apakah crawler AI benar-benar mengakses file tersebut. Dari pertengahan Agustus hingga akhir Oktober 2025, halaman llms.txt diterima nol kunjungan dari bot Google Extended (perayap AI Google), GPTbot (perayap OpenAI), PerplexityBot, atau ClaudeBot.
Meskipun perayap tradisional seperti Googlebot dan Bingbot mengunjungi file tersebut, file tersebut hanya menerima sedikit klik. Itu berarti mereka tidak memperlakukan file tersebut dengan kepentingan khusus.
Jika Anda juga ingin bereksperimen dengan llms.txt di situs Anda sendiri, ikuti petunjuk langkah demi langkah di bawah tentang cara menerapkannya.
Cara Membuat File LLMs.txt (Langkah demi Langkah)
Ini bersifat teknis, jadi sebaiknya libatkan pengembang dalam prosesnya saat Anda mengikuti tiga langkah berikut:
1. Putuskan Konten Apa yang Ingin Anda Tampilkan
Sebelum membuat file, tentukan halaman atau bagian mana dari situs web Anda yang harus disorot untuk perayap AI.
Katakanlah Anda ingin membuat file llms.txt untuk seluruh situs web Anda. Setidaknya, pertimbangkan:
- Halaman produk atau layanan
- Postingan blog terkini
- Halaman harga
- Tentang kami halaman
- Halaman kontak
Biasanya ini adalah halaman yang akan memberi AI gambaran bagus tentang apa yang dilakukan bisnis Anda dan bagaimana Anda membantu pelanggan.
2. Buat Filenya
Buka editor teks seperti Notepad atau Visual Studio Code dan buat file baru bernama llms.txt.
Anda perlu memformat file menggunakan Markdown. Sekali lagi, pengembang sangat membantu dalam membuat file.
Berikut tampilan struktur filenya:
# Website Name
> Brief description of your website
Important notes:
- Key differentiator or important detail about your business
- Another important note about what you do or don't do
- Third key point that helps define your offering
## Products
- [Product name 1](https://example.com/product-1): Short description of your product's main feature and benefit
- [Product name 2](https://example.com/product-2): Short description of your product's main feature and benefit
- [Product name 3](https://example.com/product-3): Short description of your product's main feature and benefit
## Blog Content
- [Blog post title 1](https://example.com/blog-post-1): Brief description of what this blog post covers and why it's useful
- [Blog post title 2](https://example.com/blog-post-2): Brief description of what this blog post covers and why it's useful
- [Blog post title 3](https://example.com/blog-post-3): Brief description of what this blog post covers and why it's useful
## Company
- [About us](https://example.com/about): Company background, mission, and team information
- [Contact](https://example.com/contact): How to reach our team and get in touch
- [Pricing](https://example.com/pricing): Overview of plans, features, and costs for using our products
3. Unggah File ke Situs Web Anda
Tempatkan file Anda yang sudah selesai di lokasi yang tepat sehingga perayap AI secara teoritis dapat menemukannya.
Lokasi tepatnya bergantung pada cakupan file llms.txt Anda:
- Jika mencakup seluruh situs web Anda, unggah ke direktori root Anda (yaitu, “https://[yourdomain].com”) sehingga dapat diakses di “https://[yourdomain.com]/llms.txt”
- Jika file khusus tentang dokumentasi, letakkan di subdirektori yang sesuai (misalnya, “https://[docs.yourdomain.com]/llms.txt)
Anda memerlukan bantuan pengembang untuk benar-benar mengunggah file tersebut. File ini harus ditempatkan di server Anda—biasanya melalui panel kontrol hosting web Anda, seperti cPanel.
Masuk ke penyedia hosting Anda lalu navigasikan ke cPanel > Manajer File.
Lalu pergi ke direktori yang benar. Jika file llms.txt Anda ditujukan untuk keseluruhan situs, buka folder public_html/. (Itu adalah direktori root untuk sebagian besar domain.)
Kalau untuk subdomain seperti “https://[docs.yourdomain.com],” navigasikan ke folder yang ditetapkan ke subdomain tersebut—sering diberi nama /docs/ atau serupa.
Unggah file llms.txt Anda di sana dan simpan perubahannya.
Setelah file diunggah, konfirmasikan semuanya berfungsi dengan membuka tab baru dan mengunjungi URL secara langsung.
Anda juga dapat menjalankan audit cepat situs web Anda di Semrush’s Audit Situs alat untuk mengonfirmasi bahwa llms.txt Anda diambil dengan benar.
Selain itu, jangan lupa untuk terus memperbarui file seiring waktu. Tinjau tautan secara berkala untuk menghapus halaman usang. Dan tambahkan tautan ke konten baru yang Anda tambahkan ke situs web.
