ENBeli Produk
← Semua artikel
Empat gergasi AI bersetuju isyarat robots.txt untuk larang latihan AI
Berita AI

Empat gergasi AI bersetuju isyarat robots.txt untuk larang latihan AI

Satu baris dalam robots.txt kini boleh menyatakan larangan latihan AI kepada OpenAI, Google, Microsoft dan Anthropic serentak.

Ammar Rahimi · 1 November 2026 · 3 minit bacaan

Pada 30 Oktober 2026, empat syarikat AI terbesar dunia mengumumkan mereka akan hormati satu isyarat bersama dalam fail robots.txt. Ia membolehkan pemilik laman web melarang kandungan mereka digunakan untuk melatih model AI dengan satu peraturan sahaja, bukannya peraturan berasingan untuk setiap syarikat. Isyarat ini datang daripada draf IETF yang dikemukakan Kevin Kelley dari Anthropic.

1. Apa yang diumumkan

OpenAI, Google, Microsoft dan Anthropic semuanya kata mereka akan hormati token dasar bersama bernama __usage_ai-training dalam robots.txt. Fail ini sudah lama wujud dan digunakan laman web untuk beritahu crawler apa yang boleh dikumpul.

Draf ini masih berstatus draf awal di IETF. Datatracker IETF nyatakan draf individu seperti ini tidak disokong secara rasmi oleh IETF dan tiada status formal dalam proses piawaian mereka. Draf bertarikh 30 Oktober 2026 dan luput pada 3 Mei 2027.

2. Cara ia berfungsi

Pemilik laman tambah satu kumpulan dalam robots.txt dengan baris User-Agent: __usage_ai-training diikuti Disallow: /. Mereka boleh juga benarkan folder tertentu dengan baris Allow, contohnya folder siasatan akhbar.

Draf itu tak memperkenalkan arahan atau tatabahasa baru. Penukar robots.txt sedia ada akan mengabaikan kumpulan yang tak dikenali seperti biasa, jadi lama tak berubah untuk penukar yang belum melaksanakan isyarat ini.

3. Bila setiap syarikat mula

Jadual pelaksanaan tak sama untuk semua:

  • Anthropic: sudah mula kerja pelaksanaan.
  • Google: sasar sokongan pada 2027, menurut blog Google Search Central.
  • Microsoft: mula hormati keutamaan baru pada 1 Februari 2027, menggantikan tag NoArchive dan NoCache yang digunakan sejak 2023.
  • OpenAI: sasar laksana "dalam beberapa bulan akan datang", tanpa tarikh pasti.

Google tambahkan perincian tersendiri. Kalau laman guna token ini tapi tak sebut Google-Extended secara jelas, Google akan anggap penerbit ada blok Google-Extended. Laman yang khusus benarkan Google-Extended masih boleh muncul dalam jawapan Gemini Apps dan dapat klik.

4. Apa yang ia tidak buat

Isyarat ini hanya melarang latihan AI, bukan pengumpulan halaman. Bot masih boleh tarik halaman itu, kata draf tersebut. Kedudukan laman dalam carian seperti Bing dan Google tak terjejas.

Ia juga tidak menarik balik kandungan yang sudah dikumpul sebelum ini. Data yang sudah masuk set latihan kekal di sana. OpenAI sendiri gelar mekanisme ini sebagai alat penyelarasan, bukan kawalan keselamatan, jadi scraper yang tak patuh boleh abaikan ia.

5. Kedudukan pihak lain

Meta menyuarakan sokongan untuk isyarat bersama ini. Ketua komunikasi Meta, Andy Stone, kata langkah yang menyampaikan keutamaan kepada banyak penyedia sekaligus adalah penting. Tapi beliau tidak kata sama ada Meta akan hormati ia.

Syarikat lain bebas lengah. Token ini sukarela, dan sesuatu perjanjian persendirian antara laman dengan syarikat AI boleh mengatasinya, menurut draf dan laporan The Next Web.

Apa maksudnya untuk anda

Kalau anda pemilik laman web atau blog yang sediakan kandungan sendiri, langkah ini memudahkan satu keputusan yang dulu memerlukan senarai panjang peraturan.

  1. Satu baris untuk semua: Anda boleh tambah kumpulan __usage_ai-training dalam robots.txt dan ia menyampai keputusan anda kepada empat penyedia utama serentak.
  2. Kekalkan peraturan lama dahulu: Oleh sebab Google baru sasar 2027 dan OpenAI belum ada tarikh, jangan buang peraturan setiap crawler seperti GPTBot dan CCBot lagi.
  3. Kandungan lama tak terlindung: Larangan ini hanya hadkan pengumpulan akan datang. Data yang sudah digunakan tak boleh ditarik balik.
  4. Pilih jalan tengah: Baris Allow membolehkan anda sekat latihan AI tapi kekalkan bahagian penting untuk pembaca dan carian, contohnya halaman hubungi.
  5. Ia bukan jaminan: Token ini sukarela. Kalau perlindungan kukuh itu keutamaan anda, gabungkan ia dengan kawalan teknikal di sisi pelayan seperti sekatan crawler di CDN.

Sumber