Cloudflare ძიებას უშვებს, ხელოვნური ინტელექტის სწავლებას კრძალავს

Cloudflare-ის ცნობით, ცვლილებები Bot Management-სა და AI Crawl Control-ში 15 სექტემბრიდან მოქმედებს. ძველ ზოგად პარამეტრს „ხელოვნური ინტელექტის ბოტების დაბლოკვა“ უფრო ზუსტი კატეგორიები ჩაანაცვლებს, ხოლო მართულ robots.txt ფაილს Bot Preference Sync შეცვლის. Cloudflare არსებული პარამეტრების ავტომატურად გადატანას გეგმავს. ფუნქციები ყველა სატარიფო გეგმაში უნდა იყოს ხელმისაწვდომი.

Cloudflare Apple-ს, Google-სა და Microsoft-ს „ანგარიშვალდებულად“ მიიჩნევს. ეს გარე სერტიფიცირება კი არა, ბოტების ოპერატორებისთვის კომპანიის მიერ მინიჭებული აღნიშვნაა. Cloudflare-ის თანახმად, ოპერატორებმა ხელოვნური ინტელექტის სწავლებისა და შეჯამებებისთვის უარის თქმის შესაძლებლობა უნდა უზრუნველყონ ან ამის სავალდებულო დაპირება გასცენ. მათ თითოეული მისამართის დონეზე გამჭვირვალობაც უნდა შექმნან და სწავლების აკრძალვის მიუხედავად საძიებო ხილვადობა შეინარჩუნონ.

Apple-სა და Google-ს მართვის განცალკევებული საშუალებები უკვე აქვთ. Apple დამატებით მომხმარებლის აგენტს, Applebot-Extended-ს სთავაზობს. გამომცემლებს მისი მეშვეობით და robots.txt ფაილით შეუძლიათ თავიანთი მასალის გამოყენება საბაზისო მოდელების სწავლებისთვის აკრძალონ. ამ დროს Applebot-ს Spotlight-ისთვის, Siri-სა და Safari-სთვის მასალის შეგროვება კვლავ შეუძლია. Apple ინტერნეტმასალის გამოყენებით შექმნილი გენერაციული პასუხების სამართავად nosnippet-საც ასახელებს. Applebot-ის დოკუმენტაციაში ეს გამიჯვნა აღწერილია.

Google გენერაციული მოდელების სწავლებისთვის მასალის გამოყენების სამართავად Google-Extended-ს იყენებს. Google-ის ცნობით, დაბლოკვა კლასიკურ ვებძიებაში მოხვედრას არ ეხება. კომპანია Search Console-ში საძიებო შედეგებისა და ხელოვნური ინტელექტის ფუნქციების შესახებ ანგარიშებსაც აქვეყნებს. Google-ის ხელოვნური ინტელექტის მცოცავი პროგრამის ცალკე დაბლოკვა 2023 წლიდანაა შესაძლებელი.

Cloudflare-ის ცნობით, Bing-ის შემთხვევაში ეს პროცესი ჯერ ამ დონემდე არ მისულა. Microsoft ამჟამად NOARCHIVE-ს უპირატესობის მითითებად იღებს და დომენის დონეზე robots.txt-ზე დაფუძნებულ „სწავლების აკრძალვის“ წესზე მუშაობს. თუმცა მისი ამოქმედება მხოლოდ 2027 წლის დასაწყისში იგეგმება. მანამდე Cloudflare-ის ახალი პარამეტრი Bing-ს robots.txt ფაილით სწავლების ავტომატურ აკრძალვას არ გადასცემს. ვებსაიტების მფლობელებმა Bing-ისთვის დამატებითი საშუალებები უნდა გამოიყენონ, მაგალითად, მისივე ხელსაწყოები მისამართების დასაბლოკად ან წასაშლელად.

Cloudflare საძიებო ინდექსირებისა და ხელოვნური ინტელექტის სწავლების გამიჯვნას თავიდან არ იგონებს. Google-მა, Apple-მა და OpenAI-მა ამისთვის ბოტების ცალკე იდენტიფიკატორები და robots.txt-ის წესები უკვე შემოიღეს. მაგალითად, OpenAI-მა სწავლებისთვის განკუთვნილი GPTBot ჯერ კიდევ 2023 წელს წარადგინა. ოპერატორებს მისი სხვა მცოცავი პროგრამებისგან დამოუკიდებლად დაბლოკვა შეეძლოთ.

სიახლე Cloudflare-ის მართვის პანელში რთული მრავალფუნქციური ბოტების ერთიანი მართვაა. კონტენტის მიწოდების ქსელის პროვაიდერი გამოქვეყნებულ მოთხოვნას ბოტების საკუთარი სისტემით ამოცნობას უთავსებს და მხოლოდ სწავლებისთვის განკუთვნილ ბოტებს ტექნიკურად ბლოკავს. თუმცა შერეული დანიშნულების ბოტების წესი კვლავ მათი ოპერატორების თანამშრომლობაზეა დამოკიდებული. robots.txt წვდომის კონტროლის საშუალება კი არა, მანქანისთვის წაკითხვადი ქცევის მითითებაა. Cloudflare-ის მიერ დაპირებული, ხელოვნური ინტელექტის შეჯამებების ცენტრალიზებულად მართვადი შეზღუდვაც ჯერ სამომავლო გეგმაა. კომპანია მის ამოქმედებას 2027 წლის დასაწყისისთვის გეგმავს.

თემებიCloudflareAppleGoogleMicrosoftAmazonAnthropicMetaOpenAIApplebotGooglebot

გამოქვეყნდა 19 სექტემბერი, 2026