Cloudflare ha introdotto un blocco automatico per i crawler AI su tutti i nuovi domini e lancia in beta un sistema "pay-per-crawl", che consente ai publisher di far pagare l'accesso ai bot. I crawler, da parte loro, dovranno presentare l'intenzione di pagare nel momento in cui fanno richiesta d'accesso: in caso contrario, riceveranno un messaggio di "pagamento richiesto" e non otterranno il contenuto. Anche se in fase iniziale, il modello "pay-per-crawl" apre le porte a scenari futuri molto più complessi e flessibili: dal pricing dinamico in base al tipo di contenuto, fino a forme programmatiche di accesso controllato da agenti AI.
Published at: 2025-07-02 06:21:27
Still want to read the full version? Full article
