Come impedire a bot e software automatizzati di scansionare il mio sito per dati/immagini senza bloccare i motori di ricerca
TL;DR: aggiungendo regole nel tuo file robots.txt e usando una trappola honeypot (come in questo esempio: Use a simple bottrap to block bad bots) Se assumiamo che i bot seguiranno le tue regole robots.txt, dovresti creare un file robots.txt nella tua directory principale e aggiungere il seguente: User-agent: GooglebotDisallow: User-agent: googlebot-imageDisallow: User-agent: googlebot-mobileDisallow: User-agent: bingbotDisallow: … Leggi tutto