robots.txt
Plik określający reguły pobierania zasobów przez roboty, które przestrzegają jego zasad. Nie jest mechanizmem ochrony prywatnych danych. Zablokowany adres nadal może pojawić się w wynikach; blokada nie zastępuje uwierzytelniania ani noindex.
Źródła i weryfikacja
Sprawdzono: