paź 08
Zablokowane adresy URL w wynikach wyszukiwania Google
Dlaczego w wumikach wyszukiwania Google można znaleźć strony, które są blokowane w pliku robots.txt?
Na to pytanie odpowiada inżynier Google - Matt Cutts.
Aby skutecznie zablokować stronę przed indeksacją należy wg Matta wykorzystać tag noindex w nagłówku dokumentu albo zgłosic jego usunięcie w Centrum Webmastera. Nie wystarczy info w pliku robots.txt.








