Breaking News
You are here: Home / Google / UWAGA NA ROBOTS.TXT
UWAGA NA ROBOTS.TXT

UWAGA NA ROBOTS.TXT

Google zawsze pobiera pliki robots.txt przed uruchomieniem crawlowania strony internetowej. O ile ten plik jest dostępny. Jeśli Google Search Console wyświetla nowe komunikaty o zablokowanych zasobach, mimo że plik robots.txt istnieje i nie był w żaden sposób zmodyfikowany, może to wynikać z faktu, że Google chwilowo nie był w stanie pobrać pliku robots.txt. Jeśli podczas pobierania pliku robots.txt zostanie wysłany status 403 lub 500, Google nie przeprowadzi indeksowania strony! Johannes Müller wyjaśnił to w niedawnym Webmaster-Hangout. https://lnkd.in/gQig8aD Aby sprawdzić, czy chwilowa niedostępność liku robots.txt jest przyczyną tych komunikatów, trzeba sprawdzić pliki logów serwera z pobierania danych z pliku robots.txt, jaki był status serwera i czas jego reakcji. Jeśli przez dłuższy okres czasu Google nie będzie mogło uzyskać dostępu do pliku robots.txt twoja strona na pewien czas zostanie zupełnie wykluczona z indeksowania. Jest to problematyczne w przypadku dodawania nowych treści na stronie internetowej lub zmian istniejących treści. Po pewnym czasie możliwe jest jednak, że Google wznowi indeksację, mimo że robots.txt wciąż nie jest dostępny. Mimo tego warto unikać takich sytuacji.

About admin

Leave a Reply

Scroll To Top