Τι είναι το robots.txt;

Το robots.txt είναι ένα αρχείο κειμένου που οι ιστότοποι τοποθετούν στον ριζικό τους κατάλογο για να επικοινωνούν με τους ανιχνευτές ιστού και τα bot των μηχανών αναζήτησης. Ενημερώνει αυτούς τους αυτοματοποιημένους επισκέπτες για το ποιες σελίδες ή ενότητες ενός ιστότοπου μπορούν ή δεν μπορούν να访问σουν, σύμφωνα με το Πρωτόκολλο Αποκλεισμού Robots.

Περιγραφή εργαλείου

Ο Έλεγχος robots.txt λαμβάνει το robots.txt ενός ιστότοπου απευθείας από τον διακομιστή μας — δεν χρειάζεται να αντιγράψετε και να επικολλήσετε το αρχείο. Εισαγάγετε ένα URL και ο διακομιστής ζητά το robots.txt από τον συγκεκριμένο ιστότοπο, το αναλύει και επιστρέφει το ακατέργαστο περιεχόμενο μαζί με τους χάρτες ιστοτόπου που δηλώνει, την καθυστέρηση ανίχνευσης και τον προτιμώμενο host.

Λειτουργίες

  • Λήψη από την πλευρά του διακομιστή: Ο διακομιστής ζητά το robots.txt για λογαριασμό σας, επομένως δεν χρειάζεται να έχετε το αρχείο τοπικά
  • Εξαγωγή χαρτών ιστοτόπου: Παραθέτει κάθε καταχώριση Sitemap: που δηλώνεται στο αρχείο
  • Καθυστέρηση ανίχνευσης και προτιμώμενος host: Εμφανίζει τις οδηγίες Crawl-delay και Host, όταν υπάρχουν