Τι είναι το robots.txt;

Ένα αρχείο robots.txt βρίσκεται στη ρίζα ενός ιστότοπου, όπως στο https://example.com/robots.txt, και ενημερώνει τους ανιχνευτές ποιες σελίδες μπορούν να ανακτήσουν. Οι μηχανές αναζήτησης και άλλα καλοπροαίρετα bot το διαβάζουν πριν ανιχνεύσουν έναν ιστότοπο. Δεν αποτελεί έλεγχο πρόσβασης: οποιοσδήποτε μπορεί και πάλι να ανοίξει τις σελίδες, ενώ δεν εμποδίζει ένα bot που αγνοεί το αρχείο.

Τρόπος χρήσης

  • Όλοι οι ανιχνευτές: επιλέξτε «Να επιτρέπονται όλοι» ή «Να αποκλειστούν όλοι». Αν επιλέξετε «Να επιτρέπονται όλοι», καταχωρίστε στις «Μη επιτρεπόμενες διαδρομές» τις διαδρομές στις οποίες δεν πρέπει να έχουν πρόσβαση οι ανιχνευτές, μία ανά γραμμή, όπως /admin/ ή /cart. Οι επιτρεπόμενες διαδρομές επιτρέπουν ξανά την πρόσβαση σε διαδρομές που βρίσκονται μέσα σε αυτές, όπως /admin/help/. Αν επιλέξετε «Να αποκλειστούν όλοι», οι ανιχνευτές μπορούν να μεταβούν μόνο στις επιτρεπόμενες διαδρομές.
  • Ανιχνευτές AI: δύο πλαίσια επιλογής προσθέτουν ομάδες που αποκλείουν τους ανιχνευτές AI από ολόκληρο τον ιστότοπο (δείτε παρακάτω).
  • Άλλα: η καθυστέρηση ανίχνευσης ζητά από τους ανιχνευτές να περιμένουν τόσα δευτερόλεπτα μεταξύ των αιτημάτων. Οι Bing και Yandex την εφαρμόζουν, ενώ η Google την αγνοεί. Στις διευθύνσεις URL χαρτών ιστοτόπου καταχωρίστε τις πλήρεις διευθύνσεις των χαρτών ιστοτόπου σας, όπως https://example.com/sitemap.xml.

Το αρχείο ενημερώνεται καθώς πληκτρολογείτε. Αντιγράψτε το ή κατεβάστε το robots.txt και μεταφορτώστε το στον ριζικό φάκελο του ιστοτόπου σας.

Σύνταξη διαδρομών

  • Μια διαδρομή ξεκινά με κάθετο και αντιστοιχεί σε κάθε διεύθυνση που αρχίζει με αυτήν: η /admin αντιστοιχεί στις /admin, /admin/ και /administrator, ενώ η /admin/ αντιστοιχεί μόνο στον φάκελο και στο περιεχόμενό του.
  • Ο αστερίσκος αντιστοιχεί σε οποιουσδήποτε χαρακτήρες και το σύμβολο του δολαρίου δηλώνει το τέλος μιας διεύθυνσης, επομένως η /*.pdf$ αντιστοιχεί σε κάθε αρχείο PDF. Η Google, η Bing και οι περισσότεροι άλλοι μεγάλοι ανιχνευτές αναγνωρίζουν και τα δύο.
  • Οι διαδρομές κάνουν διάκριση πεζών και κεφαλαίων: οι /Admin/ και /admin/ είναι διαφορετικές.
  • Οι γραμμές που δεν είναι διαδρομές παραλείπονται από το αρχείο και εμφανίζονται πάνω από αυτό, ώστε να μπορείτε να τις διορθώσετε.

Πώς συνεργάζονται οι κανόνες

Ένας ανιχνευτής ακολουθεί την ομάδα που τον κατονομάζει με τη μεγαλύτερη ειδίκευση και μόνο αυτήν. Ένας ανιχνευτής που κατονομάζεται σε μία από τις ομάδες AI αγνοεί τους κανόνες για όλους τους ανιχνευτές και αποκλείεται εντελώς. Μέσα σε μια ομάδα, υπερισχύει η διαδρομή με τη μεγαλύτερη αντιστοιχία, επομένως η Allow: /admin/help/ επιτρέπει την πρόσβαση σε αυτόν τον φάκελο, παρότι ισχύει η Disallow: /admin/. Η γεννήτρια τοποθετεί τις γραμμές Allow πριν από τις γραμμές Disallow, ώστε να προκύπτει το ίδιο αποτέλεσμα και για παλαιότερους ανιχνευτές που εφαρμόζουν τον πρώτο κανόνα που αντιστοιχεί.

Αποκλεισμός ανιχνευτών AI

Η επιλογή Αποκλεισμός ανιχνευτών εκπαίδευσης AI αποκλείει τους ανιχνευτές που συλλέγουν σελίδες για την εκπαίδευση μοντέλων AI: GPTBot (OpenAI), ClaudeBot (Anthropic), Google-Extended (εκπαίδευση και θεμελίωση Gemini στην Google· δεν επηρεάζεται η Αναζήτηση Google), Applebot-Extended (μοντέλα AI της Apple· δεν επηρεάζεται η αναζήτηση της Apple), CCBot (Common Crawl, ένα δημόσιο σύνολο δεδομένων με το οποίο εκπαιδεύονται πολλά μοντέλα AI), meta-externalagent (Meta) και Amazonbot (Amazon).

Η επιλογή Αποκλεισμός bot αναζήτησης AI και βοηθών αποκλείει τα bot που διαβάζουν σελίδες για αποτελέσματα αναζήτησης AI και για βοηθούς που απαντούν στις ερωτήσεις χρηστών: OAI-SearchBot και ChatGPT-User (OpenAI), Claude-SearchBot και Claude-User (Anthropic), PerplexityBot και Perplexity-User (Perplexity), meta-webindexer και meta-externalfetcher (Meta), καθώς και Amzn-SearchBot και Amzn-User (Amazon). Ο αποκλεισμός τους μπορεί να εμποδίσει την εμφάνιση των σελίδων σας σε αυτές τις απαντήσεις AI και στους συνδέσμους που περιλαμβάνουν. Σύμφωνα με τους διαχειριστές τους, τα bot που ανακτούν μια σελίδα κατόπιν αιτήματος κάποιου χρήστη ενδέχεται να μην ακολουθούν το robots.txt.

Κάθε όνομα είναι το token user-agent που ο διαχειριστής του τεκμηριώνει για το robots.txt.

Παράδειγμα

Με τη διαδρομή /admin/ μη επιτρεπόμενη, τη διαδρομή /admin/help/ επιτρεπόμενη, τους ανιχνευτές εκπαίδευσης AI αποκλεισμένους και έναν χάρτη ιστοτόπου, το αρχείο έχει ως εξής:

User-agent: *
Allow: /admin/help/
Disallow: /admin/

# Ανιχνευτές εκπαίδευσης AI
User-agent: GPTBot
User-agent: ClaudeBot
...
Disallow: /

Sitemap: https://example.com/sitemap.xml

Δυνατότητες

  • Επιτρέψτε ή αποκλείστε όλους τους ανιχνευτές, ορίζοντας μη επιτρεπόμενες και επιτρεπόμενες διαδρομές
  • Αποκλείστε ανιχνευτές εκπαίδευσης AI ή bot αναζήτησης AI και βοηθών, χρησιμοποιώντας τα τεκμηριωμένα ονόματά τους
  • Καθυστέρηση ανίχνευσης και χάρτες ιστοτόπου
  • Επισήμανση μη έγκυρων διαδρομών και διευθύνσεων
  • Αντιγραφή ή λήψη του robots.txt