Connect with us

Γεια σας, πείτε μας τι ακριβώς ψάχνετε

CMS

Πώς να βελτιστοποιήσετε το αρχείο Robots.txt του WordPress για καλύτερο SEO

Πρόσφατα ένας από τους αναγνώστες μας μας ρώτησε για συμβουλές σχετικά με τον τρόπο βελτιστοποίησης του αρχείου robots.txt για τη βελτίωση του SEO στο site του. Το αρχείο Robots.txt λέει στις μηχανές αναζήτησης πώς να ανιχνεύσουν τον ιστότοπό σας, γεγονός που το καθιστά ένα απίστευτα ισχυρό εργαλείο SEO. Σε αυτό το άρθρο, θα σας δείξουμε πώς να δημιουργήσετε ένα τέλειο αρχείο robots.txt.

Τι είναι το αρχείο robots.txt;

Το Robots.txt είναι ένα αρχείο κειμένου που μπορούν να δημιουργήσουν οι ιδιοκτήτες site για να ενημερώσουν τις μηχανές αναζήτησης πώς μπορούν να ανιχνεύσουν και να δουν τις σελίδες ενός site.

Συνήθως αποθηκεύεται στον ριζικό κατάλογο που είναι επίσης γνωστός ως ο κύριος φάκελος του ιστότοπού σας. Η βασική μορφή ενός αρχείου robots.txt μοιάζει με αυτό:

User-agent: [user-agent name]

Disallow: [URL string not to be crawled]

User-agent: [user-agent name]

Allow: [URL string to be crawled]

Sitemap: [URL of your XML Sitemap]

Μπορείτε να έχετε πολλές γραμμές οδηγιών για να επιτρέψετε ή να απαγορεύσετε συγκεκριμένες διευθύνσεις URL και να προσθέσετε πολλαπλούς χάρτες ιστότοπου. Αν δεν απορρίψετε μια διεύθυνση URL, τότε τα bots των μηχανών αναζήτησης υποθέτουν ότι τους επιτρέπεται να ανιχνευτούν.

Advertisement. Scroll to continue reading.

Ακολουθεί παράδειγμα ενός αρχείου robots.txt:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

Στο παραπάνω παράδειγμα, επιτρέψαμε στις μηχανές αναζήτησης να ανιχνεύσουν και να ευρετηριάσουν αρχεία στο φάκελο ανεβάσματος του WordPress.

Μετά από αυτό, έχουμε απαγορεύσει τα bots αναζήτησης από την ανίχνευση και την ευρετηρίαση plugins και τους admin φακέλους.

Τέλος, έχουμε δημιουργήσει τη διεύθυνση URL του χάρτη ιστοτόπου XML.

Advertisement. Scroll to continue reading.

Είναι απαραίτητο ένα αρχείο Robots.txt για τον ιστότοπό μου;

Αν δεν έχετε αρχείο robots.txt, τότε οι μηχανές αναζήτησης θα εξακολουθούν να ανιχνεύουν και να ευρετηριάζουν τον ιστότοπό σας. Ωστόσο, δεν θα μπορείτε να ενημερώσετε τις μηχανές αναζήτησης ποιες σελίδες ή φακέλους δεν πρέπει να ανιχνεύσουν.

Αυτό δεν θα έχει μεγάλο αντίκτυπο όταν ξεκινάτε για πρώτη φορά ένα blog και δεν έχετε πολύ περιεχόμενο.

Ωστόσο, καθώς ο ιστότοπός σας αναπτύσσεται και έχετε πολύ περιεχόμενο, τότε θα θέλατε να έχετε τον καλύτερο έλεγχο σχετικά με τον τρόπο ανίχνευσης και ευρετηρίασης του ιστότοπού σας.

Εδώ είναι και ο λόγος που χρειάζεται.

Τα bots αναζήτησης έχουν μια ποσόστωση ανίχνευσης για κάθε ιστότοπο.

Αυτό σημαίνει ότι ανιχνεύουν έναν ορισμένο αριθμό σελίδων κατά τη διάρκεια μιας περιόδου ανίχνευσης. Εάν δεν ολοκληρώσουν την ανίχνευση όλων των σελίδων στον ιστότοπό σας, τότε θα επιστρέψουν και θα ξαναρχίσουν την ανίχνευση στην επόμενη συνεδρία.

Αυτό μπορεί να επιβραδύνει τον ρυθμό ευρετηρίασης του ιστοτόπου σας.

Μπορείτε να διορθώσετε αυτό το πρόβλημα αποκλείοντας τα bots αναζήτησης από την προσπάθεια ανίχνευσης περιττών σελίδων όπως οι σελίδες διαχειριστών του WordPress, τα αρχεία των plugins και των themes.

Απορρίπτοντας περιττές σελίδες, αποθηκεύετε την ποσόστωση ανίχνευσης. Αυτό βοηθά τις μηχανές αναζήτησης να ανιχνεύουν ακόμα περισσότερες σελίδες στον ιστότοπό σας και να τις αναγράφουν όσο το δυνατόν γρηγορότερα.

Advertisement. Scroll to continue reading.

Ένας άλλος καλός λόγος για να χρησιμοποιήσετε το αρχείο robots.txt είναι όταν θέλετε να σταματήσετε τις μηχανές αναζήτησης από την ευρετηρίαση μιας αναρτήσης ή μιας σελίδας στον ιστότοπό σας.

Δεν είναι ο ασφαλέστερος τρόπος απόκρυψης περιεχομένου από το ευρύ κοινό, αλλά θα σας βοηθήσει να αποτρέψετε την εμφάνισή τους στα αποτελέσματα αναζήτησης.

Πως πρέπει να είναι ένα ιδανικό αρχείο Robots.txt;

Πολλά δημοφιλή blogs χρησιμοποιούν ένα πολύ απλό αρχείο robots.txt. Το περιεχόμενό τους μπορεί να διαφέρει ανάλογα με τις ανάγκες του συγκεκριμένου ιστότοπου:

User-agent:

*Disallow:

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Αυτό το αρχείο robots.txt επιτρέπει σε όλα τα bots να αναγράφουν όλο το περιεχόμενο και τους παρέχει έναν σύνδεσμο στους χάρτες ιστοτόπου XML του ιστότοπου.

Για τους ιστότοπους WordPress, συνιστούμε τους ακόλουθους κανόνες στο αρχείο robots.txt:

Advertisement. Scroll to continue reading.

User-Agent:

*Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml

Sitemap: http://www.example.com/page-sitemap.xml

Αυτό λέει στα bots αναζήτησης να ευρετηριάσει όλες τις εικόνες και τα αρχεία του WordPress. Απαγορεύει στα bots αναζήτησης από την ευρετηρίαση των αρχείων plugin του WordPress, της περιοχής διαχείρισης του WordPress, του αρχείου readme και των συνδέσεων θυγατρικών.

Advertisement. Scroll to continue reading.

Με την προσθήκη ιστοτόπων στο αρχείο robots.txt, διευκολύνετε τα bots της Google να βρίσκουν όλες τις σελίδες στον ιστότοπό σας.

Τώρα που ξέρετε πως μοιάζει ένα ιδανικό αρχείο robots.txt, ας ρίξουμε μια ματιά στο πώς μπορείτε να δημιουργήσετε ένα αρχείο robots.txt στο WordPress.

Πώς να δημιουργήσετε ένα αρχείο Robots.txt στο WordPress;

Υπάρχουν δύο τρόποι για να δημιουργήσετε ένα αρχείο robots.txt στο WordPress. Μπορείτε να επιλέξετε τη μέθοδο που λειτουργεί καλύτερα για εσάς.

[!] Οποιαδήποτε εγκατάσταση, ή παραμετροποίηση της ιστοσελίδας σας, γίνεται με την δική σας ευθύνη. Για αυτό προσέξτε σε κάθε περίπτωση να έχετε πρόσφατο αντίγραφο ασφαλείας.

Μέθοδος 1: Επεξεργασία αρχείου Robots.txt χρησιμοποιώντας το Yoast SEO

Μπορείτε να το χρησιμοποιήσετε για να δημιουργήσετε και να επεξεργαστείτε ένα αρχείο robots.txt απευθείας από την περιοχή διαχείρισης του WordPress.

Απλά πηγαίνετε στο SEO »Tools και κάντε κλικ στο σύνδεσμο Επεξεργαστής αρχείων.

blank

Στην επόμενη σελίδα, θα εμφανίσει το υπάρχον αρχείο robots.txt.

Αν δεν έχετε αρχείο robots.txt, τότε το Yoast SEO θα δημιουργήσει ένα αρχείο robots.txt για εσάς.

blank

Από προεπιλογή, το robots.txt της Yoast SEO θα προσθέσει τους ακόλουθους κανόνες στο αρχείο robots.txt:

User-agent:

Advertisement. Scroll to continue reading.

*Disallow: /

Είναι σημαντικό να διαγράψετε αυτό το κείμενο επειδή εμποδίζει όλες τις μηχανές αναζήτησης να ανιχνεύσουν τον ιστότοπό σας.

Αφού διαγράψετε το προεπιλεγμένο κείμενο, μπορείτε να προχωρήσετε και να προσθέσετε τους δικούς σας κανόνες robots.txt. Συνιστούμε να χρησιμοποιήσετε την ιδανική μορφή robots.txt που μοιραστήκαμε παραπάνω.

Μόλις τελειώσετε, μην ξεχάσετε να κάνετε κλικ στο κουμπί ‘Αποθήκευση του αρχείου robots.txt’ για να αποθηκεύσετε τις αλλαγές σας.

Μέθοδος 2. Επεξεργαστείτε το αρχείο Robots.txt χρησιμοποιώντας το FTP

Για αυτήν τη μέθοδο, θα πρέπει να χρησιμοποιήσετε ένα πρόγραμμα FTP για να επεξεργαστείτε το αρχείο robots.txt.

Απλά συνδεθείτε με τον λογαριασμό σας στο WordPress χρησιμοποιώντας ένα πρόγραμμα FTP.

Μόλις είστε συνδεδεμένοι, θα μπορείτε να δείτε το αρχείο robots.txt στον ριζικό φάκελο του ιστότοπού σας.

blank

Εάν δεν βλέπετε ένα, τότε πιθανότατα δεν έχετε αρχείο robots.txt. Σε αυτή την περίπτωση, μπορείτε απλά να προχωρήσετε και να δημιουργήσετε ένα.

blank

Το Robots.txt είναι ένα αρχείο απλού κειμένου, το οποίο σημαίνει ότι μπορείτε να το κατεβάσετε στον υπολογιστή σας και να το επεξεργαστείτε χρησιμοποιώντας οποιοδήποτε επεξεργαστή απλού κειμένου όπως το Notepad ή το TextEdit.

Αφού αποθηκεύσετε τις αλλαγές σας, μπορείτε να τις ανεβάσετε στο βασικό φάκελο του ιστοτόπου σας.

Advertisement. Scroll to continue reading.

Πώς να δοκιμάσετε το αρχείο Robots.txt;

Μόλις δημιουργήσετε το αρχείο robots.txt, είναι πάντα καλό να το δοκιμάσετε χρησιμοποιώντας ένα εργαλείο ανίχνευσης robots.txt.

Υπάρχουν πολλά εργαλεία ανίχνευσης robots.txt εκεί έξω, αλλά σας συνιστούμε να χρησιμοποιήσετε το εργαλείο μέσα στο Google Search Console.

Απλώς συνδεθείτε στο λογαριασμό σας στο Google Search Console και, στη συνέχεια, μεταβείτε στον παλιό ιστότοπο της κονσόλας αναζήτησης Google.

blank

Αυτό θα σας μεταφέρει στην παλιά διεπαφή του Google Search Console . Από εδώ θα πρέπει να ξεκινήσετε το εργαλείο tester robots.txt που βρίσκεται στο μενού ‘Ανίχνευση’.

blank

Το εργαλείο θα ανακτήσει αυτόματα το αρχείο robots.txt του ιστότοπού σας και θα επισημάνει τα σφάλματα και τις προειδοποιήσεις αν βρεθούν.

Ο στόχος της βελτιστοποίησης του αρχείου robots.txt είναι να εμποδίσετε τις μηχανές αναζήτησης να ανιχνεύουν σελίδες που δεν είναι διαθέσιμες στο κοινό. Για παράδειγμα, τις σελίδες στο φάκελο wp-plugins ή τις σελίδες στο φάκελο admin του WordPress.

Συνιστούμε να ακολουθήσετε την παραπάνω μορφή robots.txt για να δημιουργήσετε ένα αρχείο robots.txt για τον ιστότοπό σας.

Ελπίζουμε ότι αυτό το άρθρο σας βοήθησε να μάθετε πώς μπορείτε να βελτιστοποιήσετε το αρχείο robots.txt.

blank
Συγγραφέας

Σχόλια

Ίσως να σας ενδιαφέρουν

Blog

Πρόσφατα, ένας αναγνώστης μας ρώτησε πώς να αντιγράψουμε και να επικολλήσουμε κείμενο στο WordPress χωρίς να προκαλέσουμε προβλήματα μορφοποίησης. Συχνά όταν αντιγράφετε και επικολλάτε...

CMS

Θέλετε να προσθέσετε μια μπάρα ειδοποίησης στο site σας; Η μπάρα ειδοποιήσεων ή η γραμμή ειδοποιήσεων είναι ένας πολύ καλός τρόπος για να ενημερώσετε...

CMS

Θέλετε να καταργήσετε την ημερομηνία από τις διευθύνσεις URL του WordPress; Το WordPress διαθέτει μια δομή διευθύνσεων URL φιλικών προς το SEO. Αυτό περιλαμβάνει...

CMS

Συχνά μας ρωτούν οι αναγνώστες για το πόσα πρόσθετα WordPress πρέπει να εγκαταστήσουν στον site τους. Η πραγματική ερώτηση που όλοι θέλουν να μάθουν...

E-mail

Γιατί δεν λαμβάνετε email από το WordPress site σας Ο πιο συνηθισμένος λόγος για τα email είναι ότι ο διακομιστής φιλοξενίας σας δεν έχει...

E-shop

Αρκετοί από τους αναγνώστες μας μας ρώτησαν πώς να δημιουργήσουν έξυπνα κουπόνια στο WooCommerce για να αυξήσουν τις πωλήσεις τους και το traffic στο...

Google

Ήρθε το 2020, και όσοι ασχολούνται με το SEO θα γνωρίζουν ήδη το πόσο έχει αλλάξει μέσα στην τελευταία δεκαετία. Το 2010, δεν ξέραμε...

E-shop

Πως να δημιουργήσετε ένα Online Ηλεκτρονικό Κατάστημα e-Shop με το WooCommerce Μάθετε πως να χρησιμοποιείτε το WooCommerce με το WordPress ώστε να κατασκευάσετε το...

Advertisement