Comment ajouter un fichier Robots.txt personnalisé dans Blogger?

Si vous avez lu ce post alors j'espère que vous êtes conscients de son importance dans les classements de recherche.

Aujourd'hui, je suis de retour avec un terme blogging très utile et doit être conscient qui est Robots.txt.

Dans Blogger, il est connu comme Custom Robots.txt qui signifie maintenant que vous pouvez personnaliser ce fichier en fonction de votre choix.

Dans le tutoriel d'aujourd'hui, nous allons discuter de ce terme en profondeur et en apprendre davantage sur son utilisation et ses avantages. Je vais aussi vous dire comment ajouter un fichier robots.txt personnalisé dans Blogger.

Commençons donc le guide.

Qu'est-ce que Robots.txt?

Robots.txt est un fichier texte qui contient quelques lignes de code simple.

Il est sauvegardé sur le serveur du site Web ou du blog qui indique aux robots d'indexation Web comment indexer et explorer votre blog dans les résultats de la recherche.

Cela signifie que vous pouvez restreindre toute page Web sur votre blog à partir de robots d'indexation afin qu'elle ne puisse pas être indexée dans les moteurs de recherche comme la page d'étiquettes de blog, votre page de démonstration ou d'autres pages.

Rappelez-vous toujours que les robots de recherche analysent le fichier robots.txt avant d'explorer une page Web.

Chaque blog hébergé sur blogger a son fichier robots.txt par défaut qui ressemble à ceci:

User-agent: Mediapartners-Google

Refuser:

User-agent: *

Disallow: / recherche

Autoriser: /

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Explication

Ce code est divisé en trois sections. Commençons par étudier chacun d'entre eux après que nous allons apprendre comment ajouter un fichier robots.txt personnalisé dans les blogs blogspot.

User-agent: Mediapartners-Google

Ce code est pour les robots Google Adsense qui les aident à diffuser de meilleures annonces sur votre blog. Soit vous utilisez Google Adsense sur votre blog ou pas simplement laisser tel quel.

User-agent: *

Ceci est valable pour tous les robots marqués d'un astérisque (*). Dans les paramètres par défaut, les liens des libellés de notre blog sont limités à l'indexation par les robots de recherche, ce qui signifie que les robots d'indexation n'indexeront pas nos liens de page d'étiquettes à cause du code ci-dessous.

Disallow: / recherche

Cela signifie que les liens ayant une recherche par mot-clé juste après le nom de domaine seront ignorés. Voir ci-dessous exemple qui est un lien de la page d'étiquette nommée SEO.

https://www.bloggertipstricks.com/search/label/SEO

Et si nous retirons Disallow: / search du code ci-dessus, alors les crawlers accèderont à notre blog entier pour indexer et explorer tout son contenu et ses pages web.

Ici Autoriser: / se réfère à la page d'accueil qui signifie que les robots d'exploration peuvent explorer et indexer la page d'accueil de notre blog.

Interdire un poste particulier

Supposons maintenant que si nous voulons exclure un article particulier de l'indexation, nous pouvons ajouter des lignes ci-dessous dans le code.

Disallow: /yyyy/mm/post-url.html

Ici yyyy et mm se réfèrent respectivement à l'année de publication et au mois de publication. Par exemple si nous avons publié un post dans l'année 2013 en mars, nous devons utiliser le format ci-dessous.

Disallow: /2013/03/post-url.html

Pour faciliter cette tâche, vous pouvez simplement copier l'URL du message et supprimer le nom du blog depuis le début.

Interdire la page particulière

Si nous devons interdire une page particulière, nous pouvons utiliser la même méthode que ci-dessus. Copiez simplement l'URL de la page et supprimez-en l'adresse de blog, ce qui ressemblera à ceci:

Disallow: /p/page-url.html

Sitemap: http://example.blogspot.com/feeds/posts/default?orderby=UPDATED

Ce code fait référence au sitemap de notre blog. En ajoutant un lien sitemap ici, nous optimisons simplement le taux d'exploration de notre blog.

Cela signifie que chaque fois que les robots d'exploration de notre site Web analyseront notre fichier robots.txt, ils trouveront un chemin vers notre sitemap où tous les liens de nos messages publiés seront présents.

Les robots d'exploration Web trouveront facile d'explorer tous nos messages.

Par conséquent, il y a de meilleures chances que les robots d'exploration Web explorent tous nos billets de blog sans en ignorer un seul.

Remarque : Ce sitemap indiquera uniquement aux robots d'exploration Web les 25 derniers posts. Si vous souhaitez augmenter le nombre de liens dans votre sitemap, remplacez le sitemap par défaut ci-dessous. Il fonctionnera pour les 500 premiers posts récents.

Plan du site: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Si vous avez plus de 500 articles publiés dans votre blog, vous pouvez utiliser deux sitemaps comme ci-dessous:

Sitemap: http://example.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

Carte du site: http://example.blogspot.com/atom.xml?redirect=false&start-index=500&max -résultats = 1000

Ajout de Custom Robots.Txt à Blogger

Maintenant, la partie principale de ce tutoriel est comment ajouter des robots.txt personnalisés dans blogger. Donc, ci-dessous sont des étapes pour l'ajouter.

Allez sur votre blog blogger.
Accédez à Paramètres >> Préférences de recherche >> Crawlers et indexation >> Custom robots.txt >> Modifier >> Oui
Maintenant collez votre code de fichier robots.txt dans la boîte.
Cliquez sur le bouton Enregistrer les modifications.
Vous avez terminé!

Comment vérifier votre fichier Robots.txt?

Vous pouvez vérifier ce fichier sur votre blog en ajoutant /robots.txt à la fin de l'URL de votre blog dans le navigateur Web. Par exemple:

http://www.yourblogurl.blogspot.com/robots.txt

Une fois que vous avez visité l'URL du fichier robots.txt, vous verrez le code entier que vous utilisez dans votre fichier robots.txt personnalisé.

Voir ci-dessous l'image.

Derniers mots!

Ce fut le tutoriel complet d'aujourd'hui sur la façon d'ajouter un fichier robots.txt personnalisé dans blogger .

J'ai fait de mon mieux pour rendre ce tutoriel aussi simple et instructif que possible. Mais encore si vous avez un doute ou une requête alors n'hésitez pas à me demander dans la section commentaire ci-dessous.

Assurez-vous de ne pas mettre de code dans vos paramètres robots.txt personnalisés sans le savoir. Il suffit de me demander de résoudre vos questions. Je vais tout vous dire en détail.

Merci les gars d'avoir lu ce tutoriel. Si cela vous a plu, alors aidez-moi à diffuser mes mots en partageant ce message sur vos profils de médias sociaux. Blogging heureux!