{"id":429,"date":"2009-04-14T14:36:45","date_gmt":"2009-04-14T13:36:45","guid":{"rendered":"http:\/\/flaven.fr\/?p=429"},"modified":"2026-09-16T10:11:10","modified_gmt":"2026-09-16T08:11:10","slug":"sitemap-robotstxt-et-reseaux-sociaux","status":"publish","type":"post","link":"https:\/\/flaven.fr\/2009\/04\/sitemap-robotstxt-et-reseaux-sociaux\/","title":{"rendered":"sitemap, robots.txt et r\u00e9seaux sociaux"},"content":{"rendered":"<p><!-- sitemap, robots.txt et r\u00e9seaux sociaux --><br \/>\n<!-- robots, seo, xml, sitemap, moteur, r\u00e9f\u00e9rencement --><\/p>\n<p><!-- http:\/\/social.hecube.net\/wp-content\/uploads\/2009\/04\/ --><br \/>\n<img loading=\"lazy\" decoding=\"async\" class=\"alignleft\" src=\"https:\/\/flaven.fr\/wp-content\/uploads\/2009\/04\/sitemap_robots_txt_et_reseaux_sociaux_1_s.jpg\" alt=\"sitemap, robots.txt et r\u00e9seaux sociaux\" width=\"150\" height=\"100\" \/>Le fichier robots.txt a comme fonction principale d&#8217;autoriser et de faciliter, voir d&#8217;interdire l&#8217;indexation de votre contenu.  Cette indexation est faite par les robot d&#8217;indexation (en anglais web crawler ou web spider) des moteur de recherche.<br \/>\nVous ne pouvez avoir qu&#8217;un seul fichier robots.txt sur un site car il est la pierre angulaire d&#8217;entr\u00e9e sur votre site.<!--more--><\/p>\n<p>Quelques article de ce blog pour une gestion SEO affin\u00e9 :<\/p>\n<p><strong>Cr\u00e9er un fichier sitemap sur PC<\/strong><br \/>\n<a href=\"http:\/\/social.hecube.net\/blog\/2009\/04\/14\/creer-un-fichier-sitemap-sur-pc\/\">http:\/\/social.hecube.net\/blog\/2009\/04\/14\/creer-un-fichier-sitemap-sur-pc\/<\/a><\/p>\n<p><strong>Cr\u00e9er sur Mac un sitemap google pour votre site<\/strong><br \/>\n<a href=\"http:\/\/social.hecube.net\/blog\/2009\/03\/02\/creer-sur-mac-un-sitemap-google-pour-votre-site\/\">http:\/\/social.hecube.net\/blog\/2009\/04\/02\/creer-un-sitemap-avance-pour-google\/<\/a><\/p>\n<p><strong>Cr\u00e9er un sitemap avanc\u00e9 pour Google<\/strong><br \/>\n<a href=\"http:\/\/social.hecube.net\/blog\/2009\/04\/02\/creer-un-sitemap-avance-pour-google\/\">http:\/\/social.hecube.net\/blog\/2009\/04\/02\/creer-un-sitemap-avance-pour-google\/<\/a><\/p>\n<p><strong>Envoyer son sitemap dans les outils du webmaster de Google<\/strong><br \/>\n<a href=\"http:\/\/social.hecube.net\/blog\/2009\/04\/03\/envoyer-son-sitemap-sur-dans-les-outils-du-webmaster-de-google\/\">http:\/\/social.hecube.net\/blog\/2009\/04\/03\/envoyer-son-sitemap-sur-dans-les-outils-du-webmaster-de-google\/<\/a><\/p>\n<h4>Le chemin vers le sitemap<\/h4>\n<p>On a vu de nombreux articles sur comment cr\u00e9er des sitemaps ou un index de sitemaps. Il est une information importante qui peut \u00eatre contenu dans le fichier robots.txt, c&#8217;est le chemin vers le sitemap. Placer cette information dans le robots.txt  uniformise la gestion et l&#8217;acc\u00e8s pour tous les robots d&#8217;indexation acc\u00e9dant \u00e0 votre site. Il est bien \u00e9videmment possible d&#8217;ajouter plusieurs fichiers de sitemap si vous ne faites pas appel \u00e0 un index de sitemap.<\/p>\n<h4>G\u00e9rer via robots.txt des sitemaps et le &#8220;Cross submit&#8221; dans le cas d&#8217;un r\u00e9seau social<\/h4>\n<p>L&#8217;exemple ci-dessous montre comment vous pouvez faciliter le r\u00e9f\u00e9rencement de diff\u00e9rents blogs h\u00e9berg\u00e9s par une m\u00eame solution comme l&#8217;est notre plate-forme de r\u00e9seau social sous buddypress. Le but ultime \u00e9tant d&#8217;accro\u00eetre votre notori\u00e9t\u00e9 digitale avec de multiples entr\u00e9es. <\/p>\n<p>Imaginons que vous avez 3 sous-domaines sp\u00e9cifiques correspondant \u00e0 3 &#8220;hosts&#8221; diff\u00e9rents.<\/p>\n<ul>\n<li>bruno.hecube.net avec le fichier de sitemap suivant <code>sitemap_blog_bruno.xml<\/code><\/li>\n<li>etienne.hecube.net avec le fichier de sitemap suivant <code>sitemap_blog_etienne.xml<\/code><\/li>\n<li>annie.hecube.net avec le fichier de sitemap suivant <code>sitemap_blog_annie.xml<\/code><\/li>\n<\/ul>\n<p>Chaque sous-domaine poss\u00e8de un sitemap unique. Vous pouvez g\u00e9rer l&#8217;ensemble de ces sitemaps sur un m\u00eame nom de domaine, par exemple social.hecube.net. Vous devrez alors pour le premier sous-domaine  par exemple <code>bruno.hecube.net<\/code>, vous pouvez modifier le fichier robots.txt de ce site <code>bruno.hecube.net<\/code> en lui indiquant la pr\u00e9sence d&#8217;un sitemap sur un autre nom de domaine disons social.hecube.net par exemple <code>Sitemap: http:\/\/social.hecube.net\/sitemap_blog_bruno.xml<\/code><\/p>\n<h4>Un mod\u00e8le de robots.txt pour un site sous WordPress<\/h4>\n<pre lang=\"txt\">\r\n\t#d\u00e9claration faite pour l'ensemble des agents de moteur: msn, google, yahoo...etc\r\n\tUser-agent: *\r\n\tDisallow: \/cgi-bin\r\n\tDisallow: \/wp-admin\r\n\tDisallow: \/wp-includes\r\n\tDisallow: \/wp-content\r\n\tDisallow: \/search\/*\/feed\r\n\tDisallow: \/search\/*\/feed\/\r\n\r\n\r\n# A noter, l'\u00e9toile apr\u00e8s le slash n'est pas obligatoire mais il figure dans de nombreux exemples.\r\n# Cela signifie que tous les fichiers du r\u00e9pertoire seront pris en compte.\r\n\r\n\t\r\n\t# autoriser le robot \u00e0 visiter le site en entier pour le compte de AdSense\r\n\tUser-agent: Mediapartners-Google\r\n\tDisallow:\r\n\tAllow: \/*\r\n\r\n\t# autoriser le robot \u00e0 visiter le site en entier pour le compte de AdWords \r\n\tUser-agent: Adsbot-Google\r\n\tAllow: \/*\r\n\r\n\t# autoriser le robot google image \u00e0 indexer les images\r\n\tUser-agent: Googlebot-Image\r\n\tAllow: \/*\r\n\r\n\t# Internet Archiver Wayback Machine - pas de retour dans le pass\u00e9 - c'est un choix\r\n\tUser-agent: ia_archiver\r\n\tDisallow: \/\r\n\r\n# digg mirror - \u00e9viter un miroir de votre site\r\nUser-agent: duggmirror\r\nDisallow: \/\r\n\r\n\t\r\n\t# IMPORTANT le chemin vers le fichier de sitemap\r\n\tSitemap: http:\/\/social.hecube.net\/sitemap.xml\r\n<\/pre>\n<h2>Pour aller plus loin<\/h2>\n<p>Un tr\u00e8s bon site sur le meilleur moyen de r\u00e9f\u00e9rencer un site fait sous WordPress<\/p>\n<ul>\n<li><a href=\"http:\/\/www.askapache.com\/seo\/wordpress-robotstxt-seo.html\" target=\"_blank\">http:\/\/www.askapache.com\/seo\/wordpress-robotstxt-seo.html<\/a><\/li>\n<\/ul>\n<p>Un petit site r\u00e9f\u00e9rent en mati\u00e8re de robots.txt (en anglais)<\/p>\n<ul>\n<li><a href=\"http:\/\/www.robotstxt.org\/\">http:\/\/www.robotstxt.org\/<\/a><\/li>\n<\/ul>\n<p>Un site exhaustif sur la philosophie des sitemap, index ou autre.<\/p>\n<ul>\n<li><a href=\"http:\/\/www.sitemaps.org\/protocol.php#submit_robots\" target=\"_blank\">http:\/\/www.sitemaps.org\/protocol.php#submit_robots<\/a><\/li>\n<\/ul>\n<p>Une ressource excellente sur le r\u00e9f\u00e9rencement.<\/p>\n<ul>\n<li><a href=\"http:\/\/codex.wordpress.org\/Search_Engine_Optimization_for_WordPress\" target=\"_blank\">http:\/\/codex.wordpress.org\/Search_Engine_Optimization_for_WordPress<\/a><\/li>\n<\/ul>\n","protected":false},"excerpt":{"rendered":"<p>Le fichier robots.txt a comme fonction principale d&#8217;autoriser et de faciliter, voir d&#8217;interdire l&#8217;indexation de votre contenu. Cette indexation est faite par les robot d&#8217;indexation&hellip; <\/p>\n<p class=\"text-center\"><a href=\"https:\/\/flaven.fr\/2009\/04\/sitemap-robotstxt-et-reseaux-sociaux\/\" class=\"more-link\">Continue reading &rarr; <span class=\"screen-reader-text\">sitemap, robots.txt et r\u00e9seaux sociaux<\/span><\/a><\/p>\n","protected":false},"author":1,"featured_media":9575,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"bf_ai_meta_description":"Le fichier robots.txt et les sitemaps optimisent l'indexation de votre site. Ma\u00eetrisez ces outils pour am\u00e9liorer votre SEO et votre visibilit\u00e9 sur les r\u00e9seaux sociaux.","bf_ai_og_title":"","footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":false,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2},"jetpack_post_was_ever_published":false},"categories":[3440,3445,3446,3449],"tags":[3511,147,57,148,44,89,2223,90],"class_list":["post-429","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-cloud-infrastructure","category-seo-web-marketing","category-social-media-community","category-tutorials-how-to","tag-miro","tag-moteur","tag-referencement","tag-robots","tag-seo","tag-sitemap","tag-wordpress","tag-xml"],"jetpack_publicize_connections":[],"jetpack_sharing_enabled":true,"jetpack_shortlink":"https:\/\/wp.me\/p3Vuhl-6V","jetpack_featured_media_url":"https:\/\/flaven.fr\/wp-content\/uploads\/2009\/04\/reseau-sociaux_bf.jpg","_links":{"self":[{"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/posts\/429","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/comments?post=429"}],"version-history":[{"count":1,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/posts\/429\/revisions"}],"predecessor-version":[{"id":9576,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/posts\/429\/revisions\/9576"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/media\/9575"}],"wp:attachment":[{"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/media?parent=429"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/categories?post=429"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/flaven.fr\/happy-api\/wp\/v2\/tags?post=429"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}