# Psychologie et Serenite — robots.txt # Updated: 2026-05-03 # Policy: ALLOW all AI crawlers (GEO strategy — maximize AI citations) # Source: github.com/ai-robots-txt/ai.robots.txt + manual additions # Total: 172 AI bot user-agents User-agent: * Allow: / Disallow: /api/ Disallow: /_next/ Allow: /_next/static/ Allow: /_next/image Disallow: /admin/ # Googlebot (search) : bloc SPECIFIQUE — un bot n'utilise QUE son groupe le plus specifique. On # REPLIQUE les Disallow de * mais on OUVRE /api/ pour que Googlebot CRAWLE ces routes et LISE le # header X-Robots-Tag: noindex afin de les DESINDEXER (une URL bloquee par robots.txt peut rester # indexee en URL-seule via lien externe). Les bots IA ont leur propre Allow: / plus bas -> inchanges. # # Ajoute 14/07/2026 (21 URLs /api/* indexees malgre blocage) en n'ouvrant QUE /api/v1/. # ELARGI 28/07/2026 a tout /api/ — CORRECTION D'UNE INCOHERENCE : # `Disallow: /api/` + `X-Robots-Tag: noindex` = la pire combinaison possible. Le noindex EST # deja servi sur toutes les routes /api (verifie 28/07 : /api/booking -> 405 + X-Robots-Tag: # noindex), mais Googlebot avait INTERDICTION de crawler pour le lire -> les URLs /api/* # deja indexees hors /api/v1/ etaient GELEES : indexables, jamais desindexables. C'est la cause # de l'echec de validation « Indexee malgre le blocage par robots.txt » du 28/07 sur l'apex — # categorie ABSENTE des echecs SML, qui avait deja cette config large. # Meme logique que la regle canonical : le noindex corrige, le Disallow gele. # Aligne desormais sur scan.psychologieetserenite.com (dispositif pose le 14/07, coherent). User-agent: Googlebot Allow: /api/ Disallow: /_next/ Allow: /_next/static/ Allow: /_next/image Disallow: /admin/ # ============================================================ # AI / LLM Crawlers — ALLOW ALL (172 bots) # ============================================================ User-agent: AI2Bot Allow: / User-agent: AI2Bot-DeepResearchEval Allow: / User-agent: AddSearchBot Allow: / User-agent: Ai2Bot-Dolma Allow: / User-agent: AmazonAdBot Allow: / User-agent: AmazonBuyForMe Allow: / User-agent: Amazonbot Allow: / User-agent: Amzn-SearchBot Allow: / User-agent: Amzn-User Allow: / User-agent: Andibot Allow: / User-agent: Anomura Allow: / User-agent: ApifyBot Allow: / User-agent: ApifyWebsiteContentCrawler Allow: / User-agent: Applebot Allow: / User-agent: Applebot-Extended Allow: / User-agent: Aranet-SearchBot Allow: / User-agent: Awario Allow: / User-agent: AzureAI-SearchBot Allow: / User-agent: Baiduspider Allow: / User-agent: BraveBot Allow: / User-agent: Bravebot Allow: / User-agent: BuddyBot Allow: / User-agent: Bytespider Allow: / User-agent: CCBot Allow: / User-agent: Channel3Bot Allow: / User-agent: ChatGLM-Spider Allow: / User-agent: ChatGPT Agent Allow: / User-agent: ChatGPT-User Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: Claude-Web Allow: / User-agent: ClaudeBot Allow: / User-agent: CloudVertexBot Allow: / User-agent: Cloudflare-AutoRAG Allow: / User-agent: Cotoyogi Allow: / User-agent: Crawl4AI Allow: / User-agent: Crawlspace Allow: / User-agent: DeepSeekBot Allow: / User-agent: Devin Allow: / User-agent: Diffbot Allow: / User-agent: DuckAssistBot Allow: / User-agent: EchoboxBot Allow: / User-agent: ExaBot Allow: / User-agent: FacebookBot Allow: / User-agent: Factset_spyderbot Allow: / User-agent: FirecrawlAgent Allow: / User-agent: FriendlyCrawler Allow: / User-agent: GPTBot Allow: / User-agent: Gemini-Deep-Research Allow: / User-agent: Google-Agent Allow: / User-agent: Google-CloudVertexBot Allow: / User-agent: Google-Extended Allow: / User-agent: Google-Firebase Allow: / User-agent: Google-NotebookLM Allow: / User-agent: GoogleAgent-Mariner Allow: / User-agent: GoogleAgent-URLContext Allow: / User-agent: GoogleOther Allow: / User-agent: GoogleOther-Image Allow: / User-agent: GoogleOther-Video Allow: / User-agent: Googlebot-Extended Allow: / User-agent: Grok-DeepSearch Allow: / User-agent: GrokBot Allow: / User-agent: ICC-Crawler Allow: / User-agent: ISSCyberRiskCrawler Allow: / User-agent: IbouBot Allow: / User-agent: ImagesiftBot Allow: / User-agent: KlaviyoAIBot Allow: / User-agent: KunatoCrawler Allow: / User-agent: LCC Allow: / User-agent: LinerBot Allow: / User-agent: LinkupBot Allow: / User-agent: Manus-User Allow: / User-agent: Meta-ExternalAgent Allow: / User-agent: Meta-ExternalFetcher Allow: / User-agent: MistralAI-User Allow: / User-agent: MistralBot Allow: / User-agent: NagetBot Allow: / User-agent: NotebookLM Allow: / User-agent: NovaAct Allow: / User-agent: OAI-SearchBot Allow: / User-agent: OpenAI Allow: / User-agent: Operator Allow: / User-agent: PanguBot Allow: / User-agent: Panscient Allow: / User-agent: Perplexity-User Allow: / User-agent: PerplexityBot Allow: / User-agent: PetalBot Allow: / User-agent: PhindBot Allow: / User-agent: Poggio-Citations Allow: / User-agent: QualifiedBot Allow: / User-agent: QuillBot Allow: / User-agent: Qwen Allow: / User-agent: SBIntuitionsBot Allow: / User-agent: SamsungBot Allow: / User-agent: SemrushBot-OCOB Allow: / User-agent: SemrushBot-SWA Allow: / User-agent: ShapBot Allow: / User-agent: Spider Allow: / User-agent: TavilyBot Allow: / User-agent: TerraCotta Allow: / User-agent: Thinkbot Allow: / User-agent: TikTokSpider Allow: / User-agent: Timpibot Allow: / User-agent: TwinAgent Allow: / User-agent: VelenPublicWebCrawler Allow: / User-agent: WARDBot Allow: / User-agent: WRTNBot Allow: / User-agent: Webzio-Extended Allow: / User-agent: YaK Allow: / User-agent: YandexAdditional Allow: / User-agent: YandexAdditionalBot Allow: / User-agent: YandexBot Allow: / User-agent: YouBot Allow: / User-agent: ZanistaBot Allow: / User-agent: aiHitBot Allow: / User-agent: amazon-kendra Allow: / User-agent: anthropic-ai Allow: / User-agent: atlassian-bot Allow: / User-agent: bedrockbot Allow: / User-agent: bigsur.ai Allow: / User-agent: bingbot Allow: / User-agent: cohere-ai Allow: / User-agent: cohere-training-data-crawler Allow: / User-agent: facebookexternalhit Allow: / User-agent: iAskBot Allow: / User-agent: iaskspider Allow: / User-agent: img2dataset Allow: / User-agent: kagi-fetcher Allow: / User-agent: meta-externalagent Allow: / User-agent: meta-externalfetcher Allow: / User-agent: meta-webindexer Allow: / User-agent: newsai Allow: / User-agent: omgili Allow: / User-agent: omgilibot Allow: / User-agent: wpbot Allow: / User-agent: xAI-Grok Allow: / # --- Ajout 10/07/2026 : sync ai.robots.txt upstream (+36 bots IA) --- User-agent: AIWebIndex Allow: / User-agent: AgentTimes Allow: / User-agent: Brightbot Allow: / User-agent: Brightbot 1.0 Allow: / User-agent: Claude-Code Allow: / User-agent: Code Allow: / User-agent: CragCrawler Allow: / User-agent: Cursor Allow: / User-agent: Datenbank Crawler Allow: / User-agent: Echobot Bot Allow: / User-agent: GeistHaus-PageFetcher Allow: / User-agent: Google-Gemini-CLI Allow: / User-agent: HenkBot Allow: / User-agent: Kangaroo Bot Allow: / User-agent: Kimi-User Allow: / User-agent: LAIONDownloader Allow: / User-agent: Linguee Bot Allow: / User-agent: Mozilla-Tabstack Allow: / User-agent: MyCentralAIScraperBot Allow: / User-agent: Poseidon Research Crawler Allow: / User-agent: Querit-SearchBot Allow: / User-agent: QueritBot Allow: / User-agent: Scrapy Allow: / User-agent: Shap-User Allow: / User-agent: Sidetrade indexer bot Allow: / User-agent: TongyiBot Allow: / User-agent: Trae Allow: / User-agent: UseAI Allow: / User-agent: YiyanBot Allow: / User-agent: amazon-QBusiness Allow: / User-agent: imageSpider Allow: / User-agent: laion-huggingface-processor Allow: / User-agent: netEstate Imprint Crawler Allow: / User-agent: opencode Allow: / User-agent: panscient.com Allow: / User-agent: quillbot.com Allow: / # ============================================================ # Sitemap (index unifié apex : articles PSW + tests PT + analyse SML + Salon Psy) # ============================================================ Sitemap: https://psychologieetserenite.com/sitemap-index.xml Sitemap: https://psychologieetserenite.com/sitemap.xml Sitemap: https://psychologieetserenite.com/tests-sitemap.xml Sitemap: https://scan.psychologieetserenite.com/sitemap.xml Sitemap: https://psychologieetserenite.com/scanmyjob/sitemap.xml # Salon Psy — ajouté le 28/09/2026. Les quatre pages (/fr/psy-ia, /en/ai-emotional-support, # /es/apoyo-emocional-ia, /pt-br/apoio-emocional-ia) répondent 200 avec « index, follow » et un # canonical vers elles-mêmes depuis ce soir, et leur sitemap porte les quatre hreflang # réciproques — mais il n'était référencé de nulle part, et le sitemap PSW ne les liste pas # (mesuré : 0 sur 5 242 ). Elles étaient donc indexables et introuvables. # Aucun Disallow ne les couvre : « Allow: / » plus haut s'applique, y compris à # /salon/sitemap.xml. C'est délibéré, et c'est l'inverse du piège décrit dans le bloc Googlebot # ci-dessus — « Disallow + noindex = la pire combinaison possible », qui gèle une URL en état # indexable-mais-jamais-désindexable. Ici : crawl autorisé + index autorisé + sitemap déclaré, # les trois d'accord. # Référencé AUSSI dans /sitemap-index.xml (app/sitemap-index.xml/route.ts), comme les sitemaps # des tests et de l'analyse : les quatre URLs ne sont jamais recopiées dans le sitemap de PSW, # qui n'en est pas propriétaire. Sitemap: https://psychologieetserenite.com/salon/sitemap.xml # AI-readable content (llmstxt.org standard) # llms.txt: https://psychologieetserenite.com/llms.txt # llms-full.txt: https://psychologieetserenite.com/llms-full.txt