# robots.txt - Syndicompare User-agent: * Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ # LLM crawlers - explicitly allowed User-agent: GPTBot Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: ChatGPT-User Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: ClaudeBot Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: Claude-Web Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: PerplexityBot Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: Applebot-Extended Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: GoogleOther Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: cohere-ai Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ Sitemap: https://www.syndicompare.com/sitemap.xml User-agent: OAI-SearchBot Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: Perplexity-User Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: Google-Extended Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ User-agent: MistralAI-User Allow: / Disallow: /comparaison_utilisateurs/ Disallow: /users/ # Baiduspider (moteur chinois, aucun trafic utile pour un site français) : # ~330 pages/h sur le classement, rendu JavaScript qui déclenche GA4 (sessions # « Direct » Chine, écran 1600x1600, 0 engagement). Identifié le 25/09/2026 # par DNS inverse (crawl.baidu.com). Le crawl entrait par l'hôte nu. User-agent: Baiduspider Disallow: / User-agent: Baiduspider-render Disallow: /