Erreur 1 — Votre robots.txt bloque les bots IA
Le problème : beaucoup de fichiers robots.txt par défaut sont restrictifs ou ne mentionnent tout simplement pas les crawlers IA modernes. Si GPTBot, PerplexityBot et ClaudeBot ne sont pas explicitement autorisés, les modèles considèrent que votre site est hors limites et ne l'intègrent pas à leur index.
La solution : ajoutez des blocs User-agent pour chaque bot IA avec un Disallow vide. Exemple : "User-agent: GPTBot\nAllow: /". Répétez pour PerplexityBot, ClaudeBot, Google-Extended et Applebot-Extended.