User-agent: * Disallow: /

[Membre supprimé 2]

bonjour,

j'ai lu sur cet article, que ce fichier txt permettait d'exclure tout ou partie d'un FTP de l'indexation d'un moteur.

- Savez-vous si cela permet également d'éviter de se faire aspirer ?

- Comment configurer ce fichier de façon a ce qu'il ne permette que l'indexation de l'index ?

 

[molgow]

- Savez-vous si cela permet également d'éviter de se faire aspirer ?

Pas possible. Le fichier robots.txt dont tu parles et là uniquement à titre indicatif pour les clients. Rien n'obligent les robots à se soumettre à tes recommendations.
Pour les aspirations de site web, la seule solution que je verrais, ça serait un réglage au niveau du serveur afin qu'il ne permette pas qu'un client (une IP) télécharge plus d'un certain nombre de fichiers en peu de temps. Mais ça n'éviterait pas une aspiration, ça la rendrait plus ennuyeuse... De toute manière, je ne vois vraiment pas l'intérêt d'empêcher que les gens utilisent un aspirateur de site sur tes pages.