Support de l'utilisation ⇒ contrôler l'activité des robots, droits sur les profils des membres

[Pit]

Bonjour.
Depuis mon dernier post sur semrush.bot et les erreurs détéctées dans le répertoire Download du forum, j'ai continué l'action commencée par Sylver, à savoir inscrire les user agents des visiteurs robots dans le groupe Robots du PCA.
J'en ai rajouté un certain nombre et je n'ai plus beaucoup d'erreurs dans le error.log mais il y en a quand même (une par jour environ), sans doute des robots qui ne s'identifient pas en tant que tels. (il y a souvent des invités avec AppleWebKit/537.36 dans leur identifiant, sont-ce des robots malveillants ou des invités normaux : comment le savoir ?).

Ma question du jour porte sur les robots enregistrés dans le groupe robots et sur leurs droits sur le forum.
J'ai constaté que certains robots consultent le profil d'un membre, du moins c'est ce qui est écrit dans 'Qui est en ligne'; tout récemment c'était Applebot/0.1.
J'ai regardé les permissions du groupe Robots : tout leur est interdit (Never) sauf le téléchargement de fichiers.
Ont-ils ou pas le droit de télécharger le profil d'un membre et d'autres données de ce type ?
Si oui, comment les en empêcher ? Je n'ai trouvé que des écrans pour paramétrer leurs droits sur les forums.

[Sylver35]

Bonjour,

il y a souvent des invités avec AppleWebKit/537.36 dans leur identifiant, sont-ce des robots malveillants ou des invités normaux : comment le savoir ?

Cela est un invité normal.
Un robot a un user agent bien spécial donnant son nom et généralement l'url de son serveur.

J'ai constaté que certains robots consultent le profil d'un membre, du moins c'est ce qui est écrit dans 'Qui est en ligne'; tout récemment c'était Applebot/0.1.

Ce n'est pas parce qu’un robot tente de joindre une url qu'il peut l'atteindre, il est donc tout à fait normal de le croire en train de consulter un profil, mais il reçoit généralement un message lui disant que cela lui est interdit (et donc cette page d'erreur est comprise comme une url atteinte).

[Pit]

Bonsoir

Merci pour les réponses, Sylver.
Je suis rassuré pour le coup des robots consultant un profil.

Par contre, j'ai lu que des robots peuvent se pointer sur un site sans avoir un user agent de robot, est-ce vrai ?