Support de l'utilisation ⇒ semrush bot ? + Erreurs dans /forum/download/error.log

[Pit]

Hello
Je viens de voir que Sylver a enregistré cette nuit un bot semrush sur mon forum.
S'il l'a mis, c'est qu'il doit y voir un intérêt par rapport à tous ceux déjà présents.
Pourrais-tu nous en dire plus ?

Dans ce contexte robots, je rajoute :
Je suis justement en train de voir quoi faire suite aux lignes d'erreurs que j'ai découverte dans le error.log du dossier Download du forum.
Tous les jours, il y a dans ce log, une ou plusieurs fois, des lignes comme ci-dessous :
[22-Oct-2021 03:13:36 Europe/Paris] PHP Fatal error: SQL ERROR [ mysqli ]<br /><br />Too many connections [1040]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 1023
[22-Oct-2021 09:08:21 Europe/Paris] PHP Fatal error: SQL ERROR [ mysqli ]<br /><br />User hva_hva already has more than 'max_user_connections' active connections [1203]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 102
J'ai comme l'impression qu'un robot sème le souk.
Si oui, y-a-t-il un moyen de connaître son nom, son adresse IP, ...etc.... pour le bloquer spécifiquement.

Sergio m'a communiqué son htaccess pour éliminer un certain nombre de malveillants et aussi l'existence de l'extension stop forum spam mais j'aimerais en savoir plus par rapport à mes messages d'erreur.
Merci pour vos lumières.

Sylver, si tu le juges nécessaire, je peux créer un sujet à part pour ces erreurs.

[Sylver35]

Bonjour Pit,

Je t'ai rajouté le robot Semrush car il faisait de multiples sessions.
En effet, dans la liste du "Qui est en ligne", il avait fait une vingtaine de sessions différentes (une à chaque page visitée), laissant croire à un nombre de visiteurs bien plus élevé qu'en réalité et faisant aussi une charge plus élevée qu'il ne le faut.
Maintenant qu'il existe, il fait une unique session à chaque passage.
Voici son user agent actuel (tout un tas de robots vient leur user agent monter en version):

Mozilla/5.0 (compatible; SemrushBot/7~bl; +http://www.semrush.com/bot.html)

Pour la suite, c'est donc bien un résultat de ma constatation et cette erreur devrait s'estomper.

[Pit]

Salut Sylver.

Merci pour les explications.

Donc, si je comprends bien, c'est ce robot semrush qui provoquait les erreurs fatales php reportées dans le dossier download, en plus d'augmenter la charge et de fausser les statistiques ?

Remarque :
Quel est l’intérêt pour mon site d'être indexé par semrush ? Ne devrait-il pas être bloqué via le fichier robots.txt (ou autre moyen s'il n'obéit pas !) ?
Semrush, c'est un moteur qui a pour clients des sociétés de marketing et autres organismes alors que ce qui m'intéresse c'est le grand public qui cherche des infos via Google, Bing, Facebook, duckduckgo, yahoo, qwant et similaires.
Est-ce qu'il peut y avoir un effet indirect : les url de mon site existant chez semrush, cela inciterait les moteurs de recherche grand public à venir chez moi ???

Le groupe robots compte actuellement 344 membres dont une cinquantaine sont venus visiter, et une quinzaine sont venus depuis début Octobre.

Question annexe :
y-a-t-il un fichier dynamique listant les gens qui sont en ligne ? Où se trouve-t-il ?

[Sylver35]

Tu a tout intérêt à conserver les robots qui passent pour ton indexation, ils se recoupent avec google qui va chercher aussi chez eux ce qu'ils ont indexé.
Le fait d'avoir créé ce robot permet de lui adapter les permissions dédiées aux robots et de lui assigner une seule et même session à la fois, faisant alors baisser les ressources déployées pour rien.
En gros, on vient de le dresser, non mais !

Question annexe :
y-a-t-il un fichier dynamique listant les gens qui sont en ligne ? Où se trouve-t-il ?

Ceci se trouve dans le lien "Qui est en ligne" visible vers le bas de ta page index (contenant aussi l'option "Afficher les invités")...
⇒ https://www.escapades-nature-camping-car.fr/forum/viewonline.php?sg=1

[Pit]

Merci pour tes lumières.


Pour le 'Qui est en ligne', je n'avais jamais remarqué qu'il pouvait afficher les invités !

semrush apparait en tant que robot à 21h24 mais à l'instant il y a aussi une ligne datée d'aujourd'hui 21h13 ! alors que tu l'as créé ce matin.
Mozilla/5.0 (compatible; SemrushBot; +http://www.semrush.com/bot.html) Consulte un sujet dans Les équipements annexes et le petit matériel
dim. 24 oct. 2021 21:13

[Sylver35]

C'est la trace d'une vielle version de ce bot qui est de moins en moins fréquent et tendant à disparaitre, il ne fera pas de multiples sessions.
Je vient de t'en ajouter un autre qui trainais ses guêtres par là -> Petal [Bot]

code : Tout sélectionner

Mozilla/5.0 (compatible;PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

Puis le même en version android -> Petal android [Bot]

code : Tout sélectionner

Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; PetalBot;+https://webmaster.petalsearch.co

il faisait une dizaine de sessions à la fois...

[Pit]

Cool, merci pour tes actions.
Plus rien dans le fichier error.log depuis le 25-Oct-2021 18:07:06. !

Il faut que je pense à regarder ce fichier de temps en temps, ainsi que les autres logs d'erreur !

[Pit]

Bon, va falloir de nouveau surveiller les connexions, il n'y avait rien depuis le 25 et là une rechute hier vers 18h puis vers 20 h, rien cette nuit et ce matin.
C'est qui celui-là ?

code : Tout sélectionner

[29-Oct-2021 18:09:28 Europe/Paris] PHP Fatal error:  SQL ERROR [ mysqli ]<br /><br />User hva_hva already has more than 'max_user_connections' active connections [1203]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 1023
[29-Oct-2021 18:09:28 Europe/Paris] PHP Fatal error:  SQL ERROR [ mysqli ]<br /><br />User hva_hva already has more than 'max_user_connections' active connections [1203]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 1023
[29-Oct-2021 20:08:06 Europe/Paris] PHP Fatal error:  SQL ERROR [ mysqli ]<br /><br />User hva_hva already has more than 'max_user_connections' active connections [1203]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 1023
[29-Oct-2021 20:08:06 Europe/Paris] PHP Fatal error:  SQL ERROR [ mysqli ]<br /><br />User hva_hva already has more than 'max_user_connections' active connections [1203]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 1023
[29-Oct-2021 20:08:06 Europe/Paris] PHP Fatal error:  SQL ERROR [ mysqli ]<br /><br />User hva_hva already has more than 'max_user_connections' active connections [1203]<br /><br />An sql error occurred while fetching this page. Please contact an administrator if this problem persists. in /home2/hva/public_html/forum/phpbb/db/driver/driver.php on line 1023

[Pit]

Re

J'ai ajouté le 4/11 deux robots dans la liste : Qwant bot et Apple bot.
J'ai utilisé la possibilité d'avoir une correspondance partielle sur le nom du robot, j'espère que je les ai bien enregistré.

Depuis, j'ai eu une seule erreur le 5/11 à 11h52, puis une autre le 6/11 à 8h40 et aujourd'hui rien pour l'instant.

Mais dans les invités j'en ai toujours qui, sans être marqués bot, me semblent un peu bizarres, mais ils sont à ce que j'ai vu, sur la page d'index. Est-ce que ce serait de vrais gens ?
Exemple sur le Qui est en ligne à l'instant, du genre :

code : Tout sélectionner

Invité IP : 92.148.49.170 » Whois	
Mozilla/5.0 (iPhone; CPU iPhone OS 14_8 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) GSA/175.0.393249130 Mobile/15E148 Safari/604.1 	Page d’index 	dim. 7 nov. 2021 11:34
Invité IP : 85.3.191.27 » Whois	
Mozilla/5.0 (iPhone; CPU iPhone OS 15_0_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1 	Page d’index 	dim. 7 nov. 2021 11:34
Invité IP : 91.163.186.196 » Whois	
Mozilla/5.0 (iPhone; CPU iPhone OS 15_0_2 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/15.0 Mobile/15E148 Safari/604.1 	Page d’index 	dim. 7 nov. 2021 11:30