SERP Hacker support forum - serposcope

Support forum for open-source softwares built by serphacker.com : serposcope the rank checker.

You are not logged in.

#1 2017-12-17 15:23:50

camille
Member
Registered: 2017-12-17
Posts: 5

scrap failed because of ERROR_NETWORK

Bonjour !

Depuis une semaine, les tâches échouent au bout de quelques requêtes (quelques dizaines quand j'ai de la chance) avec l'erreur ERROR_NETWORK. Exemple :

[2017-12-17 15:08:02,965] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-46#" | try 1 | total search done : 50/231
[2017-12-17 15:08:02,965] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-46#&gl=fr&num=100 via proxy:direct try 1
[2017-12-17 15:08:03,831] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2017-12-17 15:08:03,846] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 51357 milliseconds
[2017-12-17 15:08:55,229] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-92#" | try 1 | total search done : 51/231
[2017-12-17 15:08:55,229] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-92#&gl=fr&num=100 via proxy:direct try 1
[2017-12-17 15:08:56,213] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2017-12-17 15:08:56,229] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 46063 milliseconds
[2017-12-17 15:09:42,315] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-193#" | try 1 | total search done : 52/231
[2017-12-17 15:09:42,315] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-193#&gl=fr&num=100 via proxy:direct try 1
[2017-12-17 15:09:43,426] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2017-12-17 15:09:43,437] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 49086 milliseconds
[2017-12-17 15:10:32,531] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-327#" | try 1 | total search done : 53/231
[2017-12-17 15:10:32,532] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-327#&gl=fr&num=100 via proxy:direct try 1
[2017-12-17 15:10:32,908] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[503] exception=[none]
[2017-12-17 15:10:32,908] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-327#&gl=fr&num=100 via proxy:direct try 2
[2017-12-17 15:10:33,320] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[503] exception=[none]
[2017-12-17 15:10:33,320] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-327#&gl=fr&num=100 via proxy:direct try 3
[2017-12-17 15:10:33,679] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[503] exception=[none]
[2017-12-17 15:10:33,679] [google-0] WARN  c.s.s.t.g.GoogleTaskRunnable - scrap failed for #OBF#search-327# because of ERROR_NETWORK
[2017-12-17 15:10:33,679] [google-0] WARN  c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2017-12-17 15:10:33,680] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2017-12-17 15:10:33,685] [Thread-72] WARN  c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2017-12-17 15:10:33,685] [Thread-72] WARN  c.s.s.t.g.GoogleTask - 178 searches have not been checked
[2017-12-17 15:10:33,685] [Thread-72] INFO  c.s.s.t.AbstractTask - task done for module GOOGLE

A quoi cela est du ? IP bannie ?
Je dois tenter d'ajouter d'autres IP ?

Merci beaucoup !

Last edited by camille (2017-12-17 15:24:11)

Offline

#2 2017-12-17 15:28:13

Jeff31
Member
Registered: 2016-09-13
Posts: 42

Re: scrap failed because of ERROR_NETWORK

As tu ajouté des proxy dans la config de serposcope ?
Combien d’IP différentes utilise serposcope ?
Combien de mots clés est-ce que tu suis ?

Last edited by Jeff31 (2017-12-17 15:32:40)

Offline

#3 2017-12-17 15:31:49

camille
Member
Registered: 2017-12-17
Posts: 5

Re: scrap failed because of ERROR_NETWORK

Pour le moment non, 1IP et pas de proxy. J'ai Anticaptcha et 263 requêtes.

Last edited by camille (2017-12-17 15:33:29)

Offline

#4 2017-12-17 15:39:19

Jeff31
Member
Registered: 2016-09-13
Posts: 42

Re: scrap failed because of ERROR_NETWORK

J’ai édité mon post mais tu as répondu à mes questions. wink
Je pense que google bloque ton ip (status 503 qui si je ne dis pas de bêtises désigne un access forbidden)
263 requêtes c’est pas énorme mais bon... Dans la config pour google tu as mis quoi en valeur min/max pour la pause ? Et combien de threads simultanées ?

Dans tout les cas je pense que quelques proxy (même gratuits) seraient les bienvenus.

Last edited by Jeff31 (2017-12-17 15:39:41)

Offline

#5 2017-12-17 15:43:07

camille
Member
Registered: 2017-12-17
Posts: 5

Re: scrap failed because of ERROR_NETWORK

Voilà ma config :
233315Capturedecran20171217a164052.png

Offline

#6 2017-12-17 16:06:37

Jeff31
Member
Registered: 2016-09-13
Posts: 42

Re: scrap failed because of ERROR_NETWORK

Bon donc pour la config google je pense que t'es OK. (Pour la pause, Min 10 et Max 20 devrait suffire ET passe le nombre de threads à 3)
Il faudrait que tu essaye avec des proxy pour voir si cela ne vient pas de là...

Je te file quelques IP que j'ai utilisées cet aprem et comme je sais pas si tu as l'habitude je te décris le truc pas à pas:
- Dans Admin clique sur Proxy.
- Ajouter proxy.
- Y a une pop up qui s'ouvre.
- Tu copie 10 fois http#127.0.0.1#80 en retournant à la ligne à chaque fois !!!
- Tu remplace à chaque ligne 127.0.0.1 par une des IP que je te donne en dessous. (tu auras par exemple http#175.45.134.96#80 pour la première ligne)

175.45.134.96
51.254.252.34
35.194.82.128
35.198.143.21
74.208.110.38
137.74.168.174
45.6.216.66
182.30.65.253
223.30.74.214
192.99.222.207

- Enregister.
- Clique sur Vérifier tous pour être sure qu'ils sont toujours bon.
- Lance un check des positions pour voir si ca fonctionne wink


Moi j'utilise ce site pour trouver des proxy: http://adresseip.com/proxy/
C'est pas parfait et il faut souvent trouver de nouveau proxy mais ça à le mérite d'être gratuit...

Last edited by Jeff31 (2017-12-17 16:08:59)

Offline

#7 2017-12-17 16:52:49

camille
Member
Registered: 2017-12-17
Posts: 5

Re: scrap failed because of ERROR_NETWORK

Ca a l'air d'être un peu mieux, ça finit toujours par bloquer assez vite :

[2017-12-17 16:42:21,838] [google-1] INFO  c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-213#" | try 1 | total search done : 36/69
[2017-12-17 16:42:21,838] [google-1] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-213#&gl=fr&num=100 via proxy:http://#OBF#proxy-ip#:80/ try 1
[2017-12-17 16:42:23,272] [google-1] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[503] exception=[none]
[2017-12-17 16:42:23,272] [google-1] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-213#&gl=fr&num=100 via proxy:http://#OBF#proxy-ip#:80/ try 2
[2017-12-17 16:42:26,205] [google-1] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[503] exception=[none]
[2017-12-17 16:42:26,205] [google-1] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-213#&gl=fr&num=100 via proxy:http://#OBF#proxy-ip#:80/ try 3
[2017-12-17 16:42:27,713] [google-1] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[503] exception=[none]
[2017-12-17 16:42:27,713] [google-1] WARN  c.s.s.t.g.GoogleTaskRunnable - scrap failed for #OBF#search-213# because of ERROR_NETWORK
[2017-12-17 16:42:27,713] [google-1] WARN  c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2017-12-17 16:42:27,713] [google-1] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2017-12-17 16:42:27,719] [Thread-77] WARN  c.s.s.t.g.GoogleTask - 8 proxies failed during the task
[2017-12-17 16:42:27,719] [Thread-77] WARN  c.s.s.t.g.GoogleTask - 33 searches have not been checked
[2017-12-17 16:42:27,720] [Thread-77] INFO  c.s.s.t.AbstractTask - task done for module GOOGLE

Offline

#8 2017-12-17 17:06:14

Jeff31
Member
Registered: 2016-09-13
Posts: 42

Re: scrap failed because of ERROR_NETWORK

Bon hmm
J'avoue que souvent je suis obligé de reprendre la vérification avec Revérifier les positions des mot-clés en erreur ou récemment ajoutés pour arriver à finir la tâche. Je ne sais donc pas trop quoi te dire de plus.
Encore un problème qui sera je l'espère réglé dans une prochaine mise à jour.
En attendant en mode dégradé et avec un peu de patience tu peux vérifier tes positions...

Last edited by Jeff31 (2017-12-17 17:06:33)

Offline

#9 2017-12-17 17:14:26

camille
Member
Registered: 2017-12-17
Posts: 5

Re: scrap failed because of ERROR_NETWORK

Ok ! Grace à tes conseils, j'ai au moins de quoi finir les tâches sans avoir à cliquer des tonnes de fois. Merci  smile
J'attends avec impatience la prochaine mise à jour !

Offline

#10 2017-12-17 17:19:32

Jeff31
Member
Registered: 2016-09-13
Posts: 42

Re: scrap failed because of ERROR_NETWORK

Avec plaisir smile
N'oublie pas de checker régulièrement tes proxy et de les changer le cas échéant pour ne pas cramer l'IP de ton serveur.
A+

Offline

Board footer