SERP Hacker support forum - serposcope

Support forum for open-source softwares built by serphacker.com : serposcope the rank checker.

You are not logged in.

#1 2016-05-12 18:49:52

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Erreur réseau

Bonjour,
Super outil que j'ai réussi à installer sous Ubuntu avec Java 8 (ce jour même). J'arrive à lancer l'outil, à le paramétrer mais impossible de récupérer les données en provenance de Google.

Voici le log correspondant à ma dernière action :
-----------
[2016-05-12 20:46:47,352] [Thread-22] INFO  c.s.s.t.AbstractTask - task started for module GOOGLE of day 2016-05-12
[2016-05-12 20:46:47,365] [Thread-22] INFO  c.s.s.t.g.GoogleTask - no captcha service configured
[2016-05-12 20:46:47,368] [Thread-22] WARN  c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2016-05-12 20:46:47,375] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread started
[2016-05-12 20:46:47,377] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-6#" | try 1 | total search done : 0/11
[2016-05-12 20:46:47,378] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.fr/search?q=#OBF#search-6# via proxy:direct try 1
[2016-05-12 20:46:47,565] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.fr/search?q=#OBF#search-6# via proxy:direct try 2
[2016-05-12 20:46:47,689] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.fr/search?q=#OBF#search-6# via proxy:direct try 3
[2016-05-12 20:46:47,825] [google-0] WARN  c.s.s.t.g.GoogleTaskRunnable - scrap failed for #OBF#search-6# because of ERROR_NETWORK
[2016-05-12 20:46:47,825] [google-0] WARN  c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2016-05-12 20:46:47,825] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2016-05-12 20:46:47,827] [Thread-22] WARN  c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2016-05-12 20:46:47,827] [Thread-22] WARN  c.s.s.t.g.GoogleTask - 11 searches have not been checked
[2016-05-12 20:46:47,828] [Thread-22] INFO  c.s.s.t.AbstractTask - task done for module GOOGLE
-----------

Ainsi que le log de démarrage :
-----------
starting serposcope service
[2016-05-12 20:08:07,549] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-05-12 20:08:07,552] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /var/lib/serposcope
[2016-05-12 20:08:07,552] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /var/log/serposcope
[2016-05-12 20:08:07,552] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:h2:/var/lib/serposcope/db;MODE=MySQL
[2016-05-12 20:08:07,552] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2016-05-12 20:08:07,552] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2016-05-12 20:08:07,552] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-05-12 20:08:07,625] [NinjaJetty] WARN  o.e.j.s.h.ContextHandler - Empty contextPath
[2016-05-12 20:08:07,640] [NinjaJetty] INFO  s.l.MyNinjaJetty - Trying to start jetty vnull on 0.0.0.0:7134
[2016-05-12 20:08:07,986] [NinjaJetty] INFO  c.Module - now logging to /var/log/serposcope/2016-05-12.log*
-----------

J'ai testé avec et sans proxy : même message d'erreur "ERROR_NETWORK". Je sèche un peu. Une idée pour avancer ?

Offline

#2 2016-05-12 18:52:33

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

serposcope est installé sur un serveur ? apparemment il n'arrive pas à faire de requete vers Google sur le port 443, peut être du à la présence d'un parefeu ou ip blacklisté.

Offline

#3 2016-05-12 19:34:26

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

Non pardon, je n'ai pas précisé. Serposcope est installé en local sur mon ordi de travail.
Je suis derrière une box, il faut que j'ouvre des ports peut-être ?

Last edited by TyTyTy (2016-05-13 09:53:20)

Offline

#4 2016-05-13 09:56:42

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

non normalement il n'y a rien a configurer sur une box, le problème ne peut venir que de ton ordinateur si tu arrives à te connecter à Google depuis le meme ordinateur. Je pense plus à un antivirus/firewall qui empêche serposcope de faire des connexions sortantes.

Offline

#5 2016-05-13 11:11:11

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

J'arrive à me connecter à Google. Peu importe le navigateur.

Et quand je fais : sudo lsof -i | grep ESTABLISHED j'obtiens (entre autre) :
-------------
java      1932 serposcope   33u  IPv6 594358      0t0  TCP localhost:7134->localhost:40679 (ESTABLISHED)
java      1932 serposcope   34u  IPv6 594340      0t0  TCP localhost:7134->localhost:40678 (ESTABLISHED)
java      1932 serposcope   36u  IPv6 594338      0t0  TCP localhost:7134->localhost:40677 (ESTABLISHED)
java      1932 serposcope   37u  IPv6 594359      0t0  TCP localhost:7134->localhost:40680 (ESTABLISHED)
java      1932 serposcope   38u  IPv6 600820      0t0  TCP localhost:7134->localhost:40681 (ESTABLISHED)
java      1932 serposcope   39u  IPv6 471272      0t0  TCP localhost:7134->localhost:40676 (ESTABLISHED)
-------------

Et sudo iptables -L montre que je ne filtre rien :
-------------
Chain INPUT (policy ACCEPT)
target     prot opt source               destination         

Chain FORWARD (policy ACCEPT)
target     prot opt source               destination         

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination     
-------------

La connexion passe donc bien, non ?

Offline

#6 2016-05-13 12:11:26

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

le lsof montre que ton navigateur est connecté à serposcope (port 7134) mais pas de rapport avec la connexion Google. Là j'avoue ne pas savoir d'où vient le problème...

Offline

#7 2016-05-13 12:22:55

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

Merci pour ton aide. Je continue à creuser.

Offline

#8 2016-05-16 16:15:46

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

tu as réussi ?

Offline

#9 2016-05-17 03:49:56

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

Non, pour l'instant c'est un échec.

Offline

#10 2016-06-06 15:48:41

pico
Member
Registered: 2016-06-06
Posts: 3

Re: Erreur réseau

Bonjour,

Avez-vous réussis à comprendre ou plus d'info sur ce problème ?

Après un test vraiment enthousiasmant sur pc local (Windows 10) : Aucun problème, tout fonctionne niquel.
Je passe sur serveur (Debian 8) :
- installation standard via le package debian
- paramétrage via l'interface web
- puis commence un liste de proxy
=> mais impossible de crawler un quelconque résultat.

Je vire les proxy pour passer en direct connexion, restart le tout sans erreur :
==> /var/log/serposcope/startup.log <==
[2016-06-06 17:47:21,481] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-06-06 17:47:21,483] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /var/lib/serposcope
[2016-06-06 17:47:21,483] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /var/log/serposcope
[2016-06-06 17:47:21,483] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:h2:/var/lib/serposcope/db;MODE=MySQL
[2016-06-06 17:47:21,483] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2016-06-06 17:47:21,483] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2016-06-06 17:47:21,483] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-06-06 17:47:21,515] [NinjaJetty] WARN  o.e.j.s.h.ContextHandler - Empty contextPath
[2016-06-06 17:47:21,523] [NinjaJetty] INFO  s.l.MyNinjaJetty - Trying to start jetty vnull on 0.0.0.0:7134
[2016-06-06 17:47:21,695] [NinjaJetty] INFO  c.Module - now logging to /var/log/serposcope/2016-06-06.log

et malheureusement obtient la même erreur au crawling :
==> /var/log/serposcope/2016-06-06.log <==
[2016-06-06 17:42:19,641] [Thread-16] INFO  c.s.s.t.AbstractTask - task started for module GOOGLE of day 2016-06-06
[2016-06-06 17:42:19,648] [Thread-16] INFO  c.s.s.t.g.GoogleTask - no captcha service configured
[2016-06-06 17:42:19,651] [Thread-16] WARN  c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2016-06-06 17:42:19,652] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread started
[2016-06-06 17:42:19,653] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - search "toto" | try 1 | total search done : 0/2
[2016-06-06 17:42:19,653] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.fr/search?q=toto&num=50 via proxy:direct try 1
[2016-06-06 17:42:19,786] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.fr/search?q=toto&num=50 via proxy:direct try 2
[2016-06-06 17:42:19,810] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.fr/search?q=toto&num=50 via proxy:direct try 3
[2016-06-06 17:42:19,834] [google-0] WARN  c.s.s.t.g.GoogleTaskRunnable - scrap failed for toto because of ERROR_NETWORK
[2016-06-06 17:42:19,834] [google-0] WARN  c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2016-06-06 17:42:19,834] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2016-06-06 17:42:19,837] [Thread-16] WARN  c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2016-06-06 17:42:19,837] [Thread-16] WARN  c.s.s.t.g.GoogleTask - 2 searches have not been checked
[2016-06-06 17:42:19,838] [Thread-16] INFO  c.s.s.t.AbstractTask - task done for module GOOGLE

J'avoue avoir tout vérifier sur le serveur sans trouver de raison particulière à une connexion sortante bloquée.
Pas de firewall ou de services particuliers, pas de crash ou d'exception en démarrant directement le jar..
Je suis à court d'idée :-( Please help ? :-)

Merci,
Nicolas

Offline

#11 2016-06-06 15:57:06

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

Bonjour Nicolas,

Je n'en ai aucune idée malheureusement, c'est un problème très rare qui peut arriver si l'ip est bloqué par Google ou pour une autre raison qui m'est inconnue pour le moment. As-tu essayé avec un proxy pour voir si ça fonctionne ?

Chez qui est hébergé le serveur ?

Sinon tente de spécifier l'adresse IP sortante à serposcope en utilisant un proxy bind (bind#ip) tu peux récupérer l'ip via la commande ifconfig...

Je vais voir si je peux rajouter plus d'information sur les erreurs de connexion dans la prochaine version.

Offline

#12 2016-06-06 18:20:35

pico
Member
Registered: 2016-06-06
Posts: 3

Re: Erreur réseau

Bonjour et merci pour ton retour rapide !

J'ai joué les requêtes à la main avec un elinks et Google répond, pas de blacklist donc.

J'ai monté ce midi un squid3 sur un autre serveur pour tester, le squid marche niquel avec mon PC, mon tel, etc
Mais sur le serveur : Pas plus d'infos que que la validation échouant sans erreur dans les logs

Bind, j'ai essayé aussi avec exactement le même résultat : ERROR_NETWORK

Dans tous les cas, merci pour ce projet : l'avoir testé donne clairement envie de voir plus loin (spiderlog : idem !)
Je suis hébergé chez SoYouStart en dédié, et vais sans doute continuer à chercher pour ne pas rester sur cette erreur smile
Si tu as des idées de test à faire, ou une version plus verbeuse, je suis preneur smile

Merci, Nicolas

Offline

#13 2016-06-06 19:09:41

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

Lorsque tu utilises le proxy SQUID, sur l'interface proxy quand tu fais vérifier tous les proxies, il est OK ?

Offline

#14 2016-06-07 03:39:23

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

@Pico,
Je n'ai pas réussi de mon côté. Je suis preneur de toute nouvelle suggestion. Si je trouve la solution, je la posterai ici bien évidemment.

Offline

#15 2016-06-07 05:12:29

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

Si vous êtes deux à avoir exactement le même problème, il y a peut-être un bug. Si l'un d'entre vous peut me filer accès à son serveur pour que je regarde, vous pouvez me contacter sur  support@serphacker.com ou skype : serphacker

Offline

#16 2016-06-07 08:10:51

pico
Member
Registered: 2016-06-06
Posts: 3

Re: Erreur réseau

Hello, pour mon cas les tests de vérification de proxy échouent (Proxy invalide) tous sans erreur (vraiment tous sans exception, le problème semble être avant ça)
Ici une liste de test (mon squid n'y est pas mais le résultat est le même)

[2016-06-06 15:03:59,926] [Thread-71] INFO  c.s.s.t.p.ProxyChecker - starting proxy checking task, threads = 50, timeout in MS = 20000
[2016-06-06 15:03:59,941] [pool-28-thread-2] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://120.198.231.66:8080/
[2016-06-06 15:03:59,941] [pool-28-thread-1] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://188.165.205.87:3389/
[2016-06-06 15:03:59,941] [pool-28-thread-3] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://218.240.23.14:8888/
[2016-06-06 15:03:59,942] [pool-28-thread-4] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://27.222.49.15:8888/
[2016-06-06 15:03:59,942] [pool-28-thread-6] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://52.40.124.145:8083/
[2016-06-06 15:03:59,942] [pool-28-thread-5] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://120.198.231.66:8086/
[2016-06-06 15:03:59,947] [pool-28-thread-7] INFO  c.s.s.t.p.ProxyChecker - checking proxy:http://107.191.61.167:81/
[2016-06-06 15:04:19,964] [Thread-71] INFO  c.s.s.t.p.ProxyChecker - proxy checking finished in 00:00:20.037

Je continue mes tests

Offline

#17 2016-06-07 09:31:16

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

De mon côté, l'outil est installé sur un de mes postes de travail (pas un serveur). Si besoin, je peux faire des tests / transmettre des logs afin de faire avancer la situation.

Offline

#18 2016-12-06 12:55:51

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

Je ne désespère pas mais les messages d'erreurs évoluent. Nouvel essai ce jour avec la version 2.6.0 avec dans le fichier de log la ligne suivante qui pourrait donner une piste :
[2016-12-06 13:54:35,301] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[-1] exception=[SSLHandshakeException : sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target]

Si ça parle à quelqu'un ?Problème de certificat ?

Last edited by TyTyTy (2016-12-06 12:56:28)

Offline

#19 2016-12-06 12:59:21

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

Bonjour, intéressant pouvez-vous désinstaller java (attention, il peut y avoir plusieurs versions de java installées) et réinstaller la dernière version de java 8

Offline

#20 2016-12-06 17:03:53

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

Je viens de désinstaller Java 8, de le réinstaller, de configurer la variable JAVA_HOME en vain. J'ai toujours le message d'erreur :
[2016-12-06 18:02:45,585] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[-1] exception=[SSLHandshakeException : sun.security.validator.ValidatorException: PKIX path building failed: sun.security.provider.certpath.SunCertPathBuilderException: unable to find valid certification path to requested target]

Offline

#21 2016-12-07 08:45:32

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Erreur réseau

Il semblerait que la configuration des certificats d'autorité SSL de Java sur votre ordinateur soit incorrect (ça empêche de vérifier que la connexion SSL est ok en gros). J'ignore comment cette erreur est possible, mais je ne pense pas qu'elle soit liée à serposcope mais plutot à votre installation java.

https://www.google.fr/search?q=SSLHands … ted+target

Offline

#22 2016-12-07 09:01:35

TyTyTy
Member
Registered: 2016-05-12
Posts: 10

Re: Erreur réseau

Merci pour la réponse rapide... je continue de chercher.

Offline

Board footer