SERP Hacker support forum - serposcope
You are not logged in.
- Topics: Active | Unanswered
#1 2018-05-24 09:27:31
- gribouille
- Member
- Registered: 2018-05-24
- Posts: 2
DONE_WITH_ERROR
Bonjour,
tout d'abord, bravo pour cet outil aussi efficace que précis. Ensuite, je voudrais savoir pourquoi depuis plusieurs jours, j'ai le message " DONE_WITH_ERROR ". En fait, l'analyse commence et s'arrête à 23% sans raisons. Les 1er test ont foncitonnés pendant quelques jours et là : plus rien. Je ne suis pas un geek, j'ai cherché sur le forum mais n'est rien trouvé. Les logs, pour moi c'est comme le russe : Je sais que c'est une langue étrangère mais je n'y comprend rien ... 
J'ai remis les paramètres d'origines, j'ai tenté de faire les modif indiquées dans la FAQ " Serposcope est lent, comment le rendre plus rapide ? ", mais rien n'y change ...
Merci de votre aide et bonne journée 
Windows 7
Serposcope V 2.9.0
Java : build 1.8.0_171-b11
Mes logs :
$$############################################################################
# WARNING : log anonymization will not obfuscate deleted keywords and data #
############################################################################
[2018-05-24 00:15:12,325] [pool-2-thread-1] DEBUG s.s.CronService - starting google task via cron
[2018-05-24 00:15:12,325] [Thread-33] INFO c.s.s.t.AbstractTask - task started for module GOOGLE of day 2018-05-24 (new task)
[2018-05-24 00:15:12,330] [Thread-33] INFO c.s.s.t.g.GoogleTask - no captcha service configured
[2018-05-24 00:15:12,330] [Thread-33] INFO c.s.s.t.g.GoogleTask - 17 searches to do
[2018-05-24 00:15:12,333] [Thread-33] WARN c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2018-05-24 00:15:12,335] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread started
[2018-05-24 00:15:12,335] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "scénarisation événement" | try 1 | total search done : 0/17
[2018-05-24 00:15:12,335] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-18#&gl=fr via proxy:direct try 1
[2018-05-24 00:15:12,725] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2018-05-24 00:15:13,025] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2018-05-24 00:15:13,025] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:direct
[2018-05-24 00:15:13,065] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for scénarisation événement because of ERROR_CAPTCHA_NO_SOLVER
[2018-05-24 00:15:13,065] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2018-05-24 00:15:13,065] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2018-05-24 00:15:13,068] [Thread-33] WARN c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2018-05-24 00:15:13,068] [Thread-33] WARN c.s.s.t.g.GoogleTask - 17 searches have not been checked
[2018-05-24 00:15:13,070] [Thread-33] INFO c.s.s.t.AbstractTask - task done for module GOOGLE
[2018-05-24 00:15:13,070] [pool-2-thread-1] INFO s.s.CronService - history pruning : 0 runs deleted
[2018-05-24 00:36:31,973] [Thread-12] INFO s.s.CronService - stopService
[2018-05-24 00:36:31,973] [Thread-12] INFO s.l.MyNinjaJetty - Trying to stop jetty on 0.0.0.0:7134
[2018-05-24 00:36:31,988] [Thread-12] INFO s.l.MyNinjaJetty - Stopped jetty on 0.0.0.0:7134
[2018-05-24 09:20:44,331] [NinjaJetty] INFO c.SerposcopeConf - serposcope.version : 2.9.0
[2018-05-24 09:20:44,332] [NinjaJetty] INFO c.SerposcopeConf - serposcope.datadir : C:\ProgramData\serposcope
[2018-05-24 09:20:44,332] [NinjaJetty] INFO c.SerposcopeConf - serposcope.logdir : C:\ProgramData\serposcope/logs
[2018-05-24 09:20:44,332] [NinjaJetty] INFO c.SerposcopeConf - serposcope.db.url : jdbc:h2:C:\ProgramData\serposcope/db;MODE=MySQL
[2018-05-24 09:20:44,333] [NinjaJetty] INFO c.SerposcopeConf - serposcope.db.debug : false
[2018-05-24 09:20:44,333] [NinjaJetty] INFO c.SerposcopeConf - serposcope.listenAddress : 0.0.0.0
[2018-05-24 09:20:44,333] [NinjaJetty] INFO c.SerposcopeConf - serposcope.listenPort : 7134
[2018-05-24 09:20:50,331] [NinjaJetty] INFO c.s.s.d.b.MigrationDB - database up to date
[2018-05-24 09:20:50,336] [NinjaJetty] INFO s.h.CookieEncryptionOverride - Ninja session encryption is using AES / 256 bit.
[2018-05-24 09:20:50,377] [NinjaJetty] INFO s.s.CronService - startService
[2018-05-24 09:20:50,615] [NinjaJetty] INFO s.l.MyNinjaJetty - Started jetty vnull on 0.0.0.0:7134
[2018-05-24 09:20:50,615] [NinjaJetty] INFO s.l.MyNinjaJetty - -------------------------------------------------------
[2018-05-24 09:20:50,615] [NinjaJetty] INFO s.l.MyNinjaJetty - Ninja application running at
[2018-05-24 09:20:50,615] [NinjaJetty] INFO s.l.MyNinjaJetty - => http://0.0.0.0:7134
[2018-05-24 09:20:50,615] [NinjaJetty] INFO s.l.MyNinjaJetty - -------------------------------------------------------
[2018-05-24 09:20:51,850] [pool-1-thread-1] INFO s.s.Scheduler - last version 2.9.0 | current version 2.9.0
[2018-05-24 09:21:07,537] [qtp2036958521-32] ERROR n.AssetsController - error streaming file
org.eclipse.jetty.io.EofException: null
at org.eclipse.jetty.io.ChannelEndPoint.flush(ChannelEndPoint.java:192) ~[serposcope.jar:na]
at org.eclipse.jetty.io.WriteFlusher.flush(WriteFlusher.java:408) ~[serposcope.jar:na]
at org.eclipse.jetty.io.WriteFlusher.write(WriteFlusher.java:302) ~[serposcope.jar:na]
at org.eclipse.jetty.io.AbstractEndPoint.write(AbstractEndPoint.java:129) ~[serposcope.jar:na]
at org.eclipse.jetty.server.HttpConnection$SendCallback.process(HttpConnection.java:684) ~[serposcope.jar:na]
at org.eclipse.jetty.util.IteratingCallback.processing(IteratingCallback.java:246) ~[serposcope.jar:na]
at org.eclipse.jetty.util.IteratingCallback.iterate(IteratingCallback.java:208) ~[serposcope.jar:na]
at org.eclipse.jetty.server.HttpConnection.send(HttpConnection.java:480) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpChannel.sendResponse(HttpChannel.java:768) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpChannel.write(HttpChannel.java:801) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:142) ~[serposcope.jar:na]
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:135) ~[serposcope.jar:na]
at org.eclipse.jetty.server.HttpOutput.write(HttpOutput.java:350) ~[serposcope.jar:na]
at com.google.common.io.ByteStreams.copy(ByteStreams.java:74) ~[serposcope.jar:na]
at ninja.AssetsController.streamOutUrlEntity(AssetsController.java:154) [serposcope.jar:na]
at ninja.AssetsController.access$200(AssetsController.java:45) [serposcope.jar:na]
at ninja.AssetsController$1.render(AssetsController.java:95) [serposcope.jar:na]
at ninja.utils.ResultHandler.handleRenderable(ResultHandler.java:87) [serposcope.jar:na]
at ninja.utils.ResultHandler.handleResult(ResultHandler.java:60) [serposcope.jar:na]
at ninja.NinjaDefault.onRouteRequest(NinjaDefault.java:104) [serposcope.jar:na]
at ninja.servlet.NinjaServletDispatcher.service(NinjaServletDispatcher.java:86) [serposcope.jar:na]
at com.google.inject.servlet.ServletDefinition.doServiceImpl(ServletDefinition.java:287) [serposcope.jar:na]
at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:277) [serposcope.jar:na]
at com.google.inject.servlet.ServletDefinition.service(ServletDefinition.java:182) [serposcope.jar:na]
at com.google.inject.servlet.ManagedServletPipeline.service(ManagedServletPipeline.java:91) [serposcope.jar:na]
at com.google.inject.servlet.FilterChainInvocation.doFilter(FilterChainInvocation.java:85) [serposcope.jar:na]
at com.google.inject.servlet.ManagedFilterPipeline.dispatch(ManagedFilterPipeline.java:119) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:133) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:130) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter$Context.call(GuiceFilter.java:203) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter.doFilter(GuiceFilter.java:130) [serposcope.jar:na]
at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [serposcope.jar:na]
at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:585) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1127) [serposcope.jar:na]
at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:515) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1061) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97) [serposcope.jar:na]
at org.eclipse.jetty.server.Server.handle(Server.java:497) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:310) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257) [serposcope.jar:na]
at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:540) [serposcope.jar:na]
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635) [serposcope.jar:na]
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555) [serposcope.jar:na]
at java.lang.Thread.run(Unknown Source) [na:1.8.0_171]
Caused by: java.io.IOException: Une connexion existante a dû être fermée par l’hôte distant
at sun.nio.ch.SocketDispatcher.writev0(Native Method) ~[na:1.8.0_171]
at sun.nio.ch.SocketDispatcher.writev(Unknown Source) ~[na:1.8.0_171]
at sun.nio.ch.IOUtil.write(Unknown Source) ~[na:1.8.0_171]
at sun.nio.ch.SocketChannelImpl.write(Unknown Source) ~[na:1.8.0_171]
at org.eclipse.jetty.io.ChannelEndPoint.flush(ChannelEndPoint.java:172) ~[serposcope.jar:na]
... 44 common frames omitted
[2018-05-24 09:21:31,859] [Thread-16] INFO c.s.s.t.AbstractTask - task started for module GOOGLE of day 2018-05-24 (new task)
[2018-05-24 09:21:31,875] [Thread-16] INFO c.s.s.t.g.GoogleTask - no captcha service configured
[2018-05-24 09:21:31,890] [Thread-16] INFO c.s.s.t.g.GoogleTask - 17 searches to do
[2018-05-24 09:21:31,890] [Thread-16] WARN c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2018-05-24 09:21:31,984] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread started
[2018-05-24 09:21:31,984] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "spectacle égalité homme femme" | try 1 | total search done : 0/17
[2018-05-24 09:21:31,984] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-5#&gl=fr via proxy:direct try 1
[2018-05-24 09:21:32,904] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:21:33,123] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:21:38,129] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=10 via proxy:direct try 1
[2018-05-24 09:21:38,504] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:21:38,582] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:21:43,594] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=20 via proxy:direct try 1
[2018-05-24 09:21:44,125] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:21:44,156] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:21:49,156] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=30 via proxy:direct try 1
[2018-05-24 09:21:49,609] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:21:49,634] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:21:54,635] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=40 via proxy:direct try 1
[2018-05-24 09:21:55,197] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:21:55,228] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:00,250] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=50 via proxy:direct try 1
[2018-05-24 09:22:00,781] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:00,796] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:05,803] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=60 via proxy:direct try 1
[2018-05-24 09:22:06,365] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:06,380] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:11,388] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=70 via proxy:direct try 1
[2018-05-24 09:22:11,856] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:11,871] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:16,882] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=80 via proxy:direct try 1
[2018-05-24 09:22:17,348] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:17,348] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:22,356] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=90 via proxy:direct try 1
[2018-05-24 09:22:23,387] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:23,387] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:28,394] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=100 via proxy:direct try 1
[2018-05-24 09:22:28,893] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:28,909] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:33,916] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=110 via proxy:direct try 1
[2018-05-24 09:22:34,368] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:34,384] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:39,391] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=120 via proxy:direct try 1
[2018-05-24 09:22:39,874] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:39,874] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:44,881] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=130 via proxy:direct try 1
[2018-05-24 09:22:45,458] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:45,458] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:50,467] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=140 via proxy:direct try 1
[2018-05-24 09:22:51,013] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:51,029] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:22:56,037] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=150 via proxy:direct try 1
[2018-05-24 09:22:56,583] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:22:56,583] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:01,590] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=160 via proxy:direct try 1
[2018-05-24 09:23:02,176] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:02,182] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:07,183] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=170 via proxy:direct try 1
[2018-05-24 09:23:08,470] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:08,470] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:13,476] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=180 via proxy:direct try 1
[2018-05-24 09:23:14,022] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:14,038] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:19,038] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=190 via proxy:direct try 1
[2018-05-24 09:23:19,585] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:19,585] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:24,646] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "spectacle égalité femme homme" | try 1 | total search done : 1/17
[2018-05-24 09:23:24,646] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-16#&gl=fr via proxy:direct try 1
[2018-05-24 09:23:25,457] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:25,457] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:30,465] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=10 via proxy:direct try 1
[2018-05-24 09:23:30,886] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:30,901] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:35,910] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=20 via proxy:direct try 1
[2018-05-24 09:23:36,425] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:36,441] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:41,449] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=30 via proxy:direct try 1
[2018-05-24 09:23:41,962] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:41,965] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:46,967] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=40 via proxy:direct try 1
[2018-05-24 09:23:47,572] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:47,580] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:52,587] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=50 via proxy:direct try 1
[2018-05-24 09:23:53,055] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:53,070] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:23:58,077] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=60 via proxy:direct try 1
[2018-05-24 09:23:58,872] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:23:58,872] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:03,881] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=70 via proxy:direct try 1
[2018-05-24 09:24:04,615] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:04,631] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:09,632] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=80 via proxy:direct try 1
[2018-05-24 09:24:10,371] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:10,371] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:15,377] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=90 via proxy:direct try 1
[2018-05-24 09:24:16,001] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:16,017] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:21,026] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=100 via proxy:direct try 1
[2018-05-24 09:24:21,743] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:21,759] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:26,760] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=110 via proxy:direct try 1
[2018-05-24 09:24:27,359] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:27,363] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:32,363] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=120 via proxy:direct try 1
[2018-05-24 09:24:32,913] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:32,928] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:37,929] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=130 via proxy:direct try 1
[2018-05-24 09:24:38,481] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:38,481] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:43,484] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=140 via proxy:direct try 1
[2018-05-24 09:24:44,092] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:44,108] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:49,120] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=150 via proxy:direct try 1
[2018-05-24 09:24:49,760] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:49,760] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:24:54,770] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=160 via proxy:direct try 1
[2018-05-24 09:24:55,456] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:24:55,456] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:00,464] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=170 via proxy:direct try 1
[2018-05-24 09:25:01,104] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:01,104] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:06,109] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=180 via proxy:direct try 1
[2018-05-24 09:25:06,733] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:06,733] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:11,744] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=190 via proxy:direct try 1
[2018-05-24 09:25:12,341] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:12,344] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:17,353] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "#OBF#search-7#" | try 1 | total search done : 2/17
[2018-05-24 09:25:17,353] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-7#&gl=fr via proxy:direct try 1
[2018-05-24 09:25:17,983] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:17,983] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:22,989] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=10 via proxy:direct try 1
[2018-05-24 09:25:23,394] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:23,394] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:28,402] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=20 via proxy:direct try 1
[2018-05-24 09:25:28,839] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:28,854] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:33,863] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=30 via proxy:direct try 1
[2018-05-24 09:25:34,300] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:34,300] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:39,307] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=40 via proxy:direct try 1
[2018-05-24 09:25:39,822] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:39,822] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:44,830] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=50 via proxy:direct try 1
[2018-05-24 09:25:45,470] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:45,470] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:50,478] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=60 via proxy:direct try 1
[2018-05-24 09:25:50,821] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2018-05-24 09:25:51,320] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[200] exception=[none]
[2018-05-24 09:25:51,320] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:25:56,328] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=70 via proxy:direct try 1
[2018-05-24 09:25:56,859] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:25:56,859] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:01,863] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=80 via proxy:direct try 1
[2018-05-24 09:26:02,387] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:02,391] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:07,392] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=90 via proxy:direct try 1
[2018-05-24 09:26:07,951] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:07,966] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:12,971] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=100 via proxy:direct try 1
[2018-05-24 09:26:13,470] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:13,470] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:18,480] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=110 via proxy:direct try 1
[2018-05-24 09:26:19,042] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:19,042] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:24,047] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=120 via proxy:direct try 1
[2018-05-24 09:26:24,577] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:24,577] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:29,585] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=130 via proxy:direct try 1
[2018-05-24 09:26:30,115] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:30,115] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:35,126] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=140 via proxy:direct try 1
[2018-05-24 09:26:35,735] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:35,735] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:40,740] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=150 via proxy:direct try 1
[2018-05-24 09:26:41,302] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:41,302] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:46,309] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=160 via proxy:direct try 1
[2018-05-24 09:26:46,855] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:46,870] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:51,883] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=170 via proxy:direct try 1
[2018-05-24 09:26:52,381] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:52,404] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "théâtre d'entreprise" | try 1 | total search done : 3/17
[2018-05-24 09:26:52,404] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-2#&gl=fr via proxy:direct try 1
[2018-05-24 09:26:53,344] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:53,344] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:26:58,352] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=10 via proxy:direct try 1
[2018-05-24 09:26:59,085] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:26:59,100] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:04,112] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=20 via proxy:direct try 1
[2018-05-24 09:27:04,736] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:04,752] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:09,756] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=30 via proxy:direct try 1
[2018-05-24 09:27:10,364] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:10,380] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:15,389] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=40 via proxy:direct try 1
[2018-05-24 09:27:15,997] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:15,997] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:21,006] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=50 via proxy:direct try 1
[2018-05-24 09:27:21,771] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:21,771] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:26,791] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=60 via proxy:direct try 1
[2018-05-24 09:27:27,473] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:27,488] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:32,489] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=70 via proxy:direct try 1
[2018-05-24 09:27:33,109] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:33,125] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:38,135] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=80 via proxy:direct try 1
[2018-05-24 09:27:38,852] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:38,852] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:43,859] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=90 via proxy:direct try 1
[2018-05-24 09:27:44,483] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:44,483] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:49,489] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=100 via proxy:direct try 1
[2018-05-24 09:27:50,113] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:50,113] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:27:55,121] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=110 via proxy:direct try 1
[2018-05-24 09:27:55,807] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:27:55,807] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:00,819] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=120 via proxy:direct try 1
[2018-05-24 09:28:01,662] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:01,677] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:06,681] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=130 via proxy:direct try 1
[2018-05-24 09:28:07,515] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:07,520] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:12,522] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=140 via proxy:direct try 1
[2018-05-24 09:28:13,188] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:13,188] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:18,194] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=150 via proxy:direct try 1
[2018-05-24 09:28:18,943] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:18,959] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:23,965] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=160 via proxy:direct try 1
[2018-05-24 09:28:24,620] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:24,635] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:29,643] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=170 via proxy:direct try 1
[2018-05-24 09:28:30,470] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:30,470] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:35,481] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=180 via proxy:direct try 1
[2018-05-24 09:28:36,261] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:36,261] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:41,268] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … &start=190 via proxy:direct try 1
[2018-05-24 09:28:42,158] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:42,158] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:47,164] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "animation plénière" | try 1 | total search done : 4/17
[2018-05-24 09:28:47,164] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-14#&gl=fr via proxy:direct try 1
[2018-05-24 09:28:47,757] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:47,762] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:52,764] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=10 via proxy:direct try 1
[2018-05-24 09:28:53,187] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:53,187] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:28:58,194] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=20 via proxy:direct try 1
[2018-05-24 09:28:58,662] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:28:58,662] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:29:03,668] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=30 via proxy:direct try 1
[2018-05-24 09:29:04,074] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:29:04,090] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:29:09,099] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=40 via proxy:direct try 1
[2018-05-24 09:29:09,723] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:29:09,723] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:29:14,730] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=50 via proxy:direct try 1
[2018-05-24 09:29:15,120] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-05-24 09:29:15,136] [google-0] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 5000 milliseconds
[2018-05-24 09:29:20,144] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#se … r&start=60 via proxy:direct try 1
[2018-05-24 09:29:20,503] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2018-05-24 09:29:20,768] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2018-05-24 09:29:20,768] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:direct
[2018-05-24 09:29:20,846] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for animation plénière because of ERROR_CAPTCHA_NO_SOLVER
[2018-05-24 09:29:20,846] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2018-05-24 09:29:20,846] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2018-05-24 09:29:20,846] [Thread-16] WARN c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2018-05-24 09:29:20,846] [Thread-16] WARN c.s.s.t.g.GoogleTask - 13 searches have not been checked
[2018-05-24 09:29:20,846] [Thread-16] INFO c.s.s.t.AbstractTask - task done for module GOOGLE
[2018-05-24 11:07:53,391] [Thread-17] INFO c.s.s.t.AbstractTask - task started for module GOOGLE of day 2018-05-24 (new task)
[2018-05-24 11:07:53,407] [Thread-17] INFO c.s.s.t.g.GoogleTask - no captcha service configured
[2018-05-24 11:07:53,407] [Thread-17] INFO c.s.s.t.g.GoogleTask - 17 searches to do
[2018-05-24 11:07:53,407] [Thread-17] WARN c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2018-05-24 11:07:53,407] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread started
[2018-05-24 11:07:53,407] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "spectacle égalité hommes femmes" | try 1 | total search done : 0/17
[2018-05-24 11:07:53,407] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-15#&gl=fr via proxy:direct try 1
[2018-05-24 11:07:53,724] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2018-05-24 11:07:54,119] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2018-05-24 11:07:54,119] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:direct
[2018-05-24 11:07:54,194] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for spectacle égalité hommes femmes because of ERROR_CAPTCHA_NO_SOLVER
[2018-05-24 11:07:54,194] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2018-05-24 11:07:54,194] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2018-05-24 11:07:54,197] [Thread-17] WARN c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2018-05-24 11:07:54,197] [Thread-17] WARN c.s.s.t.g.GoogleTask - 17 searches have not been checked
[2018-05-24 11:07:54,199] [Thread-17] INFO c.s.s.t.AbstractTask - task done for module GOOGLE
[2018-05-24 11:08:39,426] [Thread-18] INFO c.s.s.t.AbstractTask - task started for module GOOGLE of day 2018-05-24 (new task)
[2018-05-24 11:08:39,426] [Thread-18] INFO c.s.s.t.g.GoogleTask - no captcha service configured
[2018-05-24 11:08:39,441] [Thread-18] INFO c.s.s.t.g.GoogleTask - 17 searches to do
[2018-05-24 11:08:39,441] [Thread-18] WARN c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2018-05-24 11:08:39,441] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread started
[2018-05-24 11:08:39,441] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "animation plénière" | try 1 | total search done : 0/17
[2018-05-24 11:08:39,441] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-14#&gl=fr via proxy:direct try 1
[2018-05-24 11:08:39,773] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2018-05-24 11:08:40,078] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2018-05-24 11:08:40,080] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:direct
[2018-05-24 11:08:40,113] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for animation plénière because of ERROR_CAPTCHA_NO_SOLVER
[2018-05-24 11:08:40,113] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2018-05-24 11:08:40,113] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2018-05-24 11:08:40,113] [Thread-18] WARN c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2018-05-24 11:08:40,113] [Thread-18] WARN c.s.s.t.g.GoogleTask - 17 searches have not been checked
[2018-05-24 11:08:40,113] [Thread-18] INFO c.s.s.t.AbstractTask - task done for module GOOGLE
[2018-05-24 11:12:46,717] [qtp2036958521-34] ERROR c.s.s.s.c.s.AntiCaptchaSolver - exception
java.lang.IllegalArgumentException: Illegal character in query at index 37: http://anti-captcha.com//res.php?key= 7fca62c589680736e5055bbe2e17af7d&action=getbalance
at java.net.URI.create(Unknown Source) ~[na:1.8.0_171]
at org.apache.http.client.methods.HttpGet.<init>(HttpGet.java:69) ~[serposcope.jar:na]
at com.serphacker.serposcope.scraper.http.ScrapClient.get(ScrapClient.java:370) ~[serposcope.jar:na]
at com.serphacker.serposcope.scraper.http.ScrapClient.get(ScrapClient.java:366) ~[serposcope.jar:na]
at com.serphacker.serposcope.scraper.captcha.solver.AntiCaptchaSolver.getRawBalance(AntiCaptchaSolver.java:319) [serposcope.jar:na]
at com.serphacker.serposcope.scraper.captcha.solver.AntiCaptchaSolver.testLogin(AntiCaptchaSolver.java:296) [serposcope.jar:na]
at serposcope.controllers.admin.SettingsController.testCaptcha(SettingsController.java:240) [serposcope.jar:na]
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.8.0_171]
at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) ~[na:1.8.0_171]
at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) ~[na:1.8.0_171]
at java.lang.reflect.Method.invoke(Unknown Source) ~[na:1.8.0_171]
at ninja.params.ControllerMethodInvoker.invoke(ControllerMethodInvoker.java:57) [serposcope.jar:na]
at ninja.FilterChainEnd.next(FilterChainEnd.java:49) [serposcope.jar:na]
at serposcope.filters.AdminFilter.filter(AdminFilter.java:39) [serposcope.jar:na]
at ninja.FilterChainImpl.next(FilterChainImpl.java:35) [serposcope.jar:na]
at serposcope.filters.BaseFilter.filter(BaseFilter.java:61) [serposcope.jar:na]
at ninja.FilterChainImpl.next(FilterChainImpl.java:35) [serposcope.jar:na]
at ninja.NinjaDefault.onRouteRequest(NinjaDefault.java:102) [serposcope.jar:na]
at ninja.servlet.NinjaServletDispatcher.service(NinjaServletDispatcher.java:86) [serposcope.jar:na]
at com.google.inject.servlet.ServletDefinition.doServiceImpl(ServletDefinition.java:287) [serposcope.jar:na]
at com.google.inject.servlet.ServletDefinition.doService(ServletDefinition.java:277) [serposcope.jar:na]
at com.google.inject.servlet.ServletDefinition.service(ServletDefinition.java:182) [serposcope.jar:na]
at com.google.inject.servlet.ManagedServletPipeline.service(ManagedServletPipeline.java:91) [serposcope.jar:na]
at com.google.inject.servlet.FilterChainInvocation.doFilter(FilterChainInvocation.java:85) [serposcope.jar:na]
at com.google.inject.servlet.ManagedFilterPipeline.dispatch(ManagedFilterPipeline.java:119) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:133) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter$1.call(GuiceFilter.java:130) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter$Context.call(GuiceFilter.java:203) [serposcope.jar:na]
at com.google.inject.servlet.GuiceFilter.doFilter(GuiceFilter.java:130) [serposcope.jar:na]
at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1652) [serposcope.jar:na]
at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:585) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1127) [serposcope.jar:na]
at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:515) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1061) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:141) [serposcope.jar:na]
at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:97) [serposcope.jar:na]
at org.eclipse.jetty.server.Server.handle(Server.java:497) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpChannel.handle(HttpChannel.java:310) [serposcope.jar:na]
at org.eclipse.jetty.server.HttpConnection.onFillable(HttpConnection.java:257) [serposcope.jar:na]
at org.eclipse.jetty.io.AbstractConnection$2.run(AbstractConnection.java:540) [serposcope.jar:na]
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635) [serposcope.jar:na]
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555) [serposcope.jar:na]
at java.lang.Thread.run(Unknown Source) [na:1.8.0_171]
Caused by: java.net.URISyntaxException: Illegal character in query at index 37: http://anti-captcha.com//res.php?key= 7fca62c589680736e5055bbe2e17af7d&action=getbalance
at java.net.URI$Parser.fail(Unknown Source) ~[na:1.8.0_171]
at java.net.URI$Parser.checkChars(Unknown Source) ~[na:1.8.0_171]
at java.net.URI$Parser.parseHierarchical(Unknown Source) ~[na:1.8.0_171]
at java.net.URI$Parser.parse(Unknown Source) ~[na:1.8.0_171]
at java.net.URI.<init>(Unknown Source) ~[na:1.8.0_171]
... 43 common frames omitted
[2018-05-24 11:13:07,608] [Thread-19] INFO c.s.s.t.AbstractTask - task started for module GOOGLE of day 2018-05-24 (new task)
[2018-05-24 11:13:08,358] [Thread-19] DEBUG c.s.s.d.CaptchaSolverFactoryImpl - anticaptcha : remaining credit 0.0
[2018-05-24 11:13:08,630] [Thread-19] WARN c.s.s.d.CaptchaSolverFactoryImpl - anticaptcha : not enough credit
[2018-05-24 11:13:08,630] [Thread-19] INFO c.s.s.t.g.GoogleTask - no captcha service configured
[2018-05-24 11:13:08,630] [Thread-19] INFO c.s.s.t.g.GoogleTask - 17 searches to do
[2018-05-24 11:13:08,630] [Thread-19] WARN c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2018-05-24 11:13:08,630] [Thread-19] INFO c.s.s.t.g.GoogleTask - less proxy (1) than max thread (20), setting thread number to 20
[2018-05-24 11:13:08,646] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread started
[2018-05-24 11:13:08,646] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - search "spectacle égalité homme femme" | try 1 | total search done : 0/17
[2018-05-24 11:13:08,646] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - GET https://www.google.com/search?q=#OBF#search-5#&gl=fr via proxy:direct try 1
[2018-05-24 11:13:08,942] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2018-05-24 11:13:09,379] [google-0] INFO c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2018-05-24 11:13:09,379] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:direct
[2018-05-24 11:13:09,410] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for spectacle égalité homme femme because of ERROR_CAPTCHA_NO_SOLVER
[2018-05-24 11:13:09,410] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2018-05-24 11:13:09,410] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2018-05-24 11:13:09,410] [Thread-19] WARN c.s.s.t.g.GoogleTask - 1 proxies failed during the task
[2018-05-24 11:13:09,410] [Thread-19] WARN c.s.s.t.g.GoogleTask - 17 searches have not been checked
[2018-05-24 11:13:09,410] [Thread-19] INFO c.s.s.t.AbstractTask - task done for module GOOGLE
Last edited by gribouille (2018-05-24 09:31:29)
Offline
#2 2018-05-25 07:30:56
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Bonjour
D’après les logs je vois que tu n’utilise ni proxy ni captchas solvers.
Comme tu n’utilses pas de proxies c’est directement avec ton adresse ip que serposcope va chercher sur google. Au debut ca passe mais rapidement google se pose des questions. Il va alors « taguer to adresse ip » comme étant suspecte et au lieu de fornir le résultat il va d’abord afficher un captcha pour vérifier que la requête vient bien d’un humain et pas d’un robot.
Et la... deuxième problème pour toi car comme tu fais ces requêtes via Serposcope que l’on considère comme un robot ET que tu n’a pas souscrit à un service de captcha solver (qui va répondre à la question comme le ferais un humain) la recherche sur tes mots clés ne peut pas avancer et donc s’arrête.
Il te faut donc:
1/ trouver des proxies gratuit ou payant (gratuit c’est bien pour tester mais rapidement ca ne passera plus)
2/ souscrire à au moins un service pour résoudre les captchas
Ca coute pas forcément cher mais tout dépend de l’importance de ton projet.
Last edited by Jeff31 (2018-05-25 07:53:13)
Offline
#3 2018-05-25 07:48:42
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Ma Configuration:
Cron Time: 01:00
Anticaptcha -> Yes
DeathByCaptcha Login -> Yes
2captcha -> Yes
Proxy: 10#http IP's (Buyproxies.org)
Nombres de Pages: 1
Resultat par page: 100
Pause:
Min->60 | Max->120
Maximum Threads: 3
Réessayer : 3Je scanne environ 400 Mots-clés en 2h 40minutes
J’ai en principe 0 captchas and 0 erreurs
C’est la configuration que j’utilise actuellement:
Comme tu peux le voir j’ai souscrit à 3 services anti-captchas (DeathByCaptcha, Anticaptcha et 2captcha) car ils sont complémentaires selon le type de captcha affiché par google.
J’ai aussi également 10 adresses Ip http (proxies) que j’ai acheté chez Buyproxies.org (abonnement avec renouvellement des IP tout les mois). J’ai choisi des privés pour être certain qu’elles ne soient pas blacklistées par google (ca arrive souvent avec des IP gratuites ou semi-privées)
J’ai mis un temps de pause élevé car dans mon cas ca ne mendérange pas d’avoir une recherche qui dure des heures...
Pour configurer tout ca c’est directement en cliquant sur l’onglet « admin »
Ps: Je te donne les services que j’utilise seulement à titre d’info. Ils fonctionnent bien pour moi mais c’est à toi de te faire ton idée et/ou de trouver mieux et moins cher...
Last edited by Jeff31 (2018-05-25 07:52:12)
Offline
#4 2018-05-25 10:09:08
- gribouille
- Member
- Registered: 2018-05-24
- Posts: 2
Re: DONE_WITH_ERROR
Bonjour Jeff31,
merci pour ce retour rapide et porteur de solutions. Je vais donc regarder dans ce sens.
Pour le captcha, j'ai souscris à API key Anticaptcha mais effectivement, je n'ai pas proxies. Mais je être attentif à tes remarques ( gratuits / payants ).
Comme tu l'indiques, cela à bien marché au début et après ( pafff ) ça a buggé.
J'ai CyberGhost ( VPN pour navigation anonyme et ip cachée ) mais bizzarement ça n'a pas marché
Je vais tenir compte également de tes remarques de paramétrage pour voir si cela corrige le probléme.
Merci @ toi et bonne journée.
Ps : comment fais tu pour sortir les infos de ta config ? En mode manuel ou il y a une action particulière ?
Offline
#5 2018-05-25 15:35:55
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Pour le vpn je sais que serposcope fonctionne bien avec aussi mais comme j’ai jamais essayé personnellement....
Pour la config, c’est en mode manuel. C’est celle que j’utilise avec un VPS chez OVH.
Tu utilise serposcope avec un PC ou installé sur un serveur ?
Offline
#6 2018-05-30 05:11:14
- slom
- Member
- Registered: 2016-01-21
- Posts: 16
Re: DONE_WITH_ERROR
Bonjour Jeff31,
Je m'immisce dans votre conversation car j'ai relevé que tu utilises des proxys payants et cette piste m'intéresse.
Ma Configuration:
Serposcope PC
Anticaptcha -> Yes
DeathByCaptcha Login -> Yes
2captcha -> Yes
Proxy: ~3200 issus de gatherproxy.com et vérifiés dans Serposcope avant d'être utilisés
Nombres de Pages: 1
Resultat par page: 100
Pause:
Min->120 | Max->240
Maximum Threads: 60
Réessayer : 3
Mots clés : ~9000
Je fais un relevé de positions par semaine.
Ca fonctionnait très bien depuis des mois, ça me consommait environ 10-15$ de service anti-captchas.
Mais maintenant, depuis 1 mois environ, ça me consomme 30-40$ de service anti-captchas.
Je me demande si je ne devrais pas plutôt prendre 10 proxys payants plutôt que les proxys gratuits de gatherproxy.com.
Sur Buyproxies.org, tu prends des Dedicated proxies ou des Semi-dedicated proxies ?
As-tu par ailleurs des recommandations à me faire concernant ma configuration ?
Merci d'avance 
Offline
#7 2018-05-31 07:41:55
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
J’ai pris des dedicated, abonnement mensuel avec mise à dispo de nouveaux proxies tous les 30 jours. Si tu as un soucis avec ils te les changes de suite.
Les semi-dedicated sont moins cher mais tu prends le risque d’avoir des proxies tagués par google si un autre utilisateur abuse....
Pour ta config, il faudra voir le temps de pause par rapport au nombre de proxies afin que ca tourne en moins de 24 heures
Pour 400 mots-clés j’ai moins de 10 captchas par scan.
Last edited by Jeff31 (2018-05-31 07:44:58)
Offline
#8 2018-05-31 08:12:34
- slom
- Member
- Registered: 2016-01-21
- Posts: 16
Re: DONE_WITH_ERROR
Merci Jeff31 pour tes conseils.
Je vais tester la semaine prochaine :
Anticaptcha -> Yes
DeathByCaptcha Login -> Yes
2captcha -> Yes
Proxy: 20#http IP's Dedicated proxies (Buyproxies.org)
Nombres de Pages: 1
Resultat par page: 100
Pause:
Min->60 | Max->120
Maximum Threads: 10
Réessayer : 3
Mots clés : ~9000
Offline
#9 2018-05-31 18:17:57
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Si tu as 20 proxies tu peux normalement aller jusqu’à 20 threads. Serposcope ne fera pas deux recherches simultanées avec le même proxy.
C’est des conseils par rapport à mon expérience perso, ca peut être catastrophique chez toi. Il faudra peut être faire des ajustements.
Last edited by Jeff31 (2018-05-31 18:30:45)
Offline
#10 2018-05-31 18:32:05
- slom
- Member
- Registered: 2016-01-21
- Posts: 16
Re: DONE_WITH_ERROR
J'avais mis 10 threads pour 20 proxy car j'avais remarqué que tu avais mis, pour ta config, 3 threads pour 10 proxy.
Je vais pousser à 20 threads alors
Merci.
Offline
#11 2018-05-31 18:33:05
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
J’ai tendance à être trop prudent
Et puis j’ai pas énormément de mots-clés donc je suis pas pressé
Last edited by Jeff31 (2018-05-31 18:34:15)
Offline
#12 2018-10-13 08:39:24
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
Salut,
gros déterrage de post
J'ai du mal à avoir une config qui marche de nos jours... meme avec la version 2.10
J'ai également beaucoup plus de consommation anti-captcha depuis plusieurs mois sans réussir à m'en sortir, meme en augmentant le nombre de proxies de 3 à 10 (des dédiés en IP failover chez ovh)
pourtant je n'ai pas beaucoup de mot-clés, environ 250
et ca me donne ERROR_NETWORK très vite
si je fais reverifier les mots en erreur, ca avance un peu et ca bloque
[2018-10-13 09:51:35,416] [google-2] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[200] exception=[none]
[2018-10-13 09:51:35,416] [google-2] TRACE c.s.s.s.g.s.GoogleScraper - sleeping 63801 milliseconds
[2018-10-13 09:52:39,224] [google-2] DEBUG c.s.s.s.g.s.GoogleScraper - GET xxx via proxy:yyy try try 1
[2018-10-13 09:52:40,537] [google-2] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[403] exception=[none]
[2018-10-13 09:52:41,552] [google-2] DEBUG c.s.s.s.g.s.GoogleScraper - GET xxx via proxy:yyy try try 2
[2018-10-13 09:52:42,802] [google-2] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[403] exception=[none]
[2018-10-13 09:52:44,818] [google-2] DEBUG c.s.s.s.g.s.GoogleScraper - GET xxx via proxy:yyy try 3
[2018-10-13 09:52:45,959] [google-2] INFO c.s.s.s.g.s.GoogleScraper - GOT status=[403] exception=[none]
[2018-10-13 09:52:48,959] [google-2] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for zzz because of ERROR_NETWORK
Avez-vous des erreurs 403? on me dit que les IP seraient bannies par google, je veux bien a la rigueur pour mes 3 anciens proxies, mais les nouveaux ca me parait très bizarre... Je ne trouve pas le moyen de vérifier si mes IPs sont bannies ou pas, une idée?
Quand je lis "Pour 400 mots-clés j’ai moins de 10 captchas par scan." je m'interroge car j'en suis à 10x plus pour presque la moitié de motsclés !!
Avez-vous toujours cet ordre de grandeur de captchas par scan??
merci et bonne journée
Last edited by jmd (2018-10-13 08:45:47)
Offline
#13 2018-10-13 08:52:20
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Bonjour,
J’ai un peu laissé tomber Serposcope pour le moment.
Comme toi j’ai depuis septembre des erreurs que je n’arrive pas à résoudre. Les scans ne passe quasiment plus du premier coup et j’ai énormément de captchas aussi.
Sur un autre post il y a quelq’un qui émettait l’hypothèse que google bloque les recherches car il y a une différence entre l’ip de la requête (serposcope) et l’ip du captcha solver. Je ne sais pas si c’est exact mais ce n’est pas dénoué de sens.
Vu que le concepteur de Serposcope semble occupé sur d’autres projet en ce moment et que je ni l’envie de relancer dix fois par jours les scans, ni les compétences pour trouver une solution, je me suis tourné vers Semrush. Ça revient plus cher et c’est plus usine à gas mais au moins ca fonctionne. J’utiliserais à nouveau Serposcope avec plaisir quand une solution sera trouvée.
Last edited by Jeff31 (2018-10-13 08:53:02)
Offline
#14 2018-10-13 09:23:14
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
Merci pour ta réponse... rapide !
J'ai le même feeling, je vais regarder le java j'ai de vagues connaissances mais je ne vais pas m'acharner comme le concepteur n'est pas disponible
C'est dommage car j'ai des besoins simples et je n'ai pas trouvé de solution qui rentre dans mon budget, semrush c'est deja trop fourni et bien trop cher pour moi
bon week end !
Offline
#15 2018-10-14 08:07:25
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
Pour ton info j'ai fait une petite modification du code pour éviter en cas d'erreur_network que serposcope ne vienne cramer un proxy l'un après l'autre, ce qui était la cause de mon problème, n'ayant qu'une petite liste de proxies que moi je considère fiable. Ce n'est pas très académique, j'attends de voir le comportement après quelques jours.
Offline
#16 2018-10-14 08:09:41
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Super, si tu vois que ça fonctionne bien hésites pas à partager ?
Offline
#17 2018-10-14 08:12:21
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
faudrait voir si on a les même symptômes, c'est pas si sûr !! je donnerais des news dans la semaine
Offline
#18 2018-10-17 08:13:43
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
salut,
je résume mon problème : code de retour 403 qui va désactiver petit à petit ma liste de proxy et tout arrêter à environ 20% du scan en général, en affichant scrap failed for ... because of ERROR_NETWORK. Une action manuelle pour revérifier les mots clés en erreur fonctionne avec quasi systématiquement au redémarrage un code 302 demandant de revérifier les captchas, pour ensuite revenir en standard sur [200] pendant une durée variable. Sauf que cette action manuelle est à refaire une ou 10x par jour et je n'ai pas trouvé comment l'automatiser (il faut un ID)
ma config : anti-captcha + 10 proxies, 250 mots-clés
ma solution: au lieu de terminer sur cette erreur, je force à relancer le scan pour continuer. Alors bien sûr ca consomme plus de crédits anticaptcha qu'il y a 6 mois quand ca marchait au poil mais ca reste acceptable
!!!!!! je précise que c'est du bon gros patch "quick & dirty", je ne suis pas développeur, manip à faire à vos risques et périls !!!!!
il faut le .zip de la source et éditer GoogleTask.java qui se cache dans l'arborescence
ligne 138, je transforme la condition de cette façon:
if(remainingSearch > 0){
run.setErrors(remainingSearch);
LOG.warn("{} searches have not been checked", remainingSearch);
updateRun = true;
searchDone.set(1); // 0 ou 1, à vérifier
LOG.warn("XXX restart {} sur {}", searchDone, remainingSearch);
Run.Status status = doRun();
}
l'astuce est de passer le flag pour juste revérifier les mots clés en erreur et de réinitialiser le compteur pour que ca s'arrête à la fin
les % sur la page d'accueil sont un peu fantaisistes ensuite (ce qui me semble normal car les jours derniers étaient incomplets) mais le positionnement de chaque mot-clé semble ok
je recompile juste ce fichier avec javac (il faut par contre le java JDK) et remplace le fichier .class généré dans serposcope.jar et roulez jeunesse !
voila, on peut en discuter, si ca peut aider ou donner des idées à d'autres...
Offline
#19 2018-10-17 18:50:59
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Bon c’est super si ca fonctionne, à voir si ca tient dans le temps..
Personnellement j’ai d’autres projets à finir en ce moment mais je me pencherais dessus des que j’ai fini.
Merci en tout cas de ton aide pour maintenir Serposcope fonctionnel !
Last edited by Jeff31 (2018-10-17 18:51:36)
Offline
#20 2018-10-18 08:40:29
- momal
- Member
- Registered: 2018-10-18
- Posts: 2
Re: DONE_WITH_ERROR
Hello,
je suis en train de lire votre post et j'ai ce genre log depuis un moment
pourtant j'ai la mise à jour d'effectuée (serposcope.version : 2.10.0)
après on suis la position d'environ 10000 mots clés.
Avez vous une idée de par rapport à ce problème ?
Merci d'avance pour votre retour.
2018-10-18 00:21:58,543] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - scrap failed for équipement gros oeuvre saint louis because of ERROR_NETWORK
[2018-10-18 00:21:58,543] [google-0] WARN c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2018-10-18 00:21:58,543] [google-0] INFO c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2018-10-18 00:22:10,125] [Thread-27] WARN c.s.s.t.g.GoogleTask - 10 proxies failed during the task
[2018-10-18 00:22:10,125] [Thread-27] WARN c.s.s.t.g.GoogleTask - 10649 searches have not been checked
[2018-10-18 00:22:10,156] [Thread-27] INFO c.s.s.t.AbstractTask - task done for module GOOGLE
[2018-10-18 00:22:10,157] [pool-4-thread-1] INFO s.s.CronService - history pruning : 0 runs deleted
[2018-10-18 02:29:31,750] [pool-3-thread-1] INFO s.s.Scheduler - last version 2.10.0 | current version 2.10.0
[2018-10-18 08:29:31,862] [pool-3-thread-1] INFO s.s.Scheduler - last version 2.10.0 | current version 2.10.0
[2018-10-18 10:04:42,678] [qtp1720435669-9] ERROR n.AssetsController - error streaming file
org.eclipse.jetty.io.EofException: null
at org.eclipse.jetty.io.ChannelEndPoint.flush(ChannelEndPoint.java:192) ~[serposcope.jar:na]
at org.eclipse.jetty.io.WriteFlusher.flush(WriteFlusher.java:408) ~[serposcope.jar:na]
at org.eclipse.jetty.io.WriteFlusher.completeWrite(WriteFlusher.java:364) ~[serposcope.jar:na]
at org.eclipse.jetty.io.SelectChannelEndPoint.onSelected(SelectChannelEndPoint.java:111) ~[serposcope.jar:na]
at org.eclipse.jetty.io.SelectorManager$ManagedSelector.processKey(SelectorManager.java:636) ~[serposcope.jar:na]
at org.eclipse.jetty.io.SelectorManager$ManagedSelector.select(SelectorManager.java:607) ~[serposcope.jar:na]
at org.eclipse.jetty.io.SelectorManager$ManagedSelector.run(SelectorManager.java:545) ~[serposcope.jar:na]
at org.eclipse.jetty.util.thread.NonBlockingThread.run(NonBlockingThread.java:52) ~[serposcope.jar:na]
at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:635) [serposcope.jar:na]
at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:555) [serposcope.jar:na]
at java.lang.Thread.run(Thread.java:745) [na:1.8.0_101]
Caused by: java.io.IOException: Broken pipe
at sun.nio.ch.FileDispatcherImpl.write0(Native Method) ~[na:1.8.0_101]
at sun.nio.ch.SocketDispatcher.write(SocketDispatcher.java:47) ~[na:1.8.0_101]
at sun.nio.ch.IOUtil.writeFromNativeBuffer(IOUtil.java:93) ~[na:1.8.0_101]
at sun.nio.ch.IOUtil.write(IOUtil.java:65) ~[na:1.8.0_101]
at sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:471) ~[na:1.8.0_101]
at org.eclipse.jetty.io.ChannelEndPoint.flush(ChannelEndPoint.java:170) ~[serposcope.jar:na]
... 10 common frames omitted
Offline
#21 2018-10-25 08:06:54
- Jeff31
- Member
- Registered: 2016-09-13
- Posts: 43
Re: DONE_WITH_ERROR
Bonjour à tous
Jmd comment ca ce passe avec ton hack de Serposcope ? Tu as de bon résultats ?
Si cela fonctionne je vais tenter de mis atteler.
Pour le moment j’utilise toujours Semrush mais je viens de découvrir Wincher. C’est simple d’utilisation et pas trop cher (6€ de base). Ça peut être une alternative pour certains en attendant que Serposcope soit de nouveau 100% fonctionnel.
https://www.wincher.com/
[Edit] Je viens de voir qu'il y a une mise à jour 2.10.0, quelqu'un à testé ?
Last edited by Jeff31 (2018-10-25 09:39:49)
Offline
#22 2018-10-25 16:43:43
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
salut
@momal ben ca ressemble à mon probleme oui...
@jeff31, dans mon cas, le fonctionnement est bien automatisé depuis une semaine, ca change et mon tableau de position a l'air d'être correct
seul bémol le % + le petit graph (à gauche du camembert) ne sont pas bien mis à jour, il faudrait analyser le déroulement voir ce qui coince
et sinon oui la version 2.10 est indispensable depuis début octobre suite à la modif de l'algo google, sinon rien ne passe
a+
Offline
#23 2018-11-02 13:54:59
- Emb
- Member
- Registered: 2016-10-28
- Posts: 8
Re: DONE_WITH_ERROR
@jmd Même problème que j'ai soulevé dans mon topic apparemment. On est pas mal de monde dans ce cas, où un proxy se fait bloquer (erreur 403) sans que Google laisse la possibilité de ressaisir un code Captcha... Le hack que tu proposes n'est pas à ma portée malheureusement (je ne suis pas très à l'aise avec Java et les histoires de compilation).
J'espère qu'une mise à jour de Serposcope pourrait résoudre ce problème.
Offline
#24 2018-11-02 14:07:42
- jmd
- Member
- Registered: 2017-12-07
- Posts: 9
Re: DONE_WITH_ERROR
je peux fournir le fichier serposcope.jar directement modifié si ca intéresse du monde, le but serait d'avoir des retours d'expérience
Ensuite ca marche... ou pas !!
C'est l'archive java pour la version 2.10 pc (x64)
Faire un backup de la base de données en premier !
Stopper serposcope avec le moniteur, renommer le fichier serposcope.jar en serposcope.jar.original, copier le fichier suivant et relancer le service depuis le moniteur
http://fromsmash.com/240bc777-dea9-11e8 … b2f9c92664
validité du lien 14 jours
Last edited by jmd (2018-11-02 14:17:06)
Offline
#25 2018-11-15 13:31:56
- Emb
- Member
- Registered: 2016-10-28
- Posts: 8
Re: DONE_WITH_ERROR
Merci j'ai bien téléchargé le fichier, mais j'ai pu résoudre mon problème en achetant 4 adresses IP supplémentaires (2 € / IP une seule fois chez OVH). Je testerai donc cette modification si le problème revient.
Last edited by Emb (2018-11-15 13:32:33)
Offline