SERP Hacker support forum - serposcope

Support forum for open-source softwares built by serphacker.com : serposcope the rank checker.

You are not logged in.

#1 2021-10-26 17:52:34

stormy
Member
Registered: 2021-10-26
Posts: 2

Squid proxy & Google cookie consent & Captcha

Salut à tous!

Pour résumer mon soucis: serposcope n'aime pas mes proxy squid persos   wink     ils fonctionnent bien avec un browser ou d'autres tools, mais pas avec serposcope

Je viens de mettre en place sur un de mes serveurs dédiés SQUID configuré en proxy transparent avec 4 IP proxys (IPs failover OVH) pour un premier test.
J'ai testé avec un browser FF paramétré en mode proxy, et tout fonctionne bien avec les IP proxifiées. A chaque reset des paramètres browser (effacement complet des cookies,etc) j'ai toujours la page google avec le cookie consent.
Mais une fois cette page manuellement passée, je peux surfer, requêter sous google à la mano avec un browser et ces 4 proxys.


Mais le soucis se gate lorsque j'interface ces proxy avec SERPOSCOPE.  En mode test de proxy, ils sont tous validé avec l'affichage OK.  (les IPs sont bonnes, les logins/pswd sont bien passés, etc)

Par contre lorsque je lance un scan pour quelques mots clefs, j'ai toujours des erreurs.  Serposcope n'a jamais réussi à fonctionner avec ces proxys.

Voici les erreurs via le log serposcope:
[2021-10-26 18:04:42,095] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2021-10-26 18:04:42,110] [google-2] INFO  c.s.s.s.g.s.GoogleScraper - GOT status=[302] exception=[none]
[2021-10-26 18:04:42,767] [google-0] INFO  c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2021-10-26 18:04:42,767] [google-0] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:http://user:pass@3x.5x.1x.2x2:43128/
[2021-10-26 18:04:42,782] [google-3] INFO  c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2021-10-26 18:04:42,782] [google-3] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:http://user:pass@3x.5x.1x.2x5:43128/
[2021-10-26 18:04:42,798] [google-1] INFO  c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2021-10-26 18:04:42,798] [google-1] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:http://user:pass@3x.5x.1x.2x3:43128/
[2021-10-26 18:04:42,876] [google-2] INFO  c.s.s.s.g.s.GoogleScraper - GOT[refetch] status=[302] exception=[none]
[2021-10-26 18:04:42,876] [google-2] DEBUG c.s.s.s.g.s.GoogleScraper - captcha form detected via proxy:http://user:pass@3x.5x.1x.2x4:43128/
[2021-10-26 18:04:43,235] [google-3] WARN  c.s.s.t.g.GoogleTaskRunnable - scrap failed for monmotclef because of ERROR_CAPTCHA_NO_SOLVER
[2021-10-26 18:04:43,235] [google-3] WARN  c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2021-10-26 18:04:43,235] [google-3] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread stopped
[2021-10-26 18:04:43,235] [google-2] WARN  c.s.s.t.g.GoogleTaskRunnable - scrap failed for monsecondmotclef because of ERROR_CAPTCHA_NO_SOLVER
[2021-10-26 18:04:43,235] [google-2] WARN  c.s.s.t.g.GoogleTaskRunnable - no more proxy, stopping the thread
[2021-10-26 18:04:43,235] [google-2] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread stopped

J'ai bien la sensation que cela vient de la première page renvoyée par google avec le cookie consent, et que serposcope n'arrive pas à la passer pour je ne sais quelle raison....

Avez-vous une idée?  A la base j'avais paramétré squid en mode proxy elite (pas de traçabilité) mais là j'ai descendu le curseur et je passe tous les headers mais cela ne fonctionne toujours pas..... sad

Comment faire pour que serposcope valide ce cookie consent???   (j'ai lu les posts, à priori une version corrigeait ce soucis mais je suis en 2.13.1 donc la dernière version cela devrait passer!)

Est-il nécessaire pour ce cookie CONSENT d'avoir un système de captcha opérationnel????   Car je n'ai ai pas interfaçé serposcope avec un outil pour passer les captcha.
--> j'ai GSA CAPTCHA BREAKER mais je ne peux l'interfacer, car je ne vois pas comment sous SERPOSCOPE spécifié l'IP de mon captcha breaker (192.168.50.xx) qui pourrait répondre tel deatchcaptcha grace à son webserver intégré.

Merci pour vos lumières!!!  smile

Côté techniques: serposcope est installé sur un W2K19 Server, squid sur du Debian 10.

Last edited by stormy (2021-10-26 17:56:22)

Offline

#2 2021-11-05 10:20:23

stormy
Member
Registered: 2021-10-26
Posts: 2

Re: Squid proxy & Google cookie consent & Captcha

ok bon, malgré quelques consultations par certains d'entre vous, malheureusement pas de réponse.

donc j'ai ajouté anti-captcha, cela fonctionne désormais.

SAUF que CHAQUE jour à chaque relance de l'outil, un captcha doit être résolu sur chacune de mes IPs, cela est SYSTEMATIQUE.  C'est j'imagine la fameuse page du cookie consent??? 
comment éviter cela?   vous avez aussi systématiquement ce message de cookie consent???  comment procéder???

(car là j'ai bien peur que tous mes crédits fondent comme neige au soleil chez anti-captcha!  smile

Offline

Board footer