SERP Hacker support forum - serposcope

Support forum for open-source softwares built by serphacker.com : serposcope the rank checker.

You are not logged in.

#1 2016-04-05 12:38:37

yeca
Member
From: Annecy / Genève
Registered: 2016-03-17
Posts: 8
Website

Passer sur Mysql

Bonjour à tous

Je teste Serposcope depuis quelques jours et ses nombreuses possibilités.

Pour de nombreuses raisons, après avoir commencé sans trop paramétrer, j'aimerais passer sur mysql, entre autres pour pouvoir réutiliser les données.

J'ai donc modifié le .conf avec :

serposcope.db.url=jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
serposcope.listenAddress=localhost
serposcope.listenPort=8888

pour mettre ça dans mon mysql en local avec MAMP qui tourne

Après avoir crée la base de donnée serposcope, je lance serposcope, je lance le check et là on dirait que pour autant je suis toujours en mode H2. Les résultats sont visibles dans mon interface, mais rien dans la BDD Mysql. Pour autant, le fichier db.mv.db n'a à priori pas été modifié depuis ce check des positions.

Il doit y avoir un truc que j'ai pas pigé ou mal configuré :

[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/moi/serposcope
[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/moi/serposcope/logs
[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2016-04-05 11:23:51,241] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-04-05 11:28:35,287] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:28:35,287] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/yannickbouvard/serposcope
[2016-04-05 11:28:35,287] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/yannickbouvard/serposcope/logs
[2016-04-05 11:28:35,287] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
[2016-04-05 11:28:35,288] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2016-04-05 11:28:35,288] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2016-04-05 11:28:35,288] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-04-05 11:29:46,213] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:29:46,213] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/moi/serposcope
[2016-04-05 11:29:46,213] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/moi/serposcope/logs
[2016-04-05 11:29:46,213] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
[2016-04-05 11:29:46,213] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : true
[2016-04-05 11:29:46,214] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2016-04-05 11:29:46,214] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-04-05 11:30:47,792] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:30:47,792] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/yannickbouvard/serposcope
[2016-04-05 11:30:47,792] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/moi/serposcope/logs
[2016-04-05 11:30:47,793] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
[2016-04-05 11:30:47,793] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : true
[2016-04-05 11:30:47,793] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 127.0.0.1
[2016-04-05 11:30:47,793] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 8888
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/moi/serposcope
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/moi/serposcope/logs
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : true
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 127.0.0.1
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 8888
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/moi/serposcope
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/moi/serposcope/logs
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:h2:/Users/yannickbouvard/serposcope/db;MODE=MySQL
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : false
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 0.0.0.0
[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-04-05 11:33:14,282] [NinjaJetty] INFO  c.s.s.d.b.MigrationDB - database up to date
[2016-04-05 11:33:14,294] [NinjaJetty] INFO  s.h.CookieEncryptionOverride - Ninja session encryption is using AES / 128 bit.
[2016-04-05 11:33:14,364] [NinjaJetty] INFO  s.s.CronService - startService
[2016-04-05 11:33:14,476] [NinjaJetty] INFO  s.l.MyNinjaJetty - Started jetty vnull on 0.0.0.0:7134
[2016-04-05 11:33:14,476] [NinjaJetty] INFO  s.l.MyNinjaJetty - -------------------------------------------------------
[2016-04-05 11:33:14,476] [NinjaJetty] INFO  s.l.MyNinjaJetty - Ninja application running at
[2016-04-05 11:33:14,476] [NinjaJetty] INFO  s.l.MyNinjaJetty -  => http://0.0.0.0:7134
[2016-04-05 11:33:14,476] [NinjaJetty] INFO  s.l.MyNinjaJetty - -------------------------------------------------------
[2016-04-05 11:33:15,541] [pool-1-thread-1] INFO  s.s.Scheduler - last version 2.0.0 | current version 2.4.0
[2016-04-05 11:37:03,457] [Thread-18] INFO  c.s.s.t.AbstractTask - task started for module GOOGLE of day 2016-04-05
[2016-04-05 11:37:03,466] [Thread-18] INFO  c.s.s.t.g.GoogleTask - captcha service : deathbycaptcha
[2016-04-05 11:37:03,980] [Thread-18] DEBUG c.s.s.t.g.GoogleTask - capcha service deathbycaptcha : remaining credit 617.4866
[2016-04-05 11:37:04,230] [Thread-18] WARN  c.s.s.t.g.GoogleTask - no proxy configured, using direct connection
[2016-04-05 11:37:04,233] [google-0] INFO  c.s.s.t.g.GoogleTaskRunnable - google thread started
...

MacOS X
Java 1.8.0_73
Serposcope 2.4.0

Merci pour votre aide.

Last edited by yeca (2016-04-05 12:46:28)

Offline

#2 2016-04-05 12:51:41

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Passer sur Mysql

On voit que des fois vous avez réussi à le lancer avec mysql configuré :

[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true

Mais le port de mysql me semble vraiment bizarre ?

jdbc:mysql://localhost:8888/

? Normalement c'est plutot 3306. L'erreur se situe peut etre ici. Pour info serposcope.listenAddress=localhost et serposcope.listenPort=8888 n'ont rien à voir avec MySQL : Ce sont les directives pour le port d'écoute du serveur web serposcope.


Le dernier lancement a été fait sur H2 d'après les logs

[2016-04-05 11:33:11,121] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:h2:/Users/yannickbouvard/serposcope/db;MODE=MySQL

Offline

#3 2016-04-05 12:56:16

yeca
Member
From: Annecy / Genève
Registered: 2016-03-17
Posts: 8
Website

Re: Passer sur Mysql

Alors en fait ça ne fonctionnait pas en simple localhost, du coup comme MAMP utilise le port 8888, j'ai essayé comme ça et c'est passé (pour lancer serposcope).
Mais donc à priori serposcope serait reparti sur H2 ?

Je peux tester en mettant le port 3306, mais pour vérifier, je vois pas d'autre manière que de lancer un nouveau check, et donc c'est plus de 2 heures à attendre avec ma configuration.

Est-ce qu'il n'y a pas un moyen, une commande, pour vérifier que c'est bien configuré avant de lancer le check ?

Offline

#4 2016-04-05 13:03:42

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Passer sur Mysql

Pour le moment la configuration est incorrect, il faut commencer par enlever les lignes serposcope.listenAddress=localhost et serposcope.listenPort=8888.

Je viens de regarder, MAMP utilise par défaut le port 8889 pour MySQL il faut donc utiliser :

serposcope.db.url=jdbc:mysql://localhost:8889/serposcope?user=root&password=root

Pas besoin de faire un run pour vérifier que l'on est sur MySQL. On peut vérifier de plusieurs façon :
1/ Serposcope ne se lancera pas s'il n'arrive pas à se connecter à la base de données.
2/ Si serposcope se lance sur mysql on pourra voir dans les logs quelque chose comme :

[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.version          : 2.4.0
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.datadir          : /Users/moi/serposcope
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.logdir           : /Users/moi/serposcope/logs
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.url           : jdbc:mysql://localhost:8888/serposcope?user=root&password=root&allowMultiQueries=true
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.db.debug         : true
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenAddress    : 127.0.0.1
[2016-04-05 11:31:26,014] [NinjaJetty] INFO  c.SerposcopeConf - serposcope.listenPort       : 7134
[2016-04-05 11:33:14,282] [NinjaJetty] INFO  c.s.s.d.b.MigrationDB - database up to date
[2016-04-05 11:33:14,294] [NinjaJetty] INFO  s.h.CookieEncryptionOverride - Ninja session encryption is using AES / 128 bit.
[2016-04-05 11:33:14,364] [NinjaJetty] INFO  s.s.CronService - startService
[2016-04-05 11:33:14,476] [NinjaJetty] INFO  s.l.MyNinjaJetty - Started jetty vnull on 0.0.0.0:7134

3/ On doit également pouvoir le voir depuis un dump sysconfig sur le panel configuration/admin de serposcope
4/ En créant un groupe puis en regardant via phpmyadmin ou mysql pour voir si le groupe est bien créé

Offline

#5 2016-04-05 13:44:23

yeca
Member
From: Annecy / Genève
Registered: 2016-03-17
Posts: 8
Website

Re: Passer sur Mysql

Fantastique, ça fonctionne parfaitement à priori.

Je m'étais trop pris le chou en fait, c'était "aussi simple" que ça

En espérant que ça servira à d'autres.

Un grand merci pour l'aide et un énorme merci pour l'outil

Offline

#6 2016-05-18 05:38:30

wxis
Member
Registered: 2015-03-31
Posts: 14
Website

Re: Passer sur Mysql

Bonjour,

Je rejoins ce topic pour vous demander si en passant de h2 à mysql comme ici, serposcope peut effectuer le transfert des données pour ne pas repartir à zéro ?

Merci

Offline

#7 2016-05-18 11:18:08

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Passer sur Mysql

Non il n'y a rien pour le faire automatiquement, il faut faire un export manuel de la base de données h2 en utilisant un client h2 (voir sur leur site http://www.h2database.com/html/main.html). Théoriquement, ce dump doit être compatible avec MySQL.

Offline

#8 2016-05-18 12:13:05

wxis
Member
Registered: 2015-03-31
Posts: 14
Website

Re: Passer sur Mysql

OK merci

Offline

#9 2017-02-13 16:39:40

REGIS
Member
Registered: 2017-02-13
Posts: 3

Re: Passer sur Mysql

Bonjour,

Alors moi je comprend pas la migration c'est bien passé en mysql, mais j'ai 2 fichiers serposcope.conf
- 1 dans /etc/serposcope.conf et 1 dans /var/lib/serposcope.

Je suppose que je dois modifier celui qui est dans etc, c'est ce que j'ai fait mais je suis toujours en jdbc:h2:/var/lib/serposcope/db;MODE=MySQL dans les paramètre.

Merci pour vos réponse.

Mes paramètre url :
# To use this file, you must launch serposcope with -Dserposcope.conf=/path/to/this/file parameters
# Do not forgot to restart serposcope service if you edit this file
#
# path where is stored embedded database and data files
serposcope.datadir=/var/lib/serposcope

# log path
serposcope.logdir=/var/log/serposcope

# alternative database url
#serposcope.db.url=jdbc:mysql://ip_du_serveur-VPS:3306/bdd?user=USER&password=PASSWORD&allowMultiQueries=true

# additional database options
#serposcope.db.options=
#serposcope.db.debug=

# listen interface
#serposcope.listenAddress=

# listen port
#serposcope.listenPort=

Offline

#10 2017-02-13 16:45:41

serphacker
Administrator
Registered: 2014-06-13
Posts: 411

Re: Passer sur Mysql

Il faut retirer le # devant la ligne serposcope.db.url :

serposcope.db.url=jdbc:mysql://ip_du_serveur-VPS:3306/bdd?user=USER&password=PASSWORD&allowMultiQueries=true

Offline

#11 2017-02-14 09:05:43

REGIS
Member
Registered: 2017-02-13
Posts: 3

Re: Passer sur Mysql

Bonjour,

Merci pour votre retour, j'ai modifier en localhost et ça fonctionne

Merci

Last edited by REGIS (2017-02-14 12:57:40)

Offline

Board footer