X-Space

Jusqu'à récemment à chaque fois que j'avais besoin de versionner un projet, je créais un nouveau dépôt subversion ce qui revenait à faire :

• Via SSH : svnadmin create /some/path/
• Création d'un VirtualHost Apache (avec le htaccess qui va bien)
• Installation d'un WebSVN

Tout ca pour au final me retrouver avec une dizaine de dépôts (et autant d'URL) ayant chacun moins de 100 commits. J'ai donc décidé de fusionner tous ca sous une URL unique avec certificat TLS par dessus.

Deux hics :

• Comment importer mes dépôts dans le dépôt existant ?
• Comment définir une convention de nommage des dépôts ?

Pour la deuxième question ce fut assez simple : je me suis basé sur l'arborescence DNS inversée (ca tombe bien la majorité de mes projets ont une URL) :

Exemple : Si ce blog était versionné il le serait sous la forme net/x-space/www/ avec dans ce dossier les traditionnels trunk, branches et tags.

Pour la première question : et bien les développeurs de subversion ont pensé à tout.

svnadmin dump /path/to/the/old/repository/ > net.x-space.www.dump

Puis

svnadmin load --parent-dir net/x-space/www/ /path/to/the/new/repository/ < net.x-space.www.dump

Pour en savoir plus :

• svnadmin dump
• svnadmin load

En exécutant l'outil StatsSVN sur le code de la bibliothèque PHP commune à tous les projets de ma société, j'ai observé la tendance suivante

Sur plus de 300 fichiers et 26500 lignes de code, on voit clairement que la moyenne du nombre de lignes de code (LOC) par fichier se stabilise autour de 85 LOC/File.

Surprenant ?

Oui au premier abord, mais en mettant en parallèle nos méthodes de travail (TDD, POO, Utilisation de design pattern) et cette moyenne cela devient nettement plus logique.

Arrêt sur images à la suite d'une chronique de Colombe Schneck dans J'ai mes sources sur France Inter vient de "révéler" (contenu payant) qu'un nombre non négligeable de recherche Google sur le nom d'un journaliste était suivi du mot "juif". Ceci est ressorti grâce à la fonction Google Suggest.

Je viens de faire la même recherche sur quelques hommes politiques Français et devinez quoi...

En voici un florilège :

Après plus de 6 mois de retard, Eclipse PDT est sortie dans sa version 2 fin décembre.

Voici quelques paramètres et plugins qui me semblent indispensable pour tout développeur PHP.

Plugin indispensable

Subclipse

Ce plug in permet de se connecter au serveur de gestion de versions : Subversion

Ajoutons lui quelques raccourcis:

Onglet Window : Preferences : Général > Keys.

• Rechercher "commit", catégorie SVN : Affecter le raccourci <Ctrl>+<Alt>+<C>
• Rechercher "synchronize", catégorie SVN : <Ctrl>+<Alt>+<S>
• Rechercher "update", catégorie SVN : <Ctrl>+<Alt>+<U>
• Rechercher "Copy from Left To Right" : <Ctrl>+<Alt>+<Right>
• Rechercher "Copy from Right To Left " : <Ctrl>+<Alt>+<Left>

Quelques paramètres

Afin de respecter les conventions de codage PEAR

Général > Workspace :

• Text file encoding : Other : iso-8859-1 ou UTF-8 (selon les prochaines conventions)
• New Text file line delimiter : Other : Unix

Voir File formats

PHP > Code Style > Code Template

Si vous voulez éviter d'avoir à retaper la PHPDoc de déclaration de fichier ou de classe, c'est par la que ca se passe. Ceci peut être fait projet par projet aussi.

PHP > Code Style > Formatter :

• Tab policy : spaces
• Indentation size : 4

Voir Indenting and Line Length

Effectuer cette modification pour tous les types de fichiers (rechercher "tab" dans le moteur de recherche des préférences)

Afin d'améliorer le confort d'utilisation

PHP > Editor > Code Folding

• Décocher enable folding

Le code folding consiste à pouvoir afficher / masquer le corps d'une fonction. C'est très gourmand en ressource, fait freeze eclipse souvent et se révèle peu pratique à l'usage. La vue "outline" est plus agréable.

PHP > Editor > Save Actions

•  Remove trailing whitespace

A chaque "Save", eclipse va supprimer automatiquement les espaces de fin de lignes. Indispensable.

PHP > Editor > Typing

• Décocher String & Parenthese

Eclipse ne va plus s'amuser à fermer automatiquement les parenthèses ou les strings, ce qui est agaçant.

Voila j'en oublie sans doute alors n'hésitez pas à me faire part des vôtres.

Mises à jour

• 15 mai 2009 : Encoding, raccourcis Copy..., Tab

Si jamais vous utilisez une base de données SQL Server avec PHP taite très attention au paramètre mssql.max_procs.

Si l'on regarde la doc, sa valeur par défaut est "-1" donc illimité me disais je. Or ce n'est pas le cas, ce qui est confirmé par la lecture du php.ini

Specify max number of processes. -1 = library default
msdlib defaults to 25
FreeTDS defaults to 4096

Et 25 c'est peu...

Si comme moi vous avez déménagez cette année, sachez qu'il ne reste que que 3 jours pour déposer votre inscription sur les listes électorales de votre commune.

Plus d'infos : Le site du ministère de l'intérieur (note : je trouve un poil choquant qu'ils n'aient pas encore actualisé le site pour 2009).

Rappel : les élections européennes auront lieux le dimanche 7 juin 2009.

Note : Si vous n'avez pas le temps de déposer votre dossier avant le 30 décembre, ou si comme moi vous n'êtes pas sur place, alors vous ne pourrez pas voter dans votre nouvelle commune cette année. Toutefois vous pourrez toujours voter dans votre ancienne commune, pensez à la procuration.

Suite à mon billet précédent, j'ai ressenti le besoin de suivre plus régulièrement l'évolution du spam traité par mon serveur. Utilisant déjà le logiciel MRTG pour suivre nombre d'indicateurs tel que le trafic réseau, la RAM consommée, la charge CPU etc.. ne me restait plus qu'a adapter le script log-report.sh.

Le script de mesure

Et voila qscan.sh:

#!/bin/sh

TYPE=$2

if [ "$TYPE" = "spam" ]; then
        grep "here be a virus\|------ \| SA: yup, this smells \| q_s: Policy BLOCK" $1 \
        | grep -v " message for " \
        | sed -e "s/.* hits.* - message \(tagged\|quarantined\|deleted\|rejected\) .*$/Spam \1/" \
        | grep "Spam" \
        | wc -l
fi

if [ "$TYPE" = "policy" ]; then
        grep "here be a virus\|------ \| SA: yup, this smells \| q_s: Policy BLOCK" $1 \
        | grep -v " message for " \
        | sed -e "s/^.* q_s: Policy BLOCK$/Policy blocked/"  \
        | grep "Policy blocked" \
        | wc -l
fi

        grep "here be a virus\|------ \| SA: yup, this smells \| q_s: Policy BLOCK" $1 \
        | grep -v " message for " \
        | sed -e "s/^.* Process .*$/Messages processed/"  \
        | grep "Messages processed" \
        | wc -l
echo $TYPE

Ce script, très inspiré que log-report.sh, s'utilise avec deux paramètres :

• Le nom du fichier à analyser: /var/spool/qscan/qmail-queue.log
• Un paramètre : spam ou policy selon que vous souhaitez connaitre le nombre courriels classés comme spam ou d'autres ayant été éliminés selon la configuration du serveur.

Configuration de MRTG

Ne restait plus qu'à enregistrer ce fichier dans /etc/mrtg/qscan.sh et à configurer MRTG :

Target[localhost-spam]: `/etc/mrtg/qscan.sh /var/spool/qscan/qmail-queue.log.1 spam`
Options[localhost-spam]: gauge,noinfo, nopercent, growright, nobanner
Title[localhost-spam]: Message
MaxBytes[localhost-spam]: 1000000
YLegend[localhost-spam]: Messages traités
ShortLegend[localhost-spam]: mails
LegendI[localhost-spam]: Total Messages
LegendO[localhost-spam]: Spam
Legend1[localhost-spam]: Nombre de messages traités
Legend2[localhost-spam]: Nombre de spam
PageTop[localhost-spam]: <h1>Evolution du spam</h1>

A noter que le fichier que le fichier analysé est celui de la veille ce qui donne une statistique quotidienne. L'utilisation du fichier courant donnera une courbe croissante qui sera réinitialisé à chaque rotation des logs. Je n'ai pas réussi à configurer MRTG pour qu'il me calcule la variation entre deux mesures, c'est à dire le nombre de courriels traités toutes les 5 minutes.

Exemple :

Démarrer > Exécuter > regedit

Chercher HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows\CurrentVersion\RunOnce

Il suffit d'ajouter une valeur de type chaine ensuite et de redémarrer. La commande sera exécutée au prochain démarrage puis supprimée du registre.

A quoi ca sert ?

Et bien par exemple à lancer un défragmenteur de disque avant que les différents services commencent leur écriture.

La commande :

defrag.exe c: -f

Sources :

Comment ca marche

Récemment j'ai perdu le mot de passe root d'un serveur que j'administre (ok je suis un boulet).

Alors comment restaurer un mot de passe root quand on a perdu ce mot de passe ?

Première solution : linux single

Ce mode permet de démarrer le système en root, ne reste qu'à modifier le mot de passe puis à rebooter et c'est bon.
Sauf que ça implique une intervention manuelle sur le serveur et :

• le datacenter est à plus de 350 km de chez moi ;
• je n'avais pas envie de téléphoner aux responsables du DC pour ce genre de bêtises.

Deuxième piste : vmsplice local root exploit

Cette faille permettait à n'importe quel utilisateur d'exécuter des commandes root.
Cette faille a été corrigée dans la version 2.6.24. Manque de bol j'avais déjà mis à jour le serveur lors de la publication de la faille.
L'exploit n'a donc rien donné.

Troisième piste :

Heu la j'ai un peu séché pendant 1 ou 2 heures, en réfléchissant autour de la question : comment exécuter un script root sans être root ?
Impossible théoriquement.

Jusqu'à ce que pense à regarder les crons, un des scripts du site effectue une sauvegarde quotidienne de la base de données.
Ce script s'exécute en cron mais peut aussi être exécuter à la main dans le site via un exec.Apache en est le possesseur. Ne reste plus qu'a le modifier sauf que je ne suis pas Apache et que je n'ai aucun droit sur ce fichier même pas en lecture.
Et si je me faisais passer pour Apache ?
La version beta du site étant accessible pour moi, j'ai créé une page php afin qu'elle modifie le script de backup :

#!/bin/sh
echo root:<motdepasse> | chpasswd

J'exécute le script dans mon navigateur, comme c'est apache qui exécute la page donc j'ai le droit d'édition sur le script de backup. Ne restait plus qu'a attendre que le cron passe. Et hop le tour est joué.

Joli faille de sécurité ?

Plus ou moins:

• Je possède le seul compte utilisateur accessible via SSH
• fail2ban fait le ménage sur les attaques des robots.

Mais j'ai un script qui s'exécute en root qui est modifiable par un utilisateur quelconque ce qui relève donc d'une faille possible. J'ai donc retiré tout droit d'écriture sur le fichier.

Les trois du fond qui ricanent et qui viennent de répondre en ligne de commande vous sortez.

PHPMyAdmin est un outil écrit en PHP pour administrer un serveur MySQL. C'est assez pratique pour débuter, mais une fois que l'on maitrise bien le SQL et qu'on doit manier des grosses requêtes çà devient vite laborieux: gestion des erreurs foireuses, résultats limités par page, aleas dues à HTTP, risques de sécurité etc... Ma problématique est donc de le remplacer par quelques choses de plus "puissant".

Je ne vais pas faire trainer le suspense : MySQL propose des outils, coté client, plutôt bien fait : les  MySQL GUI Tools (MySQL Migration Toolkit, MySQL Administrator et MySQL Query Browser)

Passons sur le rôle de ses outils, leurs noms sont suffisamment explicites.

Ces outils sont des clients qui ont besoin d'accéder au serveur MySQL, or il est très dangereux de laisser le port de MySQL (3306) ouvert à n'importe qui. Donc ma question est de savoir comment pouvoir se connecter à ce serveur en laissant MySQL n'écouter que localhost, le parefeu verrouillé et en utilisant ces outils "clients", en gros comment sécuriser tout ca.

Et bien en utilisant un tunnel SSH !

En gros, je dis à mon logiciel de se connecter à ma machine sur le port 3307, et moi je route les requêtes vers mon serveur via SSH, donc de façon crypté, sur le port 3306.

Ce qui nous donne la commande suivante à exécuter sur la machine client :

ssh -N -L 3307:127.0.0.1:3306 ED@__IPSERVEURSQL__

Et rien à configurer sur le serveur.

Note : L'option -N "dédie" la connexion SSH au pont, rajouter -f pour passer le processus en tache de fond.

Quelques liens :

Comment constituer des tunnels ssh [...]? (Université de Jussieu)

Créer un tunnel SSH (ENS)

MySQL ssh tunnel Quickstart