Avoir sur mon Dockstar un dépôt de fichier, un endroit ou je (ou des personnes de confiance) puisse facilement uploader des fichiers et avoir un lien vers ce fichier.

Logiciel testés avec les liens vers les articles :

• Jyraphe
• FileZ
• KoLoad
• OpenUpload
• cFTP

Autres logiciels disponibles (non testés et qui ne le seront probablement pas)

• BigFileSharing : pas de mise à jour depuis 2008, est prvu pour fonctionner avec un serveur CAS et/ou LDAP (bien qu’une authentification par htaccess semble en théorie possible, modification cvs de 2010), testé mais je n’ai pas réussi a afficher autre chose que cette page :

• F*ex : non testé car en PERL
• Droopy : déjà testé (mais non décrit) simple script Python, le plus simple et le plus léger à mettre en oeuvre (aucune installation)
• xtraupload : commencé à tester sans succès (peut être réessaierai-je ?)

Récapitulatif :

Ce dernier est un peu en marge des autre car clairement orienté professionnel, les fichiers uploadés le sont en effet à destination d’un client particulier.

Pré-requis installation

On doit créer une base dédiée, pour cela on se connecte à MySQL :

mysql -u root -p

Puis on lance l’ordre SQL (à adapter):

CREATE DATABASE cftp;

Installation

Télécharger l’archive, la décompresser dans l’arborescence de son serveur Web, fixer les droits utilisateur (www-data propriétaire des fichiers) et configurer son serveur Web

On pourra ensuite télécharger la traduction française, deziper le fichier et copier le fichier vars.php dans includes/

Editer le fichier includes/sys.vars.php et mettre à jour les informatons de connexion SQL

define('DB_NAME', 'cftp'); // database name
define('DB_HOST', 'localhost'); // database host (most of the times its localhost)
define('DB_USER', 'root'); // user related to cftp's database
define('DB_PASSWORD', ''); // the password for that userfsf

Puis on va à l’URL de cFTP dans le « sous-répertoire » install :

http://www.domaine.fr/cftp/install

Les données à renseigner se passent de commentaires (paramétrage fait avant d’avoir installé la traduction française) :

Sur l’écran suivant on peut directement se logguer.

Utilisation

L’écran de login sépare l’accès administrateur de client :

La page d’accueil (loggué en administrateur)

L’upload d’un fichier est obligatoirement rattaché à un client il faut donc en créer un :

Puis on peut procéder à l’upload :

Le client quand il se logguera verra alors le fichier :

On peut accéder à cette même interface du client en cliquant sur la loupe dans l’administration des clients :

Conclusion

Usage spécifique (notion de client), propre, beau, léger (600 ko)

Installation

Après avoir téléchargé l’archive, l’avoir décompressé dans l’arborescence de son serveur Web, fixé les droits utilisateur (www-data propriétaire des fichiers) et configuré son serveur Web (pas de ruse)

On va à l’adresse d’openupload et l’installeur se lance et va nous guider au travers de 9 étapes :

Etape 1 : vérification des pré-requis

Les croix rouges ne posent pas de problème, il faut avoir au moins le support d’une base de données (MySQL dans mon cas) et il n’est pas nécessaire d’avoir un système de barre de progression.

Etape 2 : chemins

Le premier chemin est le chemin d’openupload sur le système de fichier, ce répertoire contient les librairies utilisé par openupload, il est envisageable (conseillé) de déplacer ce répertoire de l’arborescence web et de ne garder que le sous-répertoire www (qui contient l’application openupload proprement dite) dans cette dernière

WWW server URL est l’URL de base pour accéder à votre serveur

WWW root path est l’alias web de l’application openupload, celle que vous avez configuré dans votre serveur web.

Enfin le dernier chemin est le chemin dans lequel les fichiers uploadés seront stockés. Ce dernier doit contenir un sous-répertoire tmp et l’utilisateur exécutant le serveur web doit y avoir les droits d’écriture.

Etape 3-4 : base de données

Le programme d’installation permet la création de la base et de son utilisateur dédié ce qui est pratique (dans mon cas de test je n’ai pas créé d’utilisateur dédié mais utilisé mon root)

La dernière option permet d’indiquer le niveau des données à insérer.

• No : Rien n’est fait niveau base de données
• Structure only : seules les structures de table sont créées, aucune données n’est inséré, il vous faudra le faire à la main avant de pouvoir ne serait ce que vous connecter à openupload (sinon message pas clair indiquant que votre IP est blacklistée, banned)
• Base system data : les groupes sont créés, l’utilisateur admin est créé et les droits de base (pour l’administrateur) sont créés

Les autres options permettent d’insérer les données visant à faire faire fonctionner openupload selon 1 des 4 modes par défaut :

• Public mode : le site est complètement public. Les utilisateurs n’ont pas besoin d’être enregistrés pour téléchargé ni même uploader (fonctionnement de Jyraphe)
• Service mode : idem public mais les utilisateurs enregistrés ont plus de fonctions (moins de limitation, protection de leur fichiers par mot de passe, envoi d’email…)
• Restricted mode : Téléchargement public mais nécessité d’être connecté pour uploader
• Private mode : nécessité d’être connecté pour télécharger et uploader (fonctionnement de FileZ)

A noter que ces différents modes d’insertion sont concrétisés par l’exécution d’un ou plusieurs fichier SQL présents dans /sql/mysql/

Etape 5 : options de l’application

Pas grand chose à dire, je n’ai rien modifié à part le renseignement des adresses email (obligatoires)

Etape 6 : utilisateur

On indique ici les nom et mot de passe de l’administrateur et des groupes pré-définis.

A noter que ces données ne seront insérés que si vous avez sélectionné au moins l’insertion des données de base (étapes 3-4)

Etape 7 : plugins

Sélection des plugins a installer, je n’ai pas pris le temps d’étudier la portée et les fonctions de ces plugins.

Etape 8 : installation de la base

L’installation proprement dite débute par la base de données (passage des scripts présents sous /sql/mysql/

Etape 9 : sauvegarde configuration

Puis les choix sont sauvegardés dans le fichier www/config.inc.php

Utilisation

On peut alors se connecter sur openupload (pas forcement obligatoire si vous avez configuré openupload en mode publique)

On arrive arrive sur la page d’upload :

Les options d’upload (fonction des droits et des plugins activés)

On peut aussi accéder à la liste de ses fichiers :

Enfin en tant qu’administrateur, on a accès à différentes pages de configuration :

Liste de la totalité des fichiers uploadés (tout utilisateur) avec possibilité de les supprimer et de bannir les IP des uploadeur

Liste des utilisateurs :

Des groupes :

Et des droits par groupe, sous la forme d’ACL : très puissant/configurable mais complexe et pas documenté

Enfin information intéressante opeupload log les accès et les actions des différents utilisateurs (niveau de log paramétré en étape 5)

Conclusion

Openupload semble la solution ultime, selon les droits appliqués on peut lui faire prendre différents comportement (publique ou protégé + des étapes intermédiaires) répondant ainsi à la majorité des besoins

L’application est relativement légère (3Mo)

Les fichiers ne sont pas accessibles depuis le disque (noms encodés)

MAIS par contre le thème par défaut (le seul fournis) est moche, très années 90….

Sources :

• Comparatif de solutions de partage via du web [OPENDOC.NET]
• Installer OpenUpload | How to OpenUpload

Le suivant listé dans Applications libres d’upload de fichiers volumineux et testé est KoLoad, cependant le lien indiqué pour la page du projet n’existe plus.

Le code peut être récupéré à cette adresse : KOLoad – CodingTeam

L’installation est ultra-simple, on télécharge l’archive, on la décompresse dans l’arborescence de son serveur Web, on fixe les droits utilisateur (www-data propriétaire des fichiers) et on configure ensuite son serveur Web (pas de ruse).

On peut ensuite aller sur la page du projet :

On arrive directement sur la liste des fichiers disponibles

Si on veut envoyer un fichier on clique sur le lien en bas à gauche et on choisi son fichier dans la popup qui s’ouvre :

On choisi son fichier et on l’envoi :

Il existe 2-3 configurations possibles, faisable dans le fichier conf.php à la racine.

define('VERSION', '1.5');               // version of KOLoad
define('LANG', 'fr');                   // language, available : en, fr, de, es, it
define('SITENAME', 'KOLoad');           // type your site name here
define('UPLOAD', 'true');               // allow upload module, type 'false' to disable and 'true' to enable
define('DELETE', 'true');               // allow delete module, type 'false' to disable and 'true' to enable
define('RENAME', 'true');               // allow rename module, type 'false' to disable and 'true' to enable
define('PASSWORD', '');                 // enable the login fonction if there's a password, else, koload is public
define('COLOURS', 'blue');              // change the colours of KOLoad, available : blue, red, green, grey
ob_start('ob_gzhandler');               // force gzip compression (PHP), delete this line to disable

Notamment la possibilité de mettre un mot de passe, ce qui se traduit par cette page dès lors que la fonctionnalité est activée :

Pour accéder à la liste des fichiers et à l’upload il faut alors saisir le mot de passe choisi.

Par contre ce mot de passe ne protégera pas le téléchargement des fichiers pour peu que vous connaissez l’URL.

Concernant l’URL des fichiers uploadés, il s’agit simplement du nom du fichier, il n’ya pas d’encodage, de caractère aléatoire, etc, ainsi l’URL de téléchargement du fichier exemple fournis par défaut à l’installation de Koload est :

http://www.mon_domaine.fr/koload/files/example.txt

Conclusion :

Simple (pas de base, d’URL rewriting, etc), léger, plutôt beau

Pas de notion de date de validité du fichier (pas vraiment nécessaire), pas de mot de passe pour le téléchargement des fichiers, nom des fichiers non protégé, sécurité en règle générale (est ce vraiment sécurisé ?)

Sources :

• Applications libres d’upload de fichiers volumineux

Ce script est développé par l’Université d’Avignon et des Pays de Vaucluse et les sources sont sur GitHub

En vu de tester le logiciel j’ai réalisé une installation minimal, ainsi par exemple je n’ai pas installé APC qui permet d’avoir une barre de progression lors de l’upload (voir section « Installing and configuring APC » de cette page).

FileZ permet de se brancher sur divers base utilisateur existante (LDAP, DB, CAS), j’ai pris le cas le plus simple créer une base utilisateur dédiée.

Pré-requis installation

On crée une base dédiée, la table des utilisateurs et un utilisateur.

Pour cela on se connecte à MySQL :

mysql -u root -p

Puis on lance les ordres SQL (à adapter):

CREATE DATABASE filez;
USE filez;
CREATE TABLE `filez`.`db_users` (
`uid` SERIAL NOT NULL ,
`login` VARCHAR( 20 ) NOT NULL ,
`password` VARCHAR( 40 ) NOT NULL ,
`givenname` VARCHAR( 255 ) NOT NULL ,
`sn` VARCHAR( 255 ) NOT NULL ,
`mail` VARCHAR( 255 ) NOT NULL
) ENGINE = MYISAM ;
INSERT INTO `filez`.`db_users` (`uid`, `login`, `password`, `givenname`, `sn`, `mail`) VALUES (NULL, 'admin', MD5('password'), 'Admin', 'Olympe', 'admin@olympe.local');

On crée ensuite les répertoires nécessaires à FileZ, le répertoire d’upload (exemple /var/Filez/uploads) et le répertoire de log (exemple /var/log/filez) et on s’assure que l’utilisateur exécutant le serveur web (www-data sans doute) à le droits d’y écrire.

Installation

Classiquement, on télécharge l’archive, on la décompresse dans l’arborescence de son serveur Web, on fixe les droits utilisateur (www-data propriétaire des fichiers)

Rque : Filez est assez volumineux, a ce point de l’installation (aucune données) le répertoire fait déjà 20Mo

On configure ensuite son serveur Web, dans le cas de NGINX, filez étant installé dans un sous-répertoire de la racine Web, voici ma configuration

server {
        listen       80;
        server_name  www.domaine.fr;
        root         /var/www/domaine.fr;
 
        index           index.php;
 
	location /filez{
		access_log      /var/log/nginx/filez.access.log;
                location ~ \.php$ {
                        include         /etc/nginx/fastcgi_params;
                        fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
                        fastcgi_pass    127.0.0.1:9000;
                }
                if (!-e $request_filename) {
                        rewrite ^/(.*)$ /filez/index.php last;
                }
	}
}

A noter ma traduction très personnelle des règles de réécriture Apache contenu dans le .htaccess à la racine de filez

  RewriteCond %{REQUEST_URI} !favicon.ico
  RewriteCond %{REQUEST_URI} !doc/user/(.*)\.
  RewriteCond %{REQUEST_URI} !resources/(.*)\.
  RewriteRule ^(.*)$ index.php [QSA,L]

On peut ensuite aller sur l’URL de FileZ

Le script d’installation nous prévient que le mod_rewrite n’est pas activé, normal puisque l’on est pas sous Apache et préconise divers paramétrages de php pour optimiser l’upload.

Paramétrage que je n’ai pas fait dans le cadre de ce test, peut être plus tard…

On peut continuer, s’affiche ensuite un long formulaire de paramétrage :

Quelques éléments :

• Upload directory (absolute dir) (required) : mettre ici le répertoire créé en pré-requis
• Log directory (absolute dir) (required) : mettre ici le répertoire créé en pré-requis
• Use https : pour ce test je ne tiens pas à configurer le site en https (création et configuration des certificats), on le désactive donc
• Upload progress monitoring library [help] : voir en introduction, je n’ai pas installé ce qu’il faut pour cette fonctionnalité
• Database username (required) : toujours pour des raisons de test rapide je ne crée pas d’utilisateur dédié à Filez, j’utilise donc mon root
• Authentication method : c’est ici que l’on peut choisir d’interfacer Filez avec CAS
• User profile source : je n’ai pas de LDAP j’utilise donc une base de donnée
• Use the same configuration as Filez : même base et même méthode d’identification pour la base des utilisateurs que pour la base spécifique a filez
• Table where username are stored (required), Database column name containing the username (required), Database column name containing the user,  password (required), Algorithm used to hash the password : à mettre en raccord avec la table des utilisateurs créé en pré-requis

Utilisation

On se loggue : 

On peut alors voir ses précédents upload et les modifier :

Et envoyer un autre fichier :

Lors de l’envoi on précise le fichier, la durée de disponibilité du fichier, un commentaire et éventuellement un mot de passe

Lorsque l’on accède à l’URL du fichier, on revoit tous les détails du fichier et le téléchargement commence :

Conclusion

J’aime beaucoup Filez, l’interface est clair, la plupart des fonctionnalités que j’attend sont présentes.

MAIS

• la création des utilisateurs doit être faite à la main
• les fichiers ne sont pas récupérables depuis le filesystem
• 24Mo pour un dépôt de fichier !!

Sources :

• Ubuntu 10.04: Installation de FileZ 2.0.2
• Applications libres d’upload de fichiers volumineux

2 scripts coexistent pour remplir ce rôle, Tiny Tiny RSS et Rsslounge

J’ai choisi de tester ce dernier car il semblerait qu’il soit plus léger, véloce (mais ce n’est pas suffisant, cf. Conclusion)

Installation

• On télécharge le script sur le site de rsslounge (lien direct vers la 1.7)

• On dézippe l’archive dans l’arborescence de votre site

• On change les droits des répertoires et fichiers pour qu’il appartiennent à l’utilisateur exécutant le serveur web (www-data probablement)

• On configure le serveur web.

Pour les autres services web que je test je ne décris jamais cette dernière étape car elle dépend de votre serveur Web et des choix faits (virtual host, sous-domaine, etc), mais je vais faire une exception ici car j’ai pas mal cherché avant de réussir a faire fonctionner rsslounge.

Je l’ai installé avec le serveur web NGINX, en plaçant RSSLounge dans un sous-répertoire de mon arborescence principal et sans déclarer de sous-domaine.

Soit mon site domaine.fr pour lequel la racine est localisé dans /var/www/domaine.fr, RSSLounge est quand à lui installé dans /var/www/domaine.fr/rsslounge et sera donc accédé via l’URL www.domaine.fr/rsslounge, voici ma configuration NGINX

server {
        listen       80;
        server_name  www.domaine.fr;
        root         /var/www/domaine.fr;
 
        index           index.php;
 
	rewrite ^/rsslounge/favicon.ico$ /rsslounge/public/favicon.ico;
	rewrite ^/rsslounge/plugins/([^/]+)/(.*)$ /rsslounge/plugins/$1/public/$2;
	rewrite ^/rsslounge/favicons/(.*)$ /rsslounge/data/favicons/$1;
	rewrite ^/rsslounge/thumbnails/(.*)$ /rsslounge/data/thumbnails/$1;
	rewrite ^/rsslounge/javascript/(.*)$ /rsslounge/public/javascript/$1;
	rewrite ^/rsslounge/stylesheets/(.*)$ /rsslounge/public/stylesheets/$1;
	location /rsslounge {
		access_log      /var/log/nginx/rsslounge.access.log;
		location ~ \.php$ {
			include         /etc/nginx/fastcgi_params;
			fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
			fastcgi_pass    127.0.0.1:9000;
			fastcgi_param QUERY_STRING mod_rewrite=1&$query_string; 
			fastcgi_index index.php;
		}
		if (!-e $request_filename) {
			rewrite ^.*$ /rsslounge/index.php last;
		}
	}
}

J’ai pas mal cherché pour réussir à mettre les bonne règles de réécritures, en effet les règles décrites sur la FAQ décrivent une installation de RSS à la racine du serveur web et je ne suis pas du tout un expert en réécriture d’URL

Configuration

On va ensuite sur l’URL de RSSLounge et on répond aux questions

Si vous spécifiez une base de données spécifique a rsslounge il faudra penser à la créer auparavant :

mysql -u root -p
CREATE DATABASE rsslounge ;

Utilisation

On peut ensuite se connecter :

Et commencer à ajouter des flux,  ou importer ceux de google reader

Pour cela on exporte la liste de ses flux dans Google reader en cliquant sur l’engrenage en haut à droite et choisissant « Paramètre de Google Reader »

Puis on clique sur le lien « Télécharge » de la ligne « Vos abonnements » de l’onglet « Importer/exporter » :

Cela sauvegarde la liste de vos abonnements sous la forme d’un fichier XML

Puis sous RSSLounge on clique sur les engrenages, on sélectionne « OPML Import » et on ouvre le fichier XML précédemment sauvegardé :

RSSLounge commence alors l’import et la mise à jour des flux (cela prend un certain temps).

In fine on peut lire ses news….

Conclusion

RSSLounge change un peu de Google Reader, mais est globalement agréable à utiliser, les raccourcis sont pratiques, l’interface est claire et il rempli correctement son boulot

MAIS

sur un Dockstar ce n’est tout simplement pas possible, ça rame à mort, dommage….

Sources :

• Adieu GoogleReader, bonjour RSS Lounge
• rssLounge, un excellent gestionnaire de flux RSS !

Je m’attarderais ici essentiellement a son installation et configuration sous Windows (une fois n’est pas coutume) puisque pour l’instant je n’en ai pas trouvé l’utilité sous Linux

Sous Windows l’éditeur texte par défaut est le Notepad autant dire le strict minimum or si on développe un temps soit peu ou si on veut éditer des fichiers volumineux,ou si on édite des fichiers provenant de différents OS (Windows / Linux, les fameux caractères de fin de lignes), le Notepad Windows ne convient pas du tout.

Après en avoir essayé de nombreux (notepad++, pspad, ultraEdit, etc), mon choix s’est porté sur jEdit, essentiellement pour sa gestion des expressions régulière qui est pour moi la plus complète (sous Windows et aux derniers tests effectués datant de plus de 3 ans).

Le site du logiciel :  http://www.jedit.org

Installation

L’installation sous Windows est assez classique (on clique, on clique), hormis les les configuration suivantes :

Je n’installe pas la documentation de l’API, n’ayant pas pour l’instant franchi le pas du développement de macros ou de plugins pour jEdit.

Aucun raccourcis et je ne démarre pas le serveur jEdit (voir à quoi cela sert ici) au démarrage de Windows, ce dernier est déjà suffisamment long à démarrer

On peut lancer jEdit, voici ce a quoi il ressemble avant toute configuration :

Traduction

Par défaut jEdit n’est pas en Français et il n’existe pas de traduction officiel, mais une officieuse qui n’est pas à jour (Traduction 4.3.1 alors qu’on est en version 4.4.2) mais cela fonctionne tout de même très bien.

Pour ma part je n’utilise que la traduction de l’interface (pas des macros / docs)

On télécharge le fichier zip contenant les properties et on le décompresse dans C:\Program Files\jEdit\properties et on peut re-démarrer jEduit

Configuration

En première configuration je décoche l’affichage de l’astuce du jour…

Puis on va dans « Utilitaire » > « Options générales… »

Voici les configurations que j’effectue systématiquement :

jEdit > Générales

• Décocher  »Rétablir au démarrage les fichiers précédemment ouverts »

jEdit > Apparences

• Décocher « Afficher les astuces au démarrage »

jEdit > Encodage

• Sélectionner les encodages avec lesquels vous travaillez (je laisse juste UTF8 et UTF8Y) pour éviter ce genre de liste à rallonge lors d’un changement d’encodage :

• Sur cette même page il est possible de choisir l’encodage par défaut

jEdit > Marge

• Côcher « Numérotation des lignes »

jEdit > Serveurs Proxies

• Si vous êtes en entreprise, il y a de forte chance qu’il y ait un proxy il convient donc de l’activer et de l paramétrer ici.

jEdit > Gestionnaire de plugin

• Cliquer sur « Mettre à jour la liste des miroirs »
• Sélectionner un miroir Français (free par exemple)

jEdit > Enregistrement & Sauvegarde

• Mettre 5 dans la zone Nombre maximum de sauvegarde
• Mettre un dossier de sauvegarde (évite de polluer ses dossiers avec des fichiers ~)

Voila pour mes configurations de bases mais jEdit est ultra-paramétrable beaucoup d’autres configuration sont possible (je n’ai jamais pris le temps de m’y pencher sérieusement)

Installation de plugins

Une des forces de jEdit, l’installation de plugins, ajoutant des fonctionnalités ou modifiant son comportement, en voici quelques uns que j’utilise.

L’installation se fait en allant dans « Plugins » > « Gestionnaire de plugins… » puis dans l’onglet « Installation » il suffit de cocher la case face au(x) plugin(s) voulu(s) et de cliquer sur « Installer »

Ajout d’onglets : BufferTabs

Par défaut la sélection des différents fichiers ouverts (tampons dans le jargon jEdit) se fait via une liste déroulante, le plugin BufferTabs ajoute des onglets.

Après l’installation il suffit d’activer le plugin en allant dans « Plugins » et en cliquant sur « BufferTabs »

On configure ensuite le plugin en allant dans « Plugins » > « Option des plugins » et sélectionnant « BufferTabs »

• Cocher « Enable Buffertabs by default »
• Sélectionner « Top » pour « location of BufferTabs »

La liste déroulant faisant doublon avec les onglets on la désactive :

• Menu « Affichage » dé-selectionner « afficher le sélecteur de tampons »

Travailler avec des fichiers XML

Le plugin XML (installe 4-5 plugins par dépendance) permet de travailler aisément avec des fichiers XML, ne serait ce que le reformatage :

Avant :

Après :

Visualisation de la structure du document dans le Sidekick (plugin dépendant) :

Programmation PHP : PhpParser

Comme son nom l’indique permet de faciliter le travail avec les fichiers php

Gestion des fichiers en projet : ProjectViewer

Travail sur les fichiers textes : TextTool

Permet notamment de trier un fichier, supprimer les doublons, etc

Voir les caractères spéciaux : Whitespace

Edition de fichier distant via FTP ou SFTP : FTP

FTP c’est le nom du plugin, une fois installé le plus simple pour l’utiliser et d’ancrer l’explorateur de fichier, pour cela dans « Utilitaires » > « Option Générales… » dérouler « jEdit » > « Ancrage » et sélectionner l’ancrage voulu (left / right …) pour le panneau « Explorateur »

Dans le panneau « Explorateur », cliquer sur « Plugins » > « FTP » et choisir « Connect to FTP Server » pour une connexion FTP classique et  »Connect to Secure FTP Server » pour une connexion SFTP (ou SSH), remplir les données de connexion.

Le panneau de l’explorateur liste alors les fichiers distants :

En cas de connexion via SSH, il n’est pas nécessaire de renseigner de clé privé…

Voila pour le principal, jEdit est ultra-puissant mais il faut y passer un peu de temps pour le paramétrer à son gout.

Pour plus de détails (en anglais) voir cet article

PS :

je disais en début d’article que jEdit était le seul éditeur texte gérant correctement les expressions régulières, voici un exemple, l’utilisation des références arrières.

Soit les dates suivantes :

20011015
20010812
20011205
20010622
20010504
20010318
20010616
20010101

Que l’on veut transformer ainsi :

15/10/2001
12/08/2001
05/12/2001
22/06/2001
04/05/2001
18/03/2001
16/06/2001
01/01/2001

On utilise l’expression régulière suivantes (pas optimisé, c’est juste un exemple) :

Rechercher : ([0-9]{4})([0-9]{2})([0-9]{2})

Remplacer : $3/$2/$1

Et voila…

Notepad++ ne le permet pas.

Mais je n’utilise pas ces nouvelle interfaces, je suis resté sur Ubuntu 11.04 avec Gnome 2.x et j’ai ce tips dans mes brouillons d’article depuis pas mal de temps. ne voulant pas le perdre je le publie.

Par défaut depuis Gnome 2.3 le menu système n’a plus d’icônes :

Pour les faire réapparaître, il suffit de lancer la commande :

gconftool-2 --type Boolean --set /desktop/gnome/interface/menus_have_icons True

Et voila le boulot :

Sources :

• Faire apparaître les icônes du menu système d’Ubuntu
• How to Enable Icons on the Ubuntu System Menu (Minor Annoyances)

Je comprends leurs motivations mais ça m’enquiquine (pour être poli).

Je me suis donc mis en quête d’un service permettant d’avoir le flux complet à partir d’un flux tronqué.

J’ai tout d’abord trouvé le service Full Text RSS Feed Builder, le premier test n’a pas été concluant le jour même mais semble avoir fonctionné les jours suivants (une histoire de cache dans Google Reader ?)

Mais qu’importe puisqu’entre temps je me suis souvenu que j’avais bookmarké un article décrivant un script remplissant le même rôle et pouvant être auto-hébergé : fivefilters : RSS avec les articles complets

Le service s’appelle Create Full-Text Feeds de fivefilters.org

Par contre depuis que Tom@mplius à publié son article (Mai 2010) les conditions de distributions semblent avoir changées, le site fivefilters.org ne propose plus que son service en ligne gratuit mais limité (3 articles max par flux) et il faut payer (20 €) pour avoir les sources et l’auto-héberger.

En cherchant un peu j’ai trouvé le site sur lequel les sources de l’ancienne version sont distribués : http://code.fivefilters.org/p/full-text-rss/

Il s’agit de la version 2.7 et en payant on a la version 2.9, à vous de voir si les changements entre ces 2 versions vous sont nécessaires, en ce qui me me concerne la 2.7 me convient.

Pour l’installation, c’est un peu comme tous les services web :

• Téléchargement des sources
• Décompression dans un répertoire de votre serveur web
• Fixer les droits sur les fichiers pour s’assurer que c’est l’utilisateur faisant  tourner votre serveur web (www-data) qui est propriétaire des fichiers
• Paramétrage de votre serveur web pour prendre en compte ce nouveau site

Et on peut tester en allant sur l’URL de votre serveur web :

Un peu comme service gratuit fivefilters.org on entre l’URL du flux compléter et on valide.

Par contre à la différence du service gratuit hébergé, on a accès aux options notamment le nombre d’article par flux.

Un petit test avec le flux de Numérama, résultat de la page :

On copie l’URL résultante et hop on ajoute le flux dans Google Reader, ça marche parfaitement….

J’ai ensuite effectué quelques configurations supplémentaires.

En premier lieu il faut copier le fichier config.php en custom_config.php et éditer ce dernier.

Activation du cache :

Cela se fait simplement en positionnant la variable suivante :

$options->caching = true;

Il faut ensuite créer le répertoire paramétré dans $options->cache_dir et 2 sous répertoires rss et rss-with-key en effet les sources 2.7 ne contiennent pas ces répertoires et s’assurer que ces répertoires appartiennent à l’utilisateur faisant  tourner votre serveur web (www-data).

Protection du service :

Le service fonctionne parfaitement mais je veux en protéger l’accès, en effet je ne souhaite pas que tout le monde puisse l’utiliser.

Full Text Feed contient un mécanisme de clé permettant de différencier les utilisateur avec clé de ceux sans clé (en terme de fonctionnalité), mais malgré ce qui est indiqué dans cette page, l’ajout de la variable $options->key_required à true n’oblige pas l’utilisation d’une clé

J’ai donc modifié les sources pour le permettre. Dans le fichier makefulltextfeed.php j’ai ajouté le test  suivant :

if (($options->key_required) && (!$valid_key)) {
        die('A valid key is mandatory');
}

Après le test suivant :

$valid_key = false;
if (isset($_GET['key']) && isset($_GET['hash']) && isset($options->api_keys[(int)$_GET['key']])) {
        $valid_key = ($_GET['hash'] == sha1($options->api_keys[(int)$_GET['key']].$url));
}

Dans le fichier custom_config.php on indique ensuite la/les clés valides et l’option indiquant qu’une clé est obligatoire :

$options->api_keys = array();
$options->api_keys[1] = 'xxxx';
$options->key_required = true;

En attendant d’installer et d’utiliser RSSLounge (un jour je vais le tester) j’utilise Google Reader et je veux pouvoir ajouter un marque-page dans mon Shaarli directement depuis Google Reader.

Et c’est super simple.

On va dnas les paramètres de Google Reader en cliquant sur le petit engrenage en haut à droite de l’interface de Google Reader

Ensuite on se place sur l’onglet « Envoyer à »

Puis on clique sur « créer un lien personnalisé » (tout en bas)

Pour le nom on met ce que l’on veut et pour l’URL on met l’adresse de son Shaarli avec les paramètres title, url et source ainsi (à adapter) :

http://www.[votre domaine]/shaarli/index.php?post=${url}&title=${title}&source=greader

Et voila on peut revenir à l’interface de Google Reader et tout en bas des articles dans l’option « Envoyer à », votre lien Shaarli apparaît :

C’est pour cela que j’installe MySQL Query Browser :

Cet outil est fourni par l’éditeur MySQL lui même.

Pour l’installation sur le PC client (desktop) :

sudo aptitude mysql-query-browser

Et sur le serveur il faut faire quelques paramétrages pour autoriser MySQL Query Browser à se connecter.

Éditer votre fichier my.cnf :

sudo vim /etc/mysql/my.cnf

Et commenter la ligne bind-address :

# Instead of skip-networking the default is now to listen only on
 # localhost which is more compatible and is not less secure.
 #bind-address           = 127.0.0.1
 

Il faut ensuite donner les droits à votre utilisateur distant à se connecter, ouvrir une invite de commande mysql :

mysql -u root -p
 Enter password: [votre mot de passe root]

Et lancer les commandes SQL suivante :

mysql> grant all privileges on *.* to [utilisateur souhaité]@[adresse IP de votre machine distante] identified by "[mot de passe souhaité]";
 Query OK, 0 rows affected (0.00 sec)
 
mysql> flush privileges;
 Query OK, 0 rows affected (0.00 sec)
 
mysql> quit
 Bye

Sur le client il ne vous reste plus qu’a vous connecter à MySQL Query Browser avec l’utilisateur et le mot de passe que vous venez de définir :

Rque : Pour des taches plus administratives, dans la même série il existe MySQL Administrator :

Qui s’installe avec :

sudo aptitude install mysql-admin

Rque 2 : il semblerait que ces 2 outils aient fusionnée dans un bundle MySQL Workbench (GUI Tool) mais le paquet n’est pas encore dans les dépôts

Bref bien que le déploiement soit simplissime, je suis feignant et j’ai écrit un petit script maison qui le fait pour moi :

#!/bin/bash
 
REP_INTALLATION="/var/www/shaarli"
 
wget http://sebsauvage.net/files/shaarli.zip
unzip -d shaarli_tmp shaarli.zip
 
version_en_ligne=`cat shaarli_tmp/index.php | grep -Ei "'shaarli_version'" | sed -rn "s/.*,'(.*)'.*/\1/p"`
version_installee=`cat $REP_INTALLATION/index.php | grep -Ei "'shaarli_version'" | sed -rn "s/.*,'(.*)'.*/\1/p"`
 
if [ "$version_en_ligne" != "$version_installee" ];
then  
 echo "Version installée ($version_installee) différente de la dernière version disponible ($version_en_ligne)"
 echo "Installation en cours..."
 mv shaarli_tmp/* $REP_INTALLATION
fi
 
rm -rf shaarli_tmp
rm shaarli.zip

Il faudra évidemment que l’utilisateur qui lance le script ait les droits d’écriture dans le répertoire d’installation de Shaarli (ce que j’ai résolu en ajoutant mon utilisateur au groupe www-data propriétaire du répertoire).

Une petite tache cron tous les 2 jours et voila mon shaarli toujours à jour…

Cela me permettra ainsi d’accéder à mes bookmark de n’importe où, d’en partager certains, de purger un peu le dossier « Marque-pages non classés » de Firefox et de résoudre les problèmes de synchronisation entre PC / navigateur.

Petit aparte concernant ce dernier point : j’ai bien mis en œuvre un serveur sync mais il ne répond que partiellement à mes besoins : pas d’addon pour chrome/IE, pas de consultation en ligne et pas de synchronisation partiel des marques pages (Xmark répond à tous ces besoins mais dans ma quête d’indépendance j’ai décidé de m’en passer…)

Revenons au sujet de cet article, je voulais mettre en œuvre un Delicious ou Diigo auto-hébergé…

Lors de mes premières recherches (lorsque je référençait ce que je voudrais voir tourner sur mon Dockstar) j’avais trouvé Scuttle puis son « remplaçant » SemanticScuttle et puis ayant des chantiers prioritaires j’en étais resté là.

Il y a quelques jours un blogueur que je respect pour son éthique (en plus d’avoir des articles très intéressants) aka sebsauvage à publié ceci : Adieu Delicious, Diigo et StumbleUpon. Salut Shaarli !

Il ne m’en a pas fallu plus pour que le sujet revienne sur le devant de la scène. Qui plus est l’installation de son outil de bookmarks en ligne Shaarli est simplissime donc il ne m’a pas fallu beaucoup de temps.

Pas de dépendances exotique, pas de base de données juste un serveur web et php…

On télécharge l’archive, on la décompresse dans son arborescence web, on s’assure que les droits sont bons

cd /var/www
sudo mkdir shaarli
cd shaarli
sudo wget http://sebsauvage.net/files/shaarli_0.0.14beta.zip
sudo unzip shaarli_0.0.14beta.zip
sudo chown www-data:www-data ../shaarli -R

(Lignes de commande à adapter à sa configuration, lien de téléchargement à mettre à jour, Sebsauvage met à jour son script tous les jours…)

Ensuite on paramètre son serveur web pour autoriser l’accès au répertoire créé, on se connecte sur le site, on choisi un login et mot de passe et on drag/drop le snippet dans sa barre des marques page de son navigateur et voila tout est prèt.

Plus de détails sur le wiki de Sebsauvage.

Page principal du service :

Page, pop-up d’ajout de marque-page

Après quelques jours de tests je suis comblé, c’est simple, ça fonctionne, parfaitement dans l’esprit KISS, le design  pourrait être amélioré mais cela va, présence de bookmarks publiques et privés, une description du bookmark, des tags (une discipline à prendre)….

Sources :

Autres outils :

• Scuttle : bookmark manager
• Scuttle vers SemanticScuttle
• SemanticScuttle
• Revue : 6 outils de bookmarking opensource (del.icio.us like) « Opensource et médias sociaux

C’est bien mais ce n’est pas révolutionnaire (à part peut être le fait que Google « offre » 100Go de stockage dans le cloud) et cela fait une chose de plus (un bout de votre vie) que vous confiez à un géant du Web.

Cette idée de bibliothèque musicale sur le web, accessible de partout, je l’ai depuis pas mal de temps (voir Marques pages : Choisir un lecteur audio pour Ubuntu et plus particulièrement la fin Lecteurs audio « client-serveur ») et après pas mal de tests, d’exploration de solutions non pérennes (daap, icecast, etc), j’ai enfin trouvé Ampache.

Dans cet article je vais décrire l’installation d’Ampache mais aussi d’autres logiciels ayant la même vocation :

• Subsonic
• Zeya
• Zina
• Blofeld
• Streeme

Mes critère de choix, outre la possibilité d’écouter ma musique via internet était que le service doit pouvoir fonctionner sur mon Dockstar avec son petit processeur ARM et ses 128 Mo de RAM !!

Ampache

Commençons par le gagnant.

Ampache n’est pas le logiciel le plus beau ni celui offrant le plus fonctionnalité mais il offre l’immense avantage de s’installer sur un pile serveur web + MySQL et de ne pas consommer trop de ressources

Ampache est dans les dépôts Debian (avec une petite particularité nous le verrons plus tard) on l’installe donc avec son gestionnaire de paquet préféré (aptitude pour moi) :

sudo aptitude install ampache

Les NOUVEAUX paquets suivants vont être installés :
 ampache libjs-prototype{a} libmysqlclient16{a} libnusoap-php{a} libphp-snoopy{a} mysql-common{a} php5{a} php5-auth-pam{a}
 php5-mysql{a} php5-xmlrpc{a} ttf-freefont{a}
 Les paquets suivants sont RECOMMANDÉS mais ne seront pas installés :
 ampache-themes apache2-mpm-prefork eyed3 javascript-common lighttpd x-ttcidfont-conf
 0 paquets mis à jour, 11 nouvellement installés, 0 à enlever et 0 non mis à jour.
 Il est nécessaire de télécharger 4 177 ko/6 087 ko d'archives. Après dépaquetage, 17,9 Mo seront utilisés.

On remarquera que le paquet conseil d’installer apache ou lighttpd, mais j’ai déjà NGINX d’installé…

On Installera aussi le serveur MySQL, bien qu’il ne soit pas dans les paquets nécessaires ni recommandés (pour la bonne raison que l’on peut utiliser une base distante)

Le paquet Ampache installe les pages HTML/php constituant le logiciel dans /usr/share/ampache  et il faut donc les rendre accessible de son serveur web, j’ai pour ma part choisi de créer un lien symbolique entre la racine de mon serveur web et le répertoire d’Ampache :

cd /var/www
ln -s /usr/share/ampache/www/ ampache
sudo chown www-data:www-data ampache/ -R

On se connecte ensuite à son serveur Web :

http://IP-du-serveur/ampache

Et on passe les différents écran de configuration :

Tout d’abord on vérifie que tous les pré-requis système sont présents :

Dans mon cas j’ai eu un problème avec le pré-requis « MySQL for php » et ce malgré l’installation du paquet php5-mysql, je l’ai corrigé en ajoutant une ligne dans mon php.ini

Sélectionner ensuite la langue d’installation.

Renseigner ensuite les données MySQL : l’utilisateur root, son mot de passe, la machine hébergeant MySQL (localhost le plus souvant) et le nom de la base à créer (ampache pour faire simple)

On indique aussi que l’on veut créer un nouvel utilisateur MySQL nommé ampache (ou comme vous le souhaitez)

Ayant faire divers essai j’ai remarqué que si on coche la case « Ecraser la configuration existante » on a l’erreur :

Error: Unable to make Database Connection Access denied for user 'root'@'localhost' (using password: NO)

Si on a déjà une base ampache que l’on souhaite écraser, il n’y a pas d’autre moyen que de supprimer les tables et la base précédente via un requeteur

Normalement à l’étape suivante la base, l’utilisateur dédié et les table doivent être créés, on indique alors les informations choisies précédemment (nom de la base, utilisateur et mot de passe de ce dernier)

Le bouton « écrire la configuration » télécharge un fichier ampache.cfg.php qu’il faut copier sous /var/www/ampache/config (penser au droit accès)

Un fois copié, cliquer sur le lien « teste de la configuration » et tout devrait être OK :

Créer ensuite un compte administrateur :

Et la configuration est terminée, reste plus qu’a aller sur la page d’accueil et se logguer avec le compte administrateur défini précedemment :

Voici l’interface par défaut d’Ampache (vous verrez par la suite il y a d’autres logiciel plus beaux mais aussi des plus moches…)

L’étape suivante à aller dans les pages de paramétrage et d’ajouter un répertoire contenant de la musique :

Attention Ampache (via l’utilisateur www-data de votre serveur web) doit avoir accès en lecture aux fichiers…

Pour la lecture de la musique Ampache propose de télécharger une playlist avec les adresses des morceaux sélectionnés (en http) ou de piloter un serveur MPD ou dans le cas qui nous intéresse de jouer la musique directement dans l’interface via un lecteur en Flash.

Or ce lecteur Flash n’est packagé dans l’archive Debian/Ubuntu (pour des raison de droits ?), il faut donc l’installer manuellement.

Pour cela télécharger l’archive des sources sur le site d’Ampache, la décompresser et copier les fichiers xspf_jukebox.fla et swf présents dans le répertoire module/flash dans le répertoire correspondant de votre installation.

Enfin si on veut rendre Ampache plus (les goûts et les couleurs…) on pourra installer le paquet ampache-themes qui propose des thème supplémentaire par rapport a ceux embarqués par défaut.

Pour ma part j’ai installé un thème trouvé sur le forum d’Ampache :

Fresh theme (r5 – now playing update)

Subsonic

Subsonic a été le plus sérieux concurrent à Ampache.

Il est beau, bourré de fonctionnalité, ergonomique :

MAIS il est en Java.

Il occupe donc beaucoup de place disque (90Mo rien que pour le JRE), mémoire et CPU.

Ces 2 derniers points sont bloquant pour mon Dockstar :

En pré-requis Subsonic à le JRE, sur un serveur comme le Dockstar il est impératif de prendre la version headless, sinon on se retrouve à télécharger xorg et 50 Mo supplémentaires de librairies graphiques…

sudo aptitude install openjdk-jre-headless

Les NOUVEAUX paquets suivants vont être installés :
 ca-certificates-java{a} java-common{a} libavahi-client3{a}   libavahi-common-data{a} libavahi-common3{a} libcups2{a} libdbus-1-3{a}   libfreetype6{a} liblcms1{a} libnspr4-0d{a}
 libnss3-1d{a} openjdk-6-jre-headless openjdk-6-jre-lib{a} tzdata-java{a}
 Les paquets suivants sont RECOMMANDÉS mais ne seront pas installés :
 dbus icedtea-6-jre-cacao
 0 paquets mis à jour, 14 nouvellement installés, 0 à enlever et 0 non mis à jour.
 Il est nécessaire de télécharger 32,0 Mo/32,4 Mo d'archives. Après dépaquetage, 87,3 Mo seront utilisés.

On téléchargera ensuite le paquet correspondant à Debian/Ubuntu sur la page du projet :

Subsonic » Free Music Streamer

Et on l’installera :

sudo dpkg -i subsonic*.deb

Pour finir l’installation / la configuration il suffit d’aller sur le serveur sur lequel vous avez installé Subsonic sur le port 4040 :

http://IP-du-serveur:4040

On se connecte avec l’utilisateur et mot de passe « admin »

Et la page d’accueil s’affiche :

Et indique les étapes à réaliser (les étapes sont cliquables) :

Premièrement pour des raisons de sécurité, changer le mot de passe administrateur :

Puis configurer les lieux de stockage de la musique :

Lorsque l’indexation est terminée on peut profiter de Subsonic

… pour peu que sa machine le supporte, c’est à dire pas un Dockstar, vraiment dommage …

Zeya

Zeya est un petit serveur musical ne proposant que très peu de fonctionnalités : une liste de morceau, on en choisi un et il est joué dans le navigateur…

Zeya est disponible dans les dépôts Debian/Ubuntu (v0.4) il suffit donc de faire :

sudo aptitude install zeya

Sur ma Debian cela prend 8 675 ko et installe les paquets suivants :

libao-common{a} libao4{a} libboost-python1.42.0{a} libflac8{a} libogg0{a} libspeex1{a} libtag1-vanilla{a} libtag1c2a{a}
 libvorbis0a{a} libvorbisenc2{a} libvorbisfile3{a} python-simplejson{a} python-tagpy{a} vorbis-tools{a} zeya

Et recommande les paquets suivants :

flac libjs-jquery mpg123 mpg321

Le lancement de Zeya se fait ensuite avec un simple :

zeya --path=/data/multimedia/Musiques

Le premier démarrage est long car Zeya scanne le répertoire passé en paramètre en vue d’indexer les morceaux de musique qu’il contient :

Using 'dir' backend.
 Scanning for music in '/data/multimedia/Musiques/Musique'...
 TagLib: MPEG::Header::parse() -- Invalid sample rate.
 
TagLib: MPEG::Properties::read() -- Could not find a valid last MPEG frame in the stream
 
TagLib: Ogg::File::packet() -- Could not find the requested packet.
 TagLib: Vorbis::File::read() - Could not find the Vorbis comment header.
 
TagLib: ID3v2.4 no longer supports the frame type RVAD.  It will be discarded from the tag.

Les erreurs que j’ai eu (ci-dessus) seraient sûrement corrigées avec l’installation des paquets recommandés.

Ensuite Zeya démarre un serveur web sur le port  8080, sert l’interface et stream la musique :

Loading library...
 Listening on port 8080
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET / HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /zeya.css HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /zeya.js HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /previous.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /play.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /next.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /pause.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /spinner.gif HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /repeat.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /shuffle.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /search.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /favicon.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /favicon.png HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:37:18] "GET /getlibrary HTTP/1.1" 200 -
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:38:03] "GET /getcontent?key=3797 HTTP/1.1" 200 -
 Handling request for /data/multimedia/Musiques/Musique/Renan Luce/Repenti/Renan Luce - 13 - LIris Et La Rose.ogg
 ::ffff:192.168.1.100 - - [16/Jun/2011 21:40:25] "GET /getcontent?key=3785 HTTP/1.1" 200 -
 Handling request for /data/multimedia/Musiques/Musique/Renan Luce/Repenti/Renan Luce - 01 - Les Voisines.ogg

Comme indiqué précédemment Zeya est simplissime et il manque tout de même quelques fonctionnalités, notamment la possibilité de gérer sa liste de lecture, en effet Zeya joue les morceau les un derrière les autres sans possibilité de les ordonner (par contre on peut les sélectionner avec la zone de recherche), de plus il n’est pas possible d’avancer dans un morceau et enfin dernier critère de non choix, sur mon Dockstar la CPU monte à 100% et les morceaux coupent toutes les 5s

Rque : pour installer le dernière version (v0.5), télécharger le paquet sur le site du projet :
http://web.psung.name/zeya/

Installer les dépendances (et éventuellement les paquets recommandés voir ci-dessus)

vorbis-tools python-simplejson python-tagpy

Et installer Zeya :

sudo dpkg -i zeya_0.5-1_all.deb

Zina

Zina ressemble un peu à Ampache, mais en moins beau et avec le MySQL optionnel.

De plus il n’est plus maintenu (ou tout du moins en pause) depuis Août 2010…

Pour l’installer on télécharge l’archive sur le site, on la décompresse dans un répertoire accessible du serveur web et voila :

wget https://downloads.sourceforge.net/project/zina/Zina/2.0beta22/zina-2.0b22.tar.gz?r=&ts=1315944029&use_mirror=freefr
mv zina-2.0b22.tar.gz* zina-2.0b22.tar.gz
tar -xvf zina-2.0b22.tar.gz
sudo mv zina/ /data/www
sudo chown www-data.www-data /data/www/zina -R

Il suffit ensuite d’accéder à Zina en http (adresse en fonction de votre serveur web) : http://IP_erveur/zina/index.php

Zina permet de jouer la musique en téléchargeant une playlist contenant les lien http vers les morceaux sélectionnés

Ou via un lecteur flash embarqué (d’ailleurs mieux intégré que celui d’Ampache)

Blofeld

L’annonce de Blofeld est alléchante : Introducing Blofeld

Mais la phrase « Difficult to install and configure » en parlant des autres serveurs musicaux me fait doucement rire car je n’ai pas réussi à installer Blofeld, pire j’ai planté mon Dockstar ce qui m’a valu une belle frayeur (voir cet article).

Peut être est ce dû au fait que j’ai essayé de l’installer sur une Debian ARM alors que l’auteur semble privilégier Ubuntu…

De plus depuis l’annonce le github du projet ne semble pas beaucoup bouger…

Voici les étapes que j’ai suivi :

Installation des dépendances (attention ça fait mal, pire que le JRE) :

sudo aptitude install python-cheetah python-imaging python-mutagen python-couchdbkit couchdb python-gst0.10 gstreamer0.10-ffmpeg python-cherrypy3

Ce qui installe :

couchdb erlang-base{a} erlang-crypto{a} erlang-inets{a} erlang-mnesia{a} erlang-public-key{a} erlang-runtime-tools{a}
 erlang-ssl{a} erlang-tools{a} erlang-webtool{a} erlang-xmerl{a} gstreamer0.10-ffmpeg iso-codes{a} libavcodec52{a}
 libavformat52{a} libavutil49{a} libdirac-encoder0{a} libfaad2{a} libffi5{a} libgsm1{a} libgstreamer-plugins-base0.10-0{a}
 libgstreamer0.10-0{a} libicu44{a} libjs-jquery{a} liblcms1{a} libmozjs2d{a} libnspr4-0d{a} libogg0{a} liboil0.3{a}
 libopenjpeg2{a} liborc-0.4-0{a} libpostproc51{a} libpython2.6{a} libschroedinger-1.0-0{a} libspeex1{a} libswscale0{a}
 libtheora0{a} libvorbis0a{a} libvorbisenc2{a} python-anyjson{a} python-cheetah python-cjson{a} python-couchdbkit
 python-gobject{a} python-gst0.10 python-imaging python-libxml2{a} python-mutagen python-restkit{a}

Soit plus de 110 Mo !!

Récupération et installation de Blofeld :

wget https://github.com/daveisadork/Blofeld/zipball/0.2.5
mv 0.2.5 blofeld.zip
unzip blofeld.zip
mv daveisadork-Blofeld-96c363e/ blofeld

Lancement :

blofeld

Et là se fut le drame, la CPU est montée, le terminal ne répondait plus, la connexion SSH a été interrompue et j’ai du rebooter sauvagement le Dockstar avec pour conséquence de la planter…

Donc pas de copie d’écran….

Streeme

[Ajout du 17/06/2013]

Nouveau (enfin pas si nouveau que ça) venu, un serveur musical simple mais complet en HTML5 / PHP (Symfony 1)

Installation des pré-requis :

sudo aptitude install php-pear curl php5-curl php5-gd ffmpeg
sudo pear install HTTP_Download

Clone du repo :

git clone https://github.com/chaffneue/streeme.git streeme
sudo mv streeme/ /data/www
sudo chown www-data.www-data /data/www/streeme -R

Création d’une base MySQL

mysql -uroot -p
CREATE DATABASE streeme  DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
grant usage on *.* to streeme@localhost identified by 'password';
grant all privileges on streeme.* to streeme@localhost ;

Configuration :

cd /var/www/streeme
cp config/databases.template.yml config/databases.yml
cp apps/client/config/app.template.yml apps/client/config/app.yml
mkdir cache
chmod 777 log cache

Édition de config/databases.yml et configuration de la section all (username, password)

Édition de apps/client/config/app.yml et configuration des attributs watched_folders,  allowed_file_types, ffmpeg_executable

Vidage des caches :

./symfony cc

Vérification pré-requis Symfony

php check_configuration.php

Construction des tables :

./symfony doctrine:build --all --and-load

Scan de la librairie :

./symfony scan-media --type=filesystem

Scan des album art (n’a pas marché chez moi)

./symfony scan-art --source=folders
./symfony scan-art --source=meta

Création d’un utilisateur :

symfony guard:create-user your_username your_password

Ma conf NGINX :

server {
 listen       8095;
 server_name  music.xxx.fr;
 root         /var/www/xxx.fr/streeme/web;
 
 access_log      /var/log/nginx/streeme.access.log ;
 include         /etc/nginx/common.conf ;
 
 location ~ (/\.|^/(config|test)) {
 deny all;
 }
 
 index           index.php;
 
 rewrite ^/art/([a-zA-Z0-9]+|all)/([a-zA-Z0-9]+|all)$ /proxy_art.php?hash=$1&size=$2 last;
 rewrite ^/client_dev.php/art/([a-zA-Z0-9]+|all)/([a-zA-Z0-9]+|all)$ /proxy_art.php?hash=$1&size=$2 last;
 
 location ~ ^/(index|proxy_art)\.php$ {
 include         /etc/nginx/fastcgi_params;
 fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
 fastcgi_pass    127.0.0.1:9000;
 }
 
 location / {
 index index.php;
 try_files $uri /index.php?$args;
 }
 
 location /sf/ {
 root /var/www/xxx.fr/streeme/lib/vendor/symfony/data/web/sf/;
 }
 
}
#Music-proxy
server {
 listen 8096;
 
 root /var/www/xxx.fr/streeme/web;
 
 location ~ (/\.|^/(config|test)) {
 deny all;
 }
 
 rewrite ^/play/([a-zA-Z0-9.]+|all)$ /proxy_play.php?unique_song_id=$1 last;
 rewrite ^/client_dev.php/play/([a-zA-Z0-9]+|all)$ /proxy_play.php?unique_song_id=$1 last;
 
 location ~ ^/(proxy_play)\.php$ {
 include         /etc/nginx/fastcgi_params;
 fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
 fastcgi_pass    127.0.0.1:9000;
 }
 
 location / {
 index index.php;
 try_files $uri /index.php?$args;
 }
}

Ne reste plus qu’a rediriger les ports et se connecter sur l’URL choisie port 8095 (par défaut)

A l’usage :

• Plutôt propre
• Rapide
• Léger

Mais

• Pas très maintenu
• Pas ultra sexy
• Pb d’encodage (peut sûrement se résoudre)
• Pas d’album art (peut sûrement se résoudre)
• Listes de lecture capriceuses

Autres serveurs musicaux (non testés)

Ampjuke

Ampjuke

Pré-requis matériel au dela des capacités du Dockstar :

« Access to a Computer w. min. 500MB memory, and a CPU running not less than 800MHz. »

Music Browser

Music Browser

Plus maintenu depuis 2009 et pas dans mes goûts…

Jinzora

Jinzora – Jinzora :: Free Your Media!

GNUMP3d

GNUMP3d [GNU MP3/Media Streamer]

Plus maintenu depuis 2007…

Tunez

Tunez

Plus maintenu depuis 2004 (qui dit mieux)

Sources :

Web based media manager

ampache – jinzora – subsonic – mp3act – netjuke etc….

Retour d’experience sur streaming souhaité (Ampache, Jinzora,…)

My Favorite Ubuntu Linux Music Server – 1000umbrellas.com

Zeya :

• Zeya: bring your music anywhere
• Zeya: bring your music anywhere — I Still Know What You Learned Last Summer
• Zeya-bring your music anywhere with a web browser

Subsonic :

• Subsonic » Free Music Streamer
• [Tuto]Subsonic: Votre musique, partout. | Gizeek
• Install Subsonic on Ubuntu Server : installation du WAR sur Tomcat

Ampache :

• Ampache
• Web based media manager that suits me best – Ampache
• Viridian – python based front-end for an Ampache
• Ecouter sa musique depuis un serveur distant grâce à MPD et AMPACHE
• Ampache… et votre collection de musique vous suit partout

Zina :

• Managing your MP3s with Zina
• Zina

Blofeld

• Blofeld
• Introducing Blofeld

Streeme :

• Streeme on debian with nginx / php-fpm

Solutions à base de MPD + IceCast

• MPD : le stream était presque parfait
• MPD & Icecast2 (Page 1) / Serveurs / Forum Ubuntu-fr.org
• Streaming Audio Using MPD and Icecast – Softpedia
• Faites de la radio avec MPD et IceCast2 « ((fluoblog))
• IceCast streaming server operational
• Webradio : MPD + Icecast2 + Pitchfork
• Music 2.0: Pitchfork

En effet Nautilus essai de faire un aperçu des fichiers PDF et c’est très long, voir cela le plante….

Pour y remédier 2 solutions :

Solution 1 : désactiver l’aperçu des fichiers pdf

Lancer l’éditeur de configuration via la commande gconf-editor, dérouler l’arborescence desktop > gnome > thumbnailers > application@pdf et décocher « enabled »

Solution 2 : Appliquer le correctif depuis les dépôts natty-proposed

Ce problème est un bug connu #778638, un correctif existe donc mais pas dans les dépôts « de base »

Activer si e n’est déjà fait les dépôts natty-proposed.

Pour cela lancer la logithèque Ubuntu puis dans le menu Edition sélectionner « Source des logiciels ».

Aller donc l’onglet « Mise à jour » et côcher « Mises à jour suggérés (natty-proposed) »

Fermer la fenêtre, ouvrir un terminal et saisir :

sudo aptitude update 
sudo aptitude install evince/natty-proposed evince-common/natty-proposed

Vous pouvez ensuite si vous le voulez désactiver le dépôt natty-proposed et refaire un update…

A l’image de ce que j’ai fait pour ajouter le support de SQLite à php j’ai fait la même chose pour MySQL et le problème à été résolu.

Voici donc la manipulation.

Editer /etc/php5/cgi/php.ini (le chemin peut changer selon votre distribution, ici il s’agit de Debian) et y ajouter la ligne suivante dans la section « Dynamic Extensions »

extension=mysql.so

Redémarrez php (si vous l’exécutez en fcgi) et voila le tour est joué

Rque : afin de faire un copie d’écran du setup de mon script php pour illustrer cet article j’ai supprimé la dite ligne de mon php.ini et là bizarrerie de l’informatique, MySQL était tout de même détecté…

Or quand j’ai réinstallé MySQL :

sudo aptitude install mysql-server mysql-client

J’ai eu les erreurs suivantes :

Les paquets partiellement installés suivants seront configurés : 
 mysql-server mysql-server-5.1 
 Aucun paquet ne va être installé, mis à jour ou enlevé.
 0 paquets mis à jour, 0 nouvellement installés, 0 à enlever et 0 non mis à jour.
 Il est nécessaire de télécharger 0 o d'archives. Après dépaquetage, 0 o seront utilisés.
 Paramétrage de mysql-server-5.1 (5.1.49-3) ...
 Stopping MySQL database server: mysqld.
 /etc/init.d/mysql: WARNING: /etc/mysql/my.cnf cannot be read. See README.Debian.gz ... (warning).
 Starting MySQL database server: mysqld.
 /etc/init.d/mysql: line 120: /etc/mysql/debian-start: Aucun fichier ou dossier de ce type
 invoke-rc.d: initscript mysql, action "start" failed.
 dpkg : erreur de traitement de mysql-server-5.1 (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 127
 configured to not write apport reports
 dpkg : des problèmes de dépendances empêchent la configuration de mysql-server :
 mysql-server dépend de mysql-server-5.1 ; cependant :
 Le paquet mysql-server-5.1 n'est pas encore configuré.
 dpkg : erreur de traitement de mysql-server (--configure) :
 problèmes de dépendances - laissé non configuré
 configured to not write apport reports
 Des erreurs ont été rencontrées pendant l'exécution :
 mysql-server-5.1
 mysql-server
 E: Sub-process /usr/bin/dpkg returned an error code (1)
 Échec de l'installation d'un paquet. Tentative de réparation : 
 Paramétrage de mysql-server-5.1 (5.1.49-3) ...
 Stopping MySQL database server: mysqld.
 /etc/init.d/mysql: WARNING: /etc/mysql/my.cnf cannot be read. See README.Debian.gz ... (warning).
 Starting MySQL database server: mysqld.
 /etc/init.d/mysql: line 120: /etc/mysql/debian-start: Aucun fichier ou dossier de ce type
 invoke-rc.d: initscript mysql, action "start" failed.
 dpkg : erreur de traitement de mysql-server-5.1 (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 127
 dpkg : des problèmes de dépendances empêchent la configuration de mysql-server :
 mysql-server dépend de mysql-server-5.1 ; cependant :
 Le paquet mysql-server-5.1 n'est pas encore configuré.
 dpkg : erreur de traitement de mysql-server (--configure) :
 problèmes de dépendances - laissé non configuré
 Des erreurs ont été rencontrées pendant l'exécution :
 mysql-server-5.1
 mysql-server

Voici la solution que j’ai trouvé sur [ubuntu] mysql problem – Ubuntu Forums :

Créer un fichier /etc/mysql/debian-start (avec sudo) et y copier ceci :

#!/bin/bash
 #
 # This script is executed by "/etc/init.d/mysql" on every (re)start.
 #
 # Changes to this file will be preserved when updating the Debian package.
 #
 
source /usr/share/mysql/debian-start.inc.sh
 
MYSQL="/usr/bin/mysql --defaults-file=/etc/mysql/debian.cnf"
 MYADMIN="/usr/bin/mysqladmin --defaults-file=/etc/mysql/debian.cnf"
 MYUPGRADE="/usr/bin/mysql_upgrade --defaults-extra-file=/etc/mysql/debian.cnf"
 MYCHECK="/usr/bin/mysqlcheck --defaults-file=/etc/mysql/debian.cnf"
 MYCHECK_SUBJECT="WARNING: mysqlcheck has found corrupt tables"
 MYCHECK_PARAMS="--all-databases --fast --silent"
 MYCHECK_RCPT="root"
 
# The following commands should be run when the server is up but in background
 # where they do not block the server start and in one shell instance so that
 # they run sequentially. They are supposed not to echo anything to stdout.
 # If you want to disable the check for crashed tables comment
 # "check_for_crashed_tables" out.
 # (There may be no output to stdout inside the background process!)
 echo "Checking for corrupt, not cleanly closed and upgrade needing tables."
 (
 upgrade_system_tables_if_necessary;
 check_root_accounts;
 check_for_crashed_tables;
 ) >&2 &
 
exit 0

Rendre le fichier exécutable :

sudo chmod 755 /etc/mysql/debian-start

Et reprendre l’installation (un dpkg reconfigure aurait sûrement aussi fait l’affaire):

sudo aptitude install mysql-server mysql-client

Normalement il n’y a plus d’erreurs:

Les paquets partiellement installés suivants seront configurés :
 mysql-server mysql-server-5.1
 Aucun paquet ne va être installé, mis à jour ou enlevé.
 0 paquets mis à jour, 0 nouvellement installés, 0 à enlever et 0 non mis à jour.
 Il est nécessaire de télécharger 0 o d'archives. Après dépaquetage, 0 o seront utilisés.
 Paramétrage de mysql-server-5.1 (5.1.49-3) ...
 Stopping MySQL database server: mysqld.
 Starting MySQL database server: mysqld.
 Checking for corrupt, not cleanly closed and upgrade needing tables..
 Paramétrage de mysql-server (5.1.49-3) ...

Sur mon Dockstar je souhaite avoir un dépôt de fichier, un endroit ou je (ou des personnes de confiance) puisse facilement uploader des fichiers et avoir un lien vers ce fichier.

Premier logiciel testé Jyraphe.

Pour casser le suspense je tiens à préciser tout de suite que ce dernier ne répond à mes attentes

Installation

On télécharge et décompresse les sources :

wget http://download.gna.org/jyraphe/jyraphe-0.5.tar.gz
tar -xvf jyraphe-0.5.tar.gz

Puis on installe le package gettext, en effet jyraphe est livré avec les traductions Française mais il faut les « compiler » pour qu’elles soient accessibles :

sudo aptitude install gettext
cd jyraphe
./update-po.sh
./update-mo.sh

Cela créé le fichier Jyraphe.mo contenant la traduction Française de Jyraphe dans le sous-répertoire lib/locale/fr_FR.UTF-8/LC_MESSAGES/

On déplace les scripts php vers son arborescence Web (à adapter)

sudo mv pub /var/www/jyraphe
sudo chown www-data:www-data /var/www/jyraphe -R

Pour que le site soit accessible il se peut qu’il faille que vous configuriez votre serveur web, je ne décrirais pas ici cette étape….

Puis on lance l’installeur :

http://votre-domaine/jyraphe/install.php

On choisi la langue, si l’interface n’est pas en Français quelque chose à dû mal se passer avec les scripts update-po/mo

Jyraphe stockera les fichiers uploadé dans un sous-répertoire de sa racine web dans un répertoire var-xxxx où xxxx est généré aléatoirement

Et voila c’est presque fini, il ne reste plus qu’a supprimer le script d’installation :

sudo rm /var/www/jyraphe/install.php

Jyraphe est prêt à l’emploi :

Donc voici ma conclusion, j’ai aimé, la protection par mot de passe du téléchargement de fichier, la durée limitée de téléchargement (pas testé)

Mais voici les défauts rédhibitoires pour moi :

Il n’est pas possible de protéger l’upload de fichier, il n’y a pas d’authentification, n’importe qui peut uploader des fichier sur votre serveur (plutôt risqué).

J’ai bien pensé mettre un accès protégé par mot de passe (équivalent du .htaccess pour apache) mais dès lors le téléchargement serait protégé par ce même mot de passe.

En fait si, voir Edit ci-dessous

Enfin il n’y a pas d’administration pour purger les fichiers (pour cela il faut supprimer fichiers dans var-xxx/files et var-xxx/links) et lister les fichiers disponibles

J’ai plus qu’à trouver un autre logiciel…

Edit :

Le commentaire de tomamplius a piqué ma curiosité et j’ai voulu tester si sous NGINX il était possible de protéger spécifiquement un fichier, en l’occurrence le index.php pour empêcher l’ouverture à tous le monde de l’upload.

Et après pas mal d’essai voici ma configuration :

location /jyraphe {
        location ^~ /jyraphe/index.php {
		auth_basic            "Section privee";
		auth_basic_user_file  $document_root/jyraphe/.htpasswd;
		include         /etc/nginx/fastcgi_params;
		fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
		fastcgi_pass    127.0.0.1:9000;
	}
	location ~ \.php$ {
		include         /etc/nginx/fastcgi_params;
		fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
		fastcgi_pass    127.0.0.1:9000;
	}
}

L’installation s’est déroulé sans problème mais au démarrage j’ai eu cette erreur :

Echofon (extension twitter) n’arrive pas à se connecter, ce qui est très gênant pour moi, je suis donc repassé sous Firefox 4.0.1.

Après quelques recherches sur internet voici le lien pour télécharger l’installeur qui permet de ré-installer Firefox 4.0.1 en Français : Firefox 4.0.1 – Win – 32bits

Source : Mozilla Firefox 5.0 : en fin d’article les liens pour les 3 dernières versions de Firefox 2.0.0.20, 3.6.18 et 4.0.1 pour Windows, Linux et OSX

Pour cela il faut mettre en œuvre un chiffrage via https.

Https se base sur un système de clé de cryptage publique/certificat, il existe plusieurs moyen pour obtenir ces fichiers :

• Acheter le certificat auprès d’un organisme reconnu, peut être très cher, exemple : 600€ pour 2 ans ou moins cher : Go Daddy)
• Avoir le certificat gratuit avec votre nom de domaine (chez Gandi par exemple pour 1 an)
• Avoir un certificat gratuit avec un organisme presque reconnu comme CAcert
• Générer un certificat (certificat auto-signé)

J’ai personnellement choisi cette dernière solution.

Dans mon article OpenSSL puissance et complexité, j’ai listé/référencé les étapes et commandes openssl disponible pour créer un certificat.

Voici les sujets abordé par cet article :

• Gestion des certificats manuellement
• Gestion des certificats avec easyCA
• Configuration NGINX
• Configuration Firefox

Gestion des certificats manuellement

Préparation de l’environnement

Je vais créer un répertoire myCa dans le /home de mon utilisateur et y placer tout ce qui sera nécessaire à gérer les certificats

cd && mkdir -p myCA/certs && mkdir myCA/private && mkdir myCA/csr && mkdir myCA/newcerts && mkdir myCA/crl && mkdir myCA/tmp && cd myCA
echo '01' > serial  && touch index.txt
cp /etc/ssl/openssl.cnf .

Configuration d’openSSL

On édite ensuite le fichier openssl.cnf copié dans notre répertoire myCA, pour modifier les éléments suivants :

Section [ CA_default ] on paramètre les dossiers, seul la première valeur est à modifier :

dir        = <strong>/home/[utilisateur]/myCA</strong>            # Where everything is kept
certs        = $dir/certs        # Where the issued certs are kept
crl_dir        = $dir/crl        # Where the issued crl are kept
database    = $dir/index.txt    # database index file.
new_certs_dir    = $dir/newcerts        # default place for new certs.
certificate    = $certs/cacert.pem    # The CA certificate
serial        = $dir/serial         # The current serial number
crl        = $dir/crl.pem         # The current CRL
private_key    = $dir/private/cakey.pem # The private key
RANDFILE    = $dir/private/.rand    # private random number file

Un peu plus loin dans cette même section, on paramètre la duré de validité par défaut des certificats et le cryptage utilisé :

default_days    = 1825            # how long to certify for
default_crl_days= 30            # how long before next CRL
default_md    = sha1            # which md to use.

Dans la section [ req_distinguished_name ] j’ai francisé les libellé et adpater les valeurs par défaut :

[ req_distinguished_name ]
 countryName                     = Pays (2 lettres)
 countryName_default             = FR
 countryName_min                 = 2
 countryName_max                 = 2
 stateOrProvinceName             = Region
 stateOrProvinceName_default     = PAYS DE LOIRE
 localityName                    = Ville
 localityName_default            = Nantes
 0.organizationName              = Societe
 0.organizationName_default      = VoidAndAny
 #organizationalUnitName         = Organizational Unit Name (eg, section)
 #organizationalUnitName_default =
 commonName                      = Site
 commonName_max                  = 64
 emailAddress                    = Email
 emailAddress_max                = 64
 emailAddress_default            = mon_email@free.fr

Dès lors les questions sont les suivantes et il suffit de les valider par entrée pour avoir les valeurs par défaut (optionnel) :

Pays (2 lettres) [FR]:
Region [PAYS DE LOIRE]:
Ville [Nantes]:
Societe [VoidAndAny]:
Site []: mon_domaine.fr
Email [mon_email@free.fr]:

Dans la section [ usr_cert ] j’ai modifié les commentaire qui seront embarqués dans les certificats :

nsComment            = "Void And Any Generated Certificate"

Création de l’autorité de certification

On va tout d’abord créer notre autorité de certification qui permettra de signer les certificats serveurs suivant.

Cela se fait avec la commande (se placer dans le répertoire myCA) :

openssl req -new -x509 -config ./openssl.cnf -keyout ./private/cakey.pem -out ./certs/cacert.pem -days 1825

Lors de la génération du certificat un mot de passe vous est demandé, en choisir un robuste et ne pas l’oublier sous peine de ne plus pouvoir vous servir de votre autorisé de certification.

Création du/des certificats

En 2 temps, création de la clé et de la demande de certificat :

openssl req -new -keyout ./private/mondomaine.key -out ./csr/mondomaine.csr -config ./openssl.cnf -nodes -days 1825

L’option -nodes permet d’indiquer que la clé qui doit être générée ne doit pas être protégée par un mot de passe (passphrase)

La commande vous poseras quelques questions :

Generating a 2048 bit RSA private key
 .............+++
 ............................+++
 writing new private key to '/etc/nginx/certificates/test.key'
 -----
 You are about to be asked to enter information that will be incorporated
 into your certificate request.
 What you are about to enter is what is called a Distinguished Name or a DN.
 There are quite a few fields but you can leave some blank
 For some fields there will be a default value,
 If you enter '.', the field will be left blank.
 -----
 Country Name (2 letter code) [AU]:FR
 State or Province Name (full name) [Some-State]:PAYS DE LOIRE
 Locality Name (eg, city) []:Nantes
 Organization Name (eg, company) [Internet Widgits Pty Ltd]:VoidAndAny
 Organizational Unit Name (eg, section) []:
 Common Name (eg, YOUR name) []:mon_domaine.fr
 Email Address []:mon_email@free.fr

La zone la plus importante est « Common name » qui doit correspondre au nom du domaine/sous-domaine que vous voulez protéger.

Création du certificat à partir de la demande de certificat et signature de ce dernier avec notre autorité de certification :

openssl ca -infiles ./csr/mondomaine.csr -out ./certs/mondomaine.crt -config ./openssl.cnf

Les certificat et sa clé sont alors respectivement dans les sous-répertoires certs et private.

Voila pour la création manuelle voici comment automatiser tout cela et ne pas avoir de ligne de commande à taper.

Gestion des certificats avec easyCA

EasyCA est un script qui n’est plus maintenu depuis 2005 et que l’on peut retrouver ICI, personnellement j’ai utilisé la version modifiée de GuiguiAbloc que l’on trouve ICI

Je vais comme précédemment faire du répertoire myCA de mon home le lieu de travail. (si vous avez fait des essais manuellement il peut être conseillé de tout supprimer le contenu du dit répertoire ou d’en utiliser un autre)

Télécharger l’archive, la décompresser et rendre le script exécutable :

mkdir -p ~/myCA && cd ~/myCA
wget http://guiguiabloc.appspot.com/wp-content/2008/12/easyca.tgz
tar -xvf easyca.tgz
mv easyca/* .
chmod 755 easyCA.sh

Éditer le fichier openssl.cnf fournis, modifier les lignes préalablement décrites et supprimer la ligne :

# !!!!! remove this line after configuration as it is NOT_CONFIGURED yet !!!

Rque : j’ai en plus changé les différents paramètres nsComment en fin de fichier.

Lancer le script easyCA.sh, le menu suivant apparaît :

=====================================================================
 Certificate Management System
 easyCA version 0.9(6) by Ferry Kemps and Guiguiabloc
 GPL Licensed
 =====================================================================
 
 1) Sign a Certificate Signing Request (PKCS#10)
 2) Create a Server Certificate (PEM SelfSigned)
 3) Create a Client Certificate (PKCS#12)
 4) Create a Certificate Signing Request
 5) Generate Certificate Revocation List (CRL)
 6) List, Display and Revoke Certificates
 
 I) Initialize Root Certificate Authority (CA)
 O) Initialize OCSP Server Certificate
 B) Backup & Restore the Certificate environment
 R) Reinstall easyCA (erase)
 
==> Make your choice [none]:

(dans les « copie d’écran » suivante je n’ai pas personnalisé mon openssl.cnf, d’où les localité, adresse mail par défaut)

Création de l’autorité de certification

Pour créer l’autorité de certification il suffit de choisir l’option I :

-----------------------------------------------------------------------
 ----------------- Initialize root Certificate Authority ---------------
 -----------------------------------------------------------------------
 
Are you sure you want to (re)initialize the Root CA? [y|n]: y
 >>> Initializing Root CA <<<
 Generating a 1024 bit RSA private key
 ...................++++++
 .............................................++++++
 writing new private key to './private/cakey.pem'
 Enter PEM pass phrase:
 Verifying - Enter PEM pass phrase:
 -----
 You are about to be asked to enter information that will be incorporated
 into your certificate request.
 What you are about to enter is what is called a Distinguished Name or a DN.
 There are quite a few fields but you can leave some blank
 For some fields there will be a default value,
 If you enter '.', the field will be left blank.
 -----
 Country Name (2 letter code) [NL]:
 State or Province Name (full name) [Gelderland]:
 Locality Name (eg, city) [Arnhem]:
 Organization Name (eg, company) [Your Company Name]:
 Organizational Unit Name (eg, section) [HQ]:
 Common Name (eg, your name or your server's hostname) []:
 Email Address [postmaster@domain.ext]:
 
Press [enter] to continue

Comme dans le paragraphe précédent il faut choisir une passphrase sécurisé et ne pas l’oublier. Le Common Name n’a que peut d’importance ici.

Création du/des certificats

Pour générer un certificat serveur, il faut procéder en 2 temps, la demande de certificat, option 4 du menu :

-----------------------------------------------------------------------
 --------------- Generate Certificate Signing Request ------------------
 -----------------------------------------------------------------------
 
Enter Certificate CN (Common name|FQDN) like www.example.com [none]: mondomaine
 Generating a 1024 bit RSA private key
 ..................++++++
 .......++++++
 writing new private key to './private/mondomaine-key.pem'
 -----
 You are about to be asked to enter information that will be incorporated
 into your certificate request.
 What you are about to enter is what is called a Distinguished Name or a DN.
 There are quite a few fields but you can leave some blank
 For some fields there will be a default value,
 If you enter '.', the field will be left blank.
 -----
 Country Name (2 letter code) [NL]:
 State or Province Name (full name) [Gelderland]:
 Locality Name (eg, city) [Arnhem]:
 Organization Name (eg, company) [Your Company Name]:
 Organizational Unit Name (eg, section) [HQ]:
 Common Name (eg, your name or your server's hostname) []:mondomaine.fr
 Email Address [postmaster@domain.ext]:
 
Please enter the following 'extra' attributes
 to be sent with your certificate request
 A challenge password []:
 An optional company name []:
 
Certificate Signing Request (CSR) stored as: ./csr/mondomaine.csr
 Certificate private-key stored as: ./private/mondomaine-key.pem
 Press [enter] to continue

La première question (Enter Certificate CN (Common name|FQDN) like www.example.com [none]:) ne sert pas à alimenter le common name du certificat mais a déterminer le nom des fichier certificat et clé.

A la question common name, il faut ici indiquer le domaine sur lequel s’appliquera la certificat sous peine d’avoir des avertissement de sécurité dans les navigateurs.

2ème étape obtenir le certificat et le signer , option 1 du menu :

-----------------------------------------------------------------------
 --------------- Certifiace Signing Request handling -------------------
 -----------------------------------------------------------------------
 
(CSR request files should be copied into directory: ./csr)
 
1: mondomaine.csr
 
==> Select the CSR to sign [none]: 1
 
==> Add OCSP Extension to Certificate ? [y/N]: N
 
==> Select the Usage Key [server|client|none]: server
 Using configuration from ./openssl.cnf
 Enter pass phrase for ./private/cakey.pem:
 Check that the request matches the signature
 Signature ok
 Certificate Details:
 Serial Number: 1 (0x1)
 
...
 
 Certificate is to be certified until Jun 19 18:36:00 2016 GMT (1825 days)
 Sign the certificate? [y/n]:y
 
1 out of 1 certificate requests certified, commit? [y/n]y
 Write out database with 1 new entries
 Data Base Updated
 
Signed certificate stored as: ./certs/mondomaine.crt
 Return this certificate to the requesting party.
 
Display Certificate? y/n [n] n

On sélectionne les demande de certificat en cours (il peut y en avoir plusieurs), on indique le rôle du certificat à générer (server), on saisi le mot de passe de l’autorité de certification et voila…

L’utilisation de easyCA est quand même beaucoup plus simple que de se taper les lignes de commande….

Pour info voici les commandes par easyCA  qui sont lancées pour les 3 étapes décrites ci-dessus :

openssl req -new -x509 -config ./openssl.cnf -keyout ./private/cakey.pem -out ./certs/cacert.pem -days 1825
 
openssl req -new -nodes -config ./openssl.cnf -days 1825 -keyout ./private/mondomaine-key.pem -out ./csr/mondomaine.csr
 
openssl ca -config ./openssl.cnf -cert ./certs/cacert.pem -extensions  SERVEUR -in ./csr/mondomaine.csr -out ./certs/mondomaine.crt

Elle très très semblables à celles que j’ai décrite dans le premier paragraphe…

Configuration NGINX

Une fois un certificat généré pour votre site que ce soit manuellement ou via easyCA, il faut tout d’abord copier le clé et le dit certificat vers un répertoire qui sera accessible par NGINX.

Dans mon cas j’ai créé un répertoire certificates dans /etc/nginx.

cd ~
sudo cp myCA/certs/mondomaine.crt /etc/nginx/certificates
sudo cp myCA/private/mondomaine-key.pem /etc/nginx/certificates
sudo chown root.root /etc/nginx/certificates/mondomaine-key.pem
sudo chmod 400 /etc/nginx/certificates/mondomaine-key.pem

Il suffit ensuite d’indiquer à NGINX pour le site voulu l’écouter sur le port 443 (au lieu du 80) et l’utilisation du certificat et de la clé privée

server {
    listen               443;
    server_name          mondomaine.fr;

    ssl                  on;
    ssl_certificate      /etc/nginx/certificates/mondomaine.crt;
    ssl_certificate_key  /etc/nginx/certificates/mondomaine-key.fr;

....
  }

Et rediriger le port 443 vers votre serveur…

Configuration Firefox

Lorsque vous irez sur votre site pour la première fois vous aurez un message d’avertissement car votre autorité de certification (c’est à dire votre serveur) n’est pas reconnue par le navigateur :

Si on regarde les détail technique on a ceci :

Ou ceci Dans le premeir cas je ne comprend pas très bien l’erreur, peut être est ce d^au fait que j’utilise un certificat joker mais ceci est une autre histoire, dans le 2ème cas on a 2 erreurs, le fait que le certificat est auto-signée et le fait que le common name donnée lors de la création du certification ne correspond pas au domaine sur lequel il a été appliqué.

Dans tous les cas pour passer outre il suffit d’importer le certificat racine publique de notre autorité de certification.

Il faut donc diffuser, copier le fichier cacert.pem contenu dans le répertoire certs sur votre serveur sur les machine clientes. ATTENTION il ne faut surtout pas diffuser la clé privé cakey.pem

Ensuite sur les machines clientes dans Firefox aller dans le menu « Avancé » sur l’onglet « Chiffrement » et cliquer sur « Afficher les certificats » :

Dans l’onglet « Autorités » cliquer sur « Importer… » et sélectionner votre fichier (cacert.pem)

Sélectionner l’usage que vous souhaitez faire du certificat « identifier des sites web » :

Votre autorité de certification est désormais reconnue :

Et la page devrait s’afficher sans problème.

Dans IE il faut aller dans Option Internet > Onglet Contenu > Bouton Certificats, puis onglet Autorités principales de confiance > Bouton Importer

Sources :

Gestion des certificats :

• Be your own Certificate Authority (CA)
• Créer sa propre (mini) PKI : un article très très clair (comme tous les articles de ce site) sur les certificats, il devrait être obligatoire de le lire (malheureusement pour moi je ne l’ai trouvé que tard)
• PKI, PKI, oh ! PKI, PKI, ah !

Configuration NGINX :

• nginx: serveur web complet bluffant
• Nginx , SSL et plus encore ..

Autre :

• Vérifier automatiquement l’expiration de certificats SSL – Tux-planet
• Installer un certificat Gandi SSL Standard sur Nginx

Pour changer ce comportement il faut utiliser les paramètres ratio-limit (= valeur numérique) et ratio-limit-enabled (= true). Dés lors Transmission partagera jusqu’à ce que le ratio téléchargement / partage défini dans ratio-limit soit atteint. Ensuite le fichier sera mis en état arrêté mais restera dans Transmission.

Le script ci-dessous (remove_completed_torrents.sh qui n’est pas de moi voir les sources) à exécuter à intervalle régulier via une tache Cron vérifie l’état des fichiers/torrents et pour ceux qui sont stoppés (dont le ratio de partage est atteint) les déplace dans un autre répertoire (complete dans mon cas, voir mon arborescence de fichier) et les supprime de Transmission

#!/bin/sh
# script to check for complete torrents in transmission folder, then stop and move them
 
AUTH="--netrc=$HOME/.netrc"
 
# either hard-code the MOVEDIR variable here
MOVEDIR=/data/downloads/torrents/complete # the folder to move completed downloads to
# or set MOVEDIR using the first command-line argument
# MOVEDIR=%1
 
# use transmission-remote to get torrent list from transmission-remote list
# use sed to delete first / last line of output, and remove leading spaces
# use cut to get first field from each line
TORRENTLIST=`transmission-remote --list | sed -e '1d;$d;s/^ *//' | cut --only-delimited --delimiter=" " --fields=1`
 
# for each torrent in the list
for TORRENTID in $TORRENTLIST
    do
    echo "* * * * * Operations on torrent ID $TORRENTID starting. * * * * *"
 
    # check if torrent download is completed
    DL_COMPLETED=`transmission-remote $AUTH --torrent $TORRENTID --info | grep "Percent Done: 100%"`
 
    # check torrent’s current state is Stopped, Finished, or Idle
    STATE_STOPPED=`transmission-remote --torrent $TORRENTID --info | grep "State: Finished"`
 
    # if the torrent is Stopped, Finished, or Idle after downloading 100%
    if [ "$DL_COMPLETED" != "" ] && [ "$STATE_STOPPED" != "" ]; then
        # move the files and remove the torrent from Transmission
        echo "Torrent #$TORRENTID is completed."
        echo "Moving downloaded file(s) to $MOVEDIR."
        transmission-remote --torrent $TORRENTID --move $MOVEDIR
        echo "Removing torrent from list."
        transmission-remote --torrent $TORRENTID --remove
    else
        echo "Torrent #$TORRENTID is not completed. Ignoring."
    fi
    echo "* * * * * Operations on torrent ID $TORRENTID completed. * * * * *"
done

Ce script utilise la commande transmission-remote du paquet transmission-cli à installer si ce n’est déjà fait.

Pour certaines opérations transmission-remote à besoin d’informations de connexion (login / mot de passe), plutôt que d’utiliser l’option –auth j’ai préféré utiliser l’option –netrc, il faut donc créer un fichier .netrc dans le home de votre utilisateur (ou si vous souhaitez le mettre ailleurs il faudra modifier la variable AUTH) et y mettre les informations suivantes :

machine localhost login [votre login] password [votre mot de passe]

Du Fait des information sensible de ce fichier on le protégera en faisant un :

chmod 600 ~/.netrc

Lorsque l’on exécute le script on aura ce genre de sortie :

./bin/remove_complet_torrent.sh
 * * * * * Operations on torrent ID 1 starting. * * * * *
 Torrent #1 is completed.
 Moving downloaded file(s) to /data/downloads/torrents/complete.
 localhost:9091 responded: "success"
 Removing torrent from list.
 localhost:9091 responded: "success"
 * * * * * Operations on torrent ID 1 completed. * * * * *

Rque : dans le script d’origine les fichiers étaient déplacés dès lors que leur statut était stopped ou idle ou finished. J’ai supprimé les 2 premiers statuts sinon les fichiers étaient enlevés alors que le ratio de partage n’était pas atteint…

Sources :

• Transmission : Site officiel
• Updated: How to Automatically Move and Remove Transmission-Daemon Downloads – 1000umbrellas.com: Source du script de suppression des torrent terminés

Au fil de mes lectures j’ai pu constater la puissance de la commande openssl permettant de générer ces fichiers mais aussi la difficulté à en appréhender le fonctionnement.

En effet pour réaliser une même tache il est possible de lancer x commandes différentes avec y options différentes.

De même pour passer un site en https, certains décrivent la création d’une clé et d’un certificat auto-signé directement utilisé par le serveur web et d’autres créent d’abord une autorité de certification (sous la forme d’une clé et d’un certificat auto-signé) qu’ils utilisent ensuite pour signer un autre certificat qui lui sera paramétré dans le serveur Web.

Ci-dessous les 3 types d’opérations trouvés :

• Génération d’un certificat serveur auto-signé (et de sa clé) pour utilisation directe par le serveur web.
• Création d’une autorité de certification
• Génération d’un certificat serveur et signature de ce dernier pour une autorité de certification

Pour chacune des ces opérations j’ai listés (non exhaustif) les différentes syntaxes trouvées (j’ai arrangé l’ordre des paramètres pour faciliter la comparaison)

L’objectif de cet article n’est pas de donner un mode opération pour créer un certificat et sa clé (je le ferais dans un autre article) mais il s’agit de mettre en avant la richesse et la difficulté à comprendre ce qui est fait avec la commande openssl…

(il s’agit d’un travail de débroussaillage pour choisir mon mode opératoire)

Premier point un peu en dehors du sujet, les extensions des fichiers, on trouve de tout :

• clé :  key,  pem
• demande de certificat : csr, pem
• certificat : crt, pem

Cela montre sans même rentrer dans le détail des commandes la difficulté à s’y retrouver….

Création d’un certificat serveur auto-signé

Solution 1 : Génération de la clé et du certificat auto-signé en 1 seule fois

nginx: serveur web complet bluffant

openssl req -x509 -nodes -days 365 -newkey rsa:1024 -out /etc/nginx/conf.d/default.pem -keyout /etc/nginx/conf.d/default.key
chmod 440 /etc/nginx/conf.d/default.pem /etc/nginx/conf.d/default.key

Nginx , SSL et plus encore ..

mkdir /etc/nginx/certificats
cd /etc/nginx/certificats
openssl req -new -x509 -nodes -out mon-site.fr.crt -keyout mon-site.fr.key

Solution 2 : en plusieurs commandes

(8)

Génération de la clé, génération de la demande de certificat, suppression de la passphrase et auto-signature du certificat

# cd /usr/local/nginx/conf
# openssl genrsa -des3 -out server.key 1024
# openssl req -new -key server.key -out server.csr
# cp server.key server.key.org
# openssl rsa -in server.key.org -out server.key
# openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt

Création d’une autorité de certification

La création de l’autorité de certification peut se faire en plus ou moins d’étapes, avec divers options voici celles trouvées de ci de là.

Solution 1 : Génération de la clé et du certificat en 1 seule fois

(3)

openssl req -x509 -newkey rsa:2048 -days 1825 -keyout private/cacertkey.pem -out cacert.pem

(4)

openssl req -x509 -newkey rsa:2048 -new -days 3650 -keyout private/cacert.key -out cacert.pem

(6)

openssl req -x509 -new -days 1825 -config openssl.my.cnf -extensions v3_ca -keyout private/myca.key -out certs/myca.crt

Quelques remarque sur ces syntaxes :

-new est optionnel lorsque -newkey rsa:xxx est spécifié (syntaxe 4) , en en effet ce dernier crée une clé et une demande de certificat tandis que -new ne crée que la demande de certificat.

Dans la syntaxe 6 la clé est générée malgré la seul présence de l’option -new qui n’est sensée ne générer que le certificat. Mais en l’absence du mot-clé -key spécifiant une clé à utiliser pour créer le certificat, une nouvelle clé est générée en utilisant les données du fichier de configuration openssl.conf (ici l’auteur précise un autre fichier de configuration à utiliser plutôt que celui standard avec l’option -config)

Enfin il ne s’agit pas d’une demande de certificat qui est généré comme indiqué ci-dessus mais directement un certificat grâce à l’adjonction de l’option -x509

Solution 2 : Création de la clé privé puis création du certificat auto-signé

(1)

openssl genrsa -des3 2048 -out /etc/ssl/CA/private/my-ca.key
openssl -req x509 -key /etc/ssl/CA/private/my-ca.key -days 3650 > my-ca.crt

(7)

openssl genrsa -des3 2048 -out elao-ca.key
openssl req -x509 -new -key elao-ca.key -days 3650 -out elao-ca.crt

La différence entre ces 2 sources réside dans l’utilisation de 2 commandes différentes.

• req qui permet de générer un nouveau (-new) certificat auto-signé (-x509)
• x509 utilitaire de gestion des certificats (affichage, conversion) utilisé ici pour créer un nouveau certificat (-req)

Et de la méthode sortie (option out contre redirection)

Solution 3 : Création de la clé privé, demande de certificat et signature du certificat

(2)

openssl genrsa -des3 -out ca.key 2048
openssl req -new -key ca.key -out ca.csr
openssl x509 -req -days 3650 -in ca.csr -signkey ca.key -out ca.crt

Création d’un certificat serveur et signature par l’autorité de certification

Solution 1 : Création de la clé, suppression du mot de passe, demande de certificat, signature du certificat avec notre autorité

(2)

openssl genrsa -des3 -out server.key 1024
openssl rsa -in server.key -out server.key
openssl req -new -key server.key -out server.csr
openssl x509 -req -in server.csr -out server.crt -CA ca.crt -CAkey ca.key -CAcreateserial

(7)

openssl genrsa -des3 -out elao-server.key 1024
openssl rsa -in elao-server.key -out elao-server.key.insecure
openssl req -new -key elao-server.key -out elao-server.csr
openssl x509 -req -in elao-server.csr -out elao-server.crt -sha1 -CA elao-ca.crt -CAkey elao-ca.key -CAcreateserial -days 3650

L’option -CAcreateserial n’est nécessaire que lors de la signature du premier certificat par notre autorité de certification, elle peut même ne pas être nécessaire du tout si on a créé préalablement le fichier paramétré sous le nome database dans le fichier openssl.conf.

Solution 2 : Création de la clé sans mot de passe,  demande de certificat, signature du certificat avec notre autorité

(1)

openssl genrsa 1024 -out www.test.net.key
openssl req -new -key www.test.net.key -out www.test.net.csr
openssl ca -in www.test.net.csr -out www.test.net.crt

Le fait de ne pas mettre l’option -des3 génère une clé directement sans mot de passe

La signature se fait avec la commande ca au lieu de x509, mais je ne comprends pas pas où l’on spécifie que l’on doit utiliser notre autorité de certification, son certificat et sa clé (my-ca.crt et my-ca.key, voir ci-dessus solution 2)

Pour moi avec cette méthode le certificat généré est auto-signé ce qui n’est pas le but recherché.

Solution 3 : Création de la clé et de la demande de certificat, signature du certificat avec notre autorité

(3)

openssl req -newkey rsa:2048 -keyout private/server.key -out server-req.pem
openssl ca -in serveur-req.pem -out signedcerts/serveur-cert.pem -cert cacert.pem -keyfile private/cacertkey.pem -days 365

(6)

openssl req -new -keyout private/server.key -out server.csr -config openssl.my.cnf -nodes -days 365
openssl ca -infiles server.csr -out certs/server.crtc -config openssl.my.cnf -policy policy_anything

Concernant les commande de génération de al clé et de la demande de certificat :

• -new ne crée que la clé sauf si on n’utilise pas l’option -key auquel cas la clé est aussi générée
• -newkey rsa:xxx crée une clé et un certificat
• Ce sont des demandes de certificat qui sont générés (contrairement aux commandes que l’on a utilisé pour la création de l’autorité de certification solution 1) car nous n’avons pas l’option -x509
• L’option -nodes permet d’indiquer que la clé qui doit être générée ne doit pas être protégée par un mot de passe (passphrase)

Enfin les commande de signature des certificats doivent pouvoir être simplifiées comme dans la solution 2 (juste -in et -out)

Sources :

1. Openssl – création d’une autorité de certification et Openssl – générer et signer une demande de signature(CSR) | 404Blog
2. Autorité de certification openssl et Autorité de certification, le retour
3. OpenSSL : création et mise en place d’une PKI – K-Tux
4. Openssl pratique
5. Nginx , SSL et plus encore ..
6. Be your own Certificate Authority (CA)
7. Créer une autorité de certification et des certificats SSL auto-signés
8. Top 20 Nginx WebServer Best Security Practices

A voir pour les extensions de  fichier :

• http://en.wikipedia.org/wiki/X.509
• http://marc.info/?l=openssl-users&m=128008468329998&w=2
• Be your own Certificate Authority (CA)

Source d’info sur les commandes les pages MAN (par contre il faut s’y retrouver avec toutes les options !!)

• req
• x509
• openssl
• ca
• genrsa

Image par Erik Pitti (photo de la machine Enigma utilisé par les Allemands lors de la 2de guerre mondial pour crypter leur communication)

Bien que très pratique ce mécanisme n’est pas optimal en effet Transmission passe d’un mode à un autre pour une plage horaire et certains jours données or mon besoin est que Transmission passe du mode normal (sans limitation) au mode alternatif (vitesses limités, mode turtle/tortue) uniquement si un des mes PC est allumé, préservant ainsi ma bande passante pour pouvoir avoir un usage normal d’Internet.

Et dès que tous les PCs sont éteint on re-bascule en mode normal.

Voici le script que j’ai fait :

#!/bin/bash
 
cd $(dirname "${0}")
 
while read HOST_IP;
do
    ping -c 5 -w 15 $HOST_IP > /dev/null
    RESULT=$?
 
        if [ $RESULT -eq 0 ]; then
            break
        fi
 done < alt_speed_IP
 
if [ $RESULT -eq 0 ]; then
    echo "At least 1 computer on, set alt speed"
    transmission-remote -as
else  
    echo "no computer on, max speed"
    transmission-remote -AS
fi

Ce script attend un fichier alt_speed_IP contenant un liste d’adresse IP à surveiller (1 par ligne)

Pour chacun des adresses IP il essai de les pinguer, si au moins une adresse répond c’est qu’au moins un ordinateur de « bureau » est allumé et qu’il faut mettre Transmission en mode tortue pour préserver la bande passante.

Si au terme du ping de toutes les adresse du fichier alt_speed_IP aucun ordinateur n’a répondu Transmission peut repasser en mode normal.

Le changement de mode se fait avec la commande tranmission-remote du paquet transmission-cli…

Source :

Image par Stephen D’Agostino – its time to organize a show sous CC BY-NC-ND

J’ai aussi installé logrotate sur mon serveur, outil qui permet de faire tourner et d’archiver les fichiers de logs

Pour que les 2 fonctionnent ensemble il faut ajouter une configuration dans logrotate pour qu’il prennent en compte NGINX, ce dernier n’étant pas reconnu par logrotate lors de son installation.

Il faut donc créer un fichier nginx sous /etc/logrotate.d/ et y coller ceci (à adapter) :

/var/log/nginx/*.log {
	#rotate the logfile(s) daily
	daily
	# adds extension like YYYYMMDD instead of simply adding a number
	dateext
	# If log file is missing, go on to next one without issuing an error msg
	missingok
	# Save logfiles for the last 10 days
	rotate 10
	# Old versions of log files are compressed with gzip
	compress
	# Postpone compression of the previous log file to the next rotation cycle
	delaycompress
	# Do not rotate the log if it is empty
	notifempty
	#after logfile is rotated and nginx.pid exists, send the USR1 signal
	postrotate
		[ ! -f /var/run/nginx.pid  ] || kill -USR1 `cat /var/run/nginx.pid`
	endscript
}

C’est la directive postrotate qui est spécifique à NGINX et qui est importante : une fois les log tournées / archivées on lance un signal d’arrêt à NGINX pour qu’il recrée les fichiers de logs.

On testera la configuration avec la commande :

sudo logrotate -d /etc/logrotate.d/nginx

Voila pour le paramétrage de base.

J’y ai personnellement ajouté l’appel à un script de mon crû avant que logrotate ne fasse tourner les logs.

Ce script analyse les logs d’accès de NGINX et effectue une petite analyse des IPs et des utilisateurs qui se connectent :

#!/bin/bash
cd $(dirname "${0}")
log=[nom et chemin du fichier log]
 
date > $log
echo -e "\n"  >> $log
 
for file in /var/log/nginx/*access.log
do
     echo ${file} >> $log
 
     echo -e "\nNb accès par IP" >> $log
     cat ${file} | awk '{print $1}' | sort | uniq -c  >> $log
     sed -i 's/\(81..125.231.15$\)/\1 : Travail/' $log
     sed -i 's/\(89.5.45.52$\)/\1 : Maison/'  $log
 
     echo -e "\nNb accès par utilisateur" >> $log
     cat ${file} | awk '{print $3}' | sort | uniq -c >> $log
 
     echo -e "\n-------------------------\n" >> $log
done

qui produit ce genre de rapport :

jeudi 14 avril 2011, 13:35:21 (UTC+0200)
 
/var/log/nginx/access.log
 
Nb accès par IP
1 121.162.199.215
6 192.168.1.100 : Maison
1 208.80.194.29
1 222.187.222.26
 
Nb accès par utilisateur
4 -
5 mon_utilisateur
 
-------------------------
/var/log/nginx/xxxx.access.log
 
Nb accès par IP
250 125.54.42.12
 
Nb accès par utilisateur
250 utilisateur2
-------------------------
/var/log/nginx/yyyy.access.log
Nb accès par IP
Nb accès par utilisateur
-------------------------

Pour prendre en compte ce script et le faire exécuter j’ai ajouté les directives suivantes au fichier nginx de logrotate  :

# scripts are runned only once
sharedscripts
 
# before rotation log are analyzed
prerotate
    /chemin/statistiques_nginx.sh
endscript

Ainsi avant de faire tourner les logs NGINX logrotate exécute une seule fois le script que j’ai nommé statistiques_nginx.sh. Ce dernier produit un rapport que je m’envoie par email (via un autre script)

A noter qu’il existe des solutions clé en main et beaucoup plus évoluées, complètes d’analyse et de statistiques pour les logs des serveurs Web (voir dans les sources), mais cela me semble un peu trop pour mon usage.

Sources :

Logrotate :

• nginx logrotate config
• nginx log rotation
• How To Configure Logrotate Nginx Log in FreeBSD and Linux Machine.

Autres solutions de rotation des logs :

• Proper way to rotate Nginx logs
• Nginx and Cronolog

Script analyse des logs :

• HOWTO sort web-server logs to find top users
• Shell Script List All Top IP Address Accessing Apache / Lighttpd

Analyse des logs plus évoluées :

• Analysis access logs of Nginx by awstats
• nginx log rotation and analysis with webalizer
• w3perl
• awstats

Transmission supporte évidemment les blocklists, mais la liste utilisée n’est pas paramétrable, Transmission télécharge une liste de niveau 1 sur son URL mirroir

De plus la mise à jour de la liste n’est pas automatique. Sur le client lourd (transmission GTK) il existe un bouton permettant de mettre à jour la liste, mais évidemment sur le démon il n’ya pas de bouton.

Nous allons donc voir comment dans un premier temps mettre à jour la liste lorsque l’on utilise le démon puis ensuite comment utiliser des listes personnalisées et les mettre à jour automatiquement…

Dans les 2 cas il faut que le paramètre blocklist-enabled soit positionné à true dans votre fichier settings.json

Pour mettre à jour la liste de blocage Transmission lorsqu’on utilise le démon il faut passer par le commande transmission-remote du paquet transmission-cli :

#! /bin/sh
username='username'
password='password'
transmission-remote --auth $username:$password --blocklist-update
sudo /etc/init.d/transmission-daemon restart

A la fin on re-démarre le démon pour qu’il prenne ne compte la nouvelle liste, si comme moi vous utilisez sudo et que vous exécutez ce script avec votre utilisateur il faudra autoriser la commande de re-démarrage dans votre sudoer (voir en fin de éème solution)

Il suffira alors de mettre ce script dans une tache cron et le tour est joué…

Rque : comme ce script contient les login et mot de passe en clair de transmission RPC il conviendra de restreindre ses droits d’accès (chmod 700 script.sh)

Je n’ai pas testé ce script puisque j’utilise la deuxième solution qui consiste à gérer la mise à jour et l’origine de la liste de blocage :

#!/bin/bash
# Télécharge des blockslist à partir de http://iblocklist.com/lists.php
# et les intégre dans le répertoire de Transmission
# répertoire de travail
 
# répertoire de travail / temporaire
travail=$HOME/tmp/blocklists
# réperoire où Transmission stock les fichiers blocklist
transmissionBlocklist=$HOME/.config/transmission-daemon/blocklists
 
echo -e "******** Compilation d'une Bloclist pour Transmissionbt ***********"
 
if [ -e $travail ]; then
    echo -e "Répertoire de travail $travail "
else
    mkdir $travail
fi
rm $travail/*
 
#récupération des fichiers http://iblocklist.com/lists.php
echo -e "\n********* Téléchargements des listes de blocage *******************"
wget http://list.iblocklist.com/?list=bt_level1 -O $travail/bt_level1.gz
wget http://list.iblocklist.com/?list=bt_level2 -O $travail/bt_level2.gz
 
#décompression
echo -e "\n********* Décompression des listes téléchargées *******************"
gunzip -v $travail/*.gz
 
#concaténer les fichiers
echo -e "\n********* Création d'une seule liste sans redondance des données **"
echo -e "traitement en cours ...Patientez SVP..."
cd $travail
list1=$(ls) && sort -u $list1 >> blocklist &&
cd -
 
#Déplacement du fichier blocklist dans le répertoire de Transmission
echo -e "\n********* Déplacement de la Blocklist *****************************"
if [ -d $transmissionBlocklist ] ;then
    echo -e "Copie de sauvegarde de l'ancien fichier"
    mv -f $transmissionBlocklist/blocklist $travail/blocklist.bak
    echo -e "Déplacement du nouveau fichier dans le répertoire de Transmission"
    mv -f $travail/blocklist $transmissionBlocklist
fi
 
# Rechargement de Transmission
echo -e "Rechargement de la configuration de Transmission"
sudo /etc/init.d/transmission-deamon reload
ls $transmissionBlocklist/blocklist > /dev/null 2>&1
if [ $? -eq 0 ]; then
    echo -e "\n*********** Opération terminée ************************************"
else
    echo -e "\n *** KO **** !! Le fichier bloklist est vide !! *** KO *** "
fi

Le script télécharge les listes voulues (ici les niveaux 1 et 2), les dézippe et les concatène en excluant les doublons, la liste résultante est ensuite copié dans le répertoire utilisé par Transmission et le démon est rechargé.

Comme indiqué précédemment pour que la commande de rechargement du démon puisse être exécuté via sudo sans demande de mot de passe il faut modifier le sudoer ce qui se fait en lançant la commande

sudo visudo

Et en ajoutant une ligne du type :

mon_utilisateur ALL= NOPASSWD: /etc/init.d/transmission-daemon

De même que pour la première solution on mettra ce script dans une tache cron (à la semaine par exemple)

Pour finir quelques mots sur les listes de blocage.

Transmission supporte les formats P2P Plaintext (Nom:IP_Début:IP_Fin) et DAT (format binaire non éditable)

On pourra trouver des listes de blocage P2P sur les sites suivants :

• http://tbg.iblocklist.com/
• http://iblocklist.com/

On recommande la liste de iblocklist de niveau 1 (IP impliqués dans la lutte contre le piratage)  en général et la liste de niveau 2 (IP des sociétés en général, des laboratoires et proxy) éventuellement.

Edit : 31/05/2011 : correction la variable d’environnement $USER n’est pas connu dans CRON, utilisation de $HOME à la place (mieux en plus)

Sources :

• Papillon-butineur: Blocklists avec Transmission : source du script initial que j’ai modifié
• Blocklists – Transmission : documentation officielle sur les blocklist
• Scripts/BlockListUpdater – Transmission : script de mise à jour des blocklist (beaucoup moins évolué que celui de papillon-butineur)
• Random Stuff: Automatically update Transmission’s block list : Script moins complet
• transmission-remote and blocklist-update : script pour mettre à jour la blocklist

Image par Lou Ect sous CC BY-NC-ND

Le but est ici d’installer le client torrent Transmission et de le paramétrer sur une machine headless (pas d’interface graphique, pas d’écran, accessible par SSH) comme le Dockstar

Installation

Pour installer Transmission, simple comme d’habitude :

sudo aptitude install transmission-daemon transmission-cli

Le paquet transmission-daemon installe le démon (service) comme son nom l’indique et met à disposition l’interface Web, transmission-cli n’est à proprement parler pas nécessaire pour le fonctionnement de transmission, il met à disposition l’utilitaire transmission-remote très pratique pour interagir avec Transmission par script (pratique pour automatiser certaines taches que je décrirais dans une autre article)

Paramétrage

Tout d’abord avant d’attaquer la configuration proprement dite de Transmission, on va créer les répertoires destinés à accueillir et classer les fichiers.

Chez tout est rangé dans un répertoire /data/downloads/torrents, ce dernier contient 4 sous-répertoires :

• watch : répertoire surveillé par Transmission, tout fichier .torrent placé ici sera automatiquement ajouté à Transmission et le téléchargement débutera
• downloading : répertoire contenant les fichiers en cours de téléchargement (fichiers renommés avec l’extension .part car incomplets)
• seeding : les fichiers une fois finis de téléchargés seront déplacés ici et y resteront tout le temps qu’il seront en partage (jusqu’a ce que le ratio soit atteint)
• complete : les fichiers téléchargés ayant atteint le ratio de partage seront déplacés ici (pas réalisé par Transmission mais par script, objet d’un autre article)

Le paramétrage du démon Transmission se fait dans un fichier settings.json.

Par défaut sous Debian, Transmission est lancé avec un utilisateur debian-transmission mais il est peut être intéressant de changer cet utilisateur par son propre utilisateur et de déplacer le fichier de configuration de /etc/transmission-daemon vers le répertoire $HOME de cet utilisateur, pour cela se reporter à Exécuter Transmission avec l’utilisateur de son choix et déplacer son fichier de configuration vers $HOME

Avant d’éditer le fichier de configuration il est important d’arrêter le démon, ce dernier écrivant sa configuration à son arrêt vous risqueriez de perdre votre paramétrage.

Éditez votre fichier de configuration /etc/transmission-daemon/settings.json ou $HOME/.config/transmission-daemon/settings.json ce dernier au format JSON contient un ensemble de pair clé/valeur :

{
 "alt-speed-down": 50,
 "alt-speed-enabled": false,
 "alt-speed-time-begin": 540,
 ...
 "upload-limit-enabled": 0,
 "upload-slots-per-torrent": 4
}

La description des ces paramètres est disponible sur le Wiki de Transmission (EditConfigFiles – Transmission), mais voici ma traduction de ceux que j’utilise classés par catégories :

Répertoires :

Conformément à la structure de répertoire décrite ci-dessus on réalise le paramétrage suivant.

• incomplete-dir : « /data/downloads/torrents/downloading »
• incomplete-dir-enabled : true
• download-dir : « /data/downloads/torrents/seeding »
• watch-dir : « /data/downloads/torrents/watch »
• watch-dir-enabled : true

incomplete-dir indique le répertoire où sont stockés les fichiers en cours de téléchargement et incomplete-dir-enabled active cette fonctionnalité (sinon ces fichiers sont stockés dans le répertoire download-dir)

download-dir contient le répertoire où sont stockés les fichiers en cours de partage et terminés (nous verrons dans un autre article comment déplacer les fichier terminés vers un autre répertoire)

watch-dir contient le répertoire scruté pour ajout automatique de téléchargement par dépôt de fichier .torrent (fonctionnalité activé par watch-dir-enabled)

Quelques paramétrages associés :

• start-added-torrents : true
• trash-original-torrent-files : true
• rename-partial-files : true

start-added-torrents, indique qu’il faut directement démarrer le téléchargement de torrents ajoutés.

trash-original-torrent-files supprime les fichiers .torrent du répertoire watch-dir après qu’ils aient été pris en compte

rename-partial-files indique que les fichiers encours de téléchargement doivent avoir une extension .part. Pas utile dans mon cas puisque ces derniers sont déjà dans une répertoire à part, mais cela ne fait pas de mal.

Réseau :

• peer-port : xxx
• peer-port-random-high : 65535
• peer-port-random-low : 49152
• peer-port-random-on-start : false

peer-port contient le port d’écoute de Transmission, il faut que ce port soit ouvert sur votre routeur, peer-port-random-on-start indique que Transmission ne choisi aps son port de façon aléatoire et écoute donc toujours sur le port peer-port. Dès lors les paramètres peer-port-random-high et peer-port-random-low sont inutiles

Partage :

• ratio-limit : 1.0000
• ratio-limit-enabled : true

Transmission partage le fichiers jusqu’à ce que le ratio (quantité téléchargée / quantité partagée) paramétré dans ratio-limit soit atteint (ratio-limit-enabled : activation de la fonctionnalité)

Si on laisse ratio-limit-enabled: false, Transmission ignorera le paramètre ratio-limit et partagera le fichier infiniment (enfin jusqu’à ce que vous l’enleviez)

Un ratio de 1 est un minimum, car il indique que vous partagez autant que vous téléchargez

Accès distant :

• rpc-authentication-required : true
• rpc-bind-address : « 0.0.0.0″
• rpc-enabled : true
• rpc-password : « xxxx »
• rpc-port : 9091
• rpc-username : « xxxx »
• rpc-whitelist : « 127.0.0.1″
• rpc-whitelist-enabled : false

RPC veut dire Remote Procedure Call autrement dit cela permet l’accès à distance à un service. Dans le cas de Transmission cela paramétre l’accès au démon par l’interface Web (fournis par défaut avec le démon) mais aussi à tous les autres services distants (par exemple client lourd distant transmission-remote-gui)

On active le service avec rpc-enabled et on active la connexion par login / mot de passe (rpc-authentication-required / rpc-username / rpc-password)

Concernant rpc-password on met le mot de passe en clair et lors de la prise en compte du fichier de configuration par Transmission ce dernier crypte le mot de passe

rpc-port défini le port d’écoute, ainsi si on saisie dans la barre d’adresse de son navigateur l’adresse IP du serveur hébergeant Transmission sur la port 9091 on arrive sur l’interface Web.

Enfin il est possible de paramétrer une liste d’adresse IP autorisé à se connecter en RPC avec les options rpc-whitelist-enabled et rpc-whitelist. Je n’utilise pour l’instant pas cette option.

Vitesses :

Sur Transmission il est possible de gérer 2 modes de vitesse (normal et alternatif : alt)  et ce pour le téléchargement et l’upload.

La bascule entre ces 2 modes est aussi paramétrable selon les jours et les heures.

Concrètement on peut déterminer d’avoir ou pas de limite de vitesse en mode normal et d’autres limites de vitesse (ou pas) dans le mode alternatif.

Dans l’exemple suivant en mode normal il n’y aucune limite de vitesse ni en téléchargement speed-limit-down-enabled  (dès lors speed-limit-down est inutile) ni en upload speed-limit-up (speed-limit-up-enabled inutile).

Par contre on active le mode alternatif (alt-speed-enabled) et sa planification (alt-speed-time-enabled).

Entre 9h du matin (alt-speed-time-begin, 540 nombre minute depuis minuit = 9*60) et 23h (alt-speed-time-end, 1380 = 23*60 minutes) tous les jours de la semaine (cf. Scheduling) on limite le téléchargement (alt-speed-down) et l’upload (alt-speed-up)

Dès lors la bande passante est préservée durant les heures « d’éveil » rendant possible/agréable la navigation sur Internet tandis que durant la nuit Transmission télécharge à fond….

• speed-limit-down : 100
• speed-limit-down-enabled : false
• speed-limit-up : 40
• speed-limit-up-enabled : false
• alt-speed-down : 50
• alt-speed-enabled : true
• alt-speed-time-begin : 540
• alt-speed-time-day : 127
• alt-speed-time-enabled : true
• alt-speed-time-end : 1380
• alt-speed-up : 50

On verra dans un prochain article comment rendre ce système de mode normal / alternatif encore plus performant en ne le planifiant pas mais en basculant entres les 2 modes selon le besoin…

Sécurité :

• blocklist-enabled : true

Active le blocage des adresse IP, Transmission télécharge à intervalle régulier la liste des adresses IP de niveau 1 appartenant à des sociétés et des associations et les bloquent.

Inutile quand on a rien a se reprocher…

Autres paramétrages non utilisés :

• bind-address-ipv4 : « 0.0.0.0″
• bind-address-ipv6 : « :: »
• dht-enabled : true
• encryption : 1
• lazy-bitfield-enabled : true
• lpd-enabled : false
• message-level : 2
• open-file-limit : 32
• peer-limit-global : 240
• peer-limit-per-torrent : 60
• peer-socket-tos : 0
• pex-enabled : true
• port-forwarding-enabled : false
• preallocation : 1
• proxy : «  »
• proxy-auth-enabled : false
• proxy-auth-password : «  »
• proxy-auth-username : «  »
• proxy-enabled : false
• proxy-port : 80
• proxy-type : 0
• script-torrent-done-enabled : false
• script-torrent-done-filename : «  »
• upload-slots-per-torrent : 4
• umask : 18 (en décimal = 22 en octal)

Il y a même des paramètres qui sont obsolètes car remplacés par d’autres

• download-limit : 100
• download-limit-enabled : 0
• upload-limit : 100
• upload-limit-enabled : 0
• max-peers-global : 200

Sources :

• Transmission : Site officiel
• Transmission : Liste de plugins sur le site officiel
• EditConfigFiles – Transmission : Description des option du fichier settings.json sur le site officiel
• Updated: Transmission Installation/Configuration on Ubuntu Server – 1000umbrellas.com : Exemple de configuration et manipulations à effectuer sur les répertoires accueillant les torrents si vous laissez Transmission tourner avec l’utilisateur debian-transmission
• devINSIDE :: Blog :: Installer et configurer le package transmission-daemon sous debian : configuration de base + interaction avec un Vhost apache (intérêt ?)
• Installation Transmission daemon sur Ubuntu Server « Realpeace’s Blog : installation et configuration + quelques clients Transmission
• HaHadopi » Transmission-daemon sur sa seedbox : installation et configuration
• Configurer Transmission pour l’access a distance (CLI) | Shtark.fr : installation et configuration

Pour l’installer il suffit d’ajouter le paquet bwm-ng et pour le lancer on lance la commande du même nom (bwm-ng)

Très pratique dans mon cas pour connaitre la vitesse de transfert réseau entre mon Dockstar et ma Freebox lors d’une grosse copie que je trouvais particulièrement lente (et pour cause 2.5 Mo/s)

Sur mon Dockstar j’ai donc installé Transmission (je réaliserais un article complet bientôt).

Par défaut sous Debian, Transmission tourne avec le compte debian-transmission donc tous les fichiers téléchargés auront comme propriétaire ce compte ce qui peut poser des problème d’accès.

On peut palier à ce problème en jouant avec les groupes et les droits sur les fichiers / répertoires mais je préfère faire tourner Transmission avec mon utilisateur directement.

Ci-dessous le cheminement et les explications qui m’ont permis de trouver la configuration à appliquer, si vous voulez directement aller aux paramétrages, c’est ici que cela se passe.

Transmission est lancé (toujours sous Debian) via un script d’init qui contient le nom de l’utilisateur devant lancer le service :

cat /etc/init.d/transmission-daemon | grep 'USER'
debian-transmission

En première approche on se dit donc qu’il suffit de changer cette variable avec son utilisateur, mais en réalité ce n’est pas si simple car notre utilisateur n’a pas les droits d’accès sur le fichier de configuration de Transmission :

ls -l /etc/transmission-daemon/
 total 8,0K
 -rw-r--r-- 1 root                root                 302 18/10/2010 00:16 README.json
 -rw------- 1 debian-transmission debian-transmission 2,1K 15/05/2011 22:36 settings.json

On peut en 2ème pensée se dire que l’on change les droits sur ce fichier pour que son propriétaire soit notre utilisateur. Cela marcherait mais c’est crade…

Le plus élégant consiste à faire en sorte que Transmission utilise un autre fichier de configuration qui serait placé dans le HOME de notre utilisateur, d’autant que sur le Wiki de Transmission il est indiqué que le démon va lire sa configuration dans $HOME/.config/transmission-daemon

Tout d’abord pourquoi Transmission va lire sa configuration dans /etc/transmission-daemon/ ?

Si on lance htop, on constate que Transmission est lancé avec une option –config-dir :

/usr/bin/transmission-daemon --config-dir=/var/lib/transmission-daemon/info/

Si on va voir dans le répertoire sus-mentionné on constate alors que le fichier setting.json est un lien symbolique vers celui présent dans /etc/transmission-daemon/ :

ls -la /var/lib/transmission-daemon/info/
lrwxrwxrwx 1 root                root                  38 15/05/2011  22:19 settings.json -> /etc/transmission-daemon/settings.json

Voila pour le pourquoi, maintenant comment modifier ce comportement ?

Le script d’init étant bien fait il utilise un fichier default qui est inclus et qui défini une variable OPTIONS qui contient l’argument –config-dir.

Si on édite le fichier default de Transmission et que l’on supprime la variable OPTIONS, Transmission retrouvera son comportement par défaut et cherchera sa configuration d’abord dans le HOME de l’utilisateur puis ensuite dans /etc/transmission-daemon.

Donc pour changer l’utilisateur par défaut et « déplacer » son fichier de configuration voici les étapes du paramétrage.

Stopper Transmission :

sudo /etc/init.d/transmission-daemon stop

Éditer le fichier default du script d’init :

sudo vim /etc/default/transmission-daemon

Mettre la ligne OPTIONS en commentaire :

#OPTIONS="--config-dir $CONFIG_DIR"

Éditer le script d’init

sudo vim /etc/init.d/transmission-daemon

Changer l’utilisateur démarrant le service en modifiant la ligne USER :

USER=mon_utilisateur #debian-transmission

Copier le fichier de configuration vers le HOME de notre utilisateur (et mettre à jour les droits) :

mkdir -p $HOME/.config/transmission-daemon
sudo cp /etc/transmission-daemon/settings.json $HOME/.config/transmission-daemon/
sudo chown mon_utilisateur:mon_utilisateur $HOME/.config/transmission-daemon/ -R

Modifier éventuellement la configuration

Re-démarrer Transmission

sudo /etc/init.d/transmission-daemon start

Source :

• Transmission : Site officiel
• Updated: Transmission Installation/Configuration on Ubuntu Server – 1000umbrellas.com : Exemple de configuration et manipulations à effectuer sur les répertoires accueillant les torrents si vous laissez Transmission tourner avec l’utilisateur debian-transmission
• devINSIDE :: Blog :: Installer et configurer le package transmission-daemon sous debian : configuration de base + interaction avec un Vhost apache (intérêt ?)
• Installation Transmission daemon sur Ubuntu Server « Realpeace’s Blog : installation et configuration + quelques clients Transmission
• HaHadopi » Transmission-daemon sur sa seedbox : installation et configuration
• Configurer Transmission pour l’access a distance (CLI) | Shtark.fr : installation et configuration

Photo par Jesper2cv sous CC BY-ND

Pour l’instant j’utilise NGINX uniquement pour servir du contenu privé protégé par mot de passe, je n’ai donc que peu accentué mon paramétrage sur la sécurité.

Paramétrage du nombre de process

Dans son article Seagate DockStar : 1er mois d’exploitation Vincent Rabah indique qu’il a paramétré son Dockstar qui héberge son blog avec 3 workers process nginx et 5 cgi children process.

Par contre dans l’article nginx: configuration complète | Shtark.fr il est conseillé de ne pas dépasser 2 pour les worker process.

J’ai pour ma part choisi peu de process car de toute façon mon serveur NGINX sera peu sollicité car utilisé que par un nombre restreint d’utilisateurs :

• 2 workers process nginx (paramétré dans /etc/nginx/nginx.conf)
• 2 cgi children process (paramétré dans /etc/init.d/php5-fcgi)

Compression gzip

Sous apache il s’agit du module deflate sous NGINX il s’appelle  HTTP gzip.

La configuration se fait dans /etc/nginx/nginx.conf :

gzip            on;
# désactivation de la compression pour les navigateur ne la prenant pas en charge (IE < 6)
gzip_disable    "MSIE [1-6].(?!.*SV1)";
gzip_vary       on;
gzip_comp_level 3;
gzip_proxied    any;
gzip_buffers    16 8k;
gzip_types text/plain text/html text/css application/json  application/x-javascript text/xml application/xml application/xml+rss  text/javascript;

Pour le détail des différentes directive se reporter au manuel NGINX pour HttpGzipModule

La dernière directive (gzip_types) indique les types de fichiers servis par NGINX qui peuvent prétendre à la compression GZIP, c’est à dire tous les ficheirs de type texte pour lesquels la compression sera effective (il est inutile de compression une image jpeg qui est déjà compressée)

Cette directive est importante parce que par défaut seul le type mime text/html est paramétré (pas les css ni les js).

Le réglage peut se faire sur la directive gzip_comp_level qui permet de régler le taux de compression (entre 1 et 9), trop faible la compression ne sera pas très importante et trop élevé elle consommera des ressource lors de l’envoi des données

On peut connaitre le taux de compression via le site http://www.whatsmyip.org/http_compression/qui outre le fait d’indiquer si votre navigateur réclame du contenu compressé :

Indique le taux de compression pour une page donnée :

Mise en cache client des ressources statiques

Il s’agit d’une directive indiquant au navigateur du client de mettre en cache les ressources statique que l’on défini (fichiers images, js, etc.).

Ainsi si l’utilisateur retourne une nouvelle fois sur la page/site le navigateur affichera la ressources statique qu’il a en cache au lei de la redemander au serveur Web.

Mon installation à partir du script de Nicolargo, positionne la directive expires dans le default-site pour les ressources statiques :

location ~* ^.+\.(jpg|jpeg|gif|css|png|js|xml)$ {
	expires 	30d;
	access_log	off;
}

Le gain est très important et peu être visible avec le site http://www.webpagetest.org/ qui permet d’analyser le temps de chargement d’une page.

Le site réalise 2 chargements successifs de la même page et le gain est flagrant (test fait sur une page contenant beaucoup d’images) :

Modification de la signature du serveur

Dans les en-têtes HTTP et les pages d’erreur NGINX indique son nom et la version utilisée:

Cela facilite le travail des pirates qui peuvent cibler les serveurs/versions présentant une faille de sécurité.

La signature du serveur sera donc réduite à “nginx” avec la directive server_tokens à off :

Fichiers de log

Afin de surveiller plus précisément les accès aux différents service privés que mon Dockstar héberge j’ai choisi de faire un fichier de log d’accès par service/répertoire/location.

J’ai donc une ligne access_log dans chacun de mes blocs location :

location images/ {
	...
	access_log	/var/log/nginx/images.access.log;
	...
}

Je n’ai pas personnalisé le format des logs par défaut (nommé combined) avec la directive log_format.

Ce format le voici :

log_format combined '$remote_addr - $remote_user [$time_local]  '
                    '"$request" $status $body_bytes_sent '
                    '"$http_referer" "$http_user_agent"';

Ce qui donne par exemple :

192.168.1.254 - user [11/Apr/2011:21:56:29 +0200] "GET /test/phpinfo.php HTTP/1.1" 200 9766 "http://www.monDomaine.fr/test/" "Mozilla/5.0 (X11; Linux i686; rv:2.0) Gecko/20100101 Firefox/4.0"

Pour finir avec les logs à noter qu’il est possible de spécifier sur les logs d’erreur le niveau de détail avec la directive error_log :

error_log  /logs/nginx_error.log  warn;

Le niveaux sont debug | info | notice | warn | error | crit | alert | emerg | off

Par défaut le niveau est warn.

Divers

Favicon et 404

Lorsque l’on a pas de Favicon sur son site NGINX log régulièrement des Erreurs HTTP 404

Pour y remédier il suffit d’ajouter ceci dans sa configuration :

location = /favicon.ico {
 access_log       off;
 return   204;
 }

A voir : Boost your nginx web server performance by rewriting favicon.ico requests correctly

Configurations communes

Pour mutualiser divers éléments de configuration sur les différents site hébergé par mon serveur NGINX, j’ai créé un fichier /etc/nginx/common.conf contenant ces configurations.

# Sécurité : les fichiers en .ht sont interdits d'accès
 location ~ /\.ht {
 deny  all;
 }
 
# Erreur 404 sur Favicon
 location = /favicon.ico {
 access_log       off;
 return   204;
 }
 
# Mise ne cache des ressources statiques
location ~* ^.+\.(jpg|jpeg|gif|css|png|js|xml)$ {
 expires         30d;
 access_log      off;
 }

Il me suffit ensuite d’inclure ce fichier dans la configuration de chacun de mes sites :

include /etc/nginx/common.conf;

Redirection sous domaine

Pour faire une redirection d’un sous-répertoire du domaine parent vers son propre sous-domaine voici la configuration utilisée.

Par exemple pour rediriger http://www.mondomaine.fr/application vers http://application.mondomaine.fr :

location /application {
 rewrite ^/application/?(.*) $scheme://application.mondomaine.fr/$1 permanent;
 }

Autres paramétrages pas encore effectués

(et peut être jamais effectués sur le Dockstar)

• Personnalisation des pages d’erreurs (4xx, 5xx) : nginx: configuration complète | Shtark.fr
• Utilisation d’un socket Unix pour la communication NGINX – php fastcgi : je n’ai pas très bien compris l’utilité et l’intérêt de la chose : Nginx PHP Fastcgi avec socket Unix
• Mise en place d’un page de maintenance et configuration dans NGINX : nginx: configuration complète | Shtark.fr.
• Mise en cache du php compilé : Nginx fastcgi optimisation, PHP XCache
• Interdire l’accès au bots : nginx: configuration complète | Shtark.fr, Start django with nginx, Top 20 Nginx WebServer Best Security Practices (point #12)
• Sécurisation de NGINX : Nginx « how to » – Fast and Secure Web Server (nginx.conf) @ Calomel.org – Open Source Research and Reference et Top 20 Nginx WebServer Best Security Practices

Je devais alors choisir la langue de correction orthographique (clic droits dans la zone, Langues > Fançais /France)

Le problème c’est que cette manipulation n’était pas sauvegardée, j’étais obligé de la refaire à chaque démarrage de Firefox.

Pour corriger ce problème je me suis rendu sur la page de configuration de Firefox, pour cela saisir about:config dans la barre d’adresse et accepter l’avertissement de sécurité.

Filtrer les paramètres avec le mot-clé « spell », dans mon cas voici les paramètres correspondants au filtre :

Les lignes en gras indiquent les paramètres modifiées par rapport aux valeur par défaut.

J’ai ré-initialisé le paramètre spellchecking.dictionnary (ne me demandez pas pourquoi celle-ci) à sa valeur par défaut, pour cela clic droit sur la ligne, réinitialiser.

Le paramètre à alors pris la valeur »fr »

J’ai ensuite choisi la langue de correction orthographique « Fançais /France », clic droits dans une zone de texte, Langues > Fançais /France (cf. copie écran ci-dessus)

Les paramètres contenant « spell » avaient alors ces valeurs :

Et miracle au démarrage suivant de Firefox la langue de correction orthographique était encore le Français.

Rque : il doit être possible de corriger ce problème en éditant le fichier prefs.js présent dans son profil. En effet avant mes manipulations décrites ci-dessus il contenait les 2 lignes suivantes :

user_pref("spellchecker.dictionary", "en_US");
user_pref("spellchecking.dictionary", "fr_FR");

Et plus qu’une avec une valeur différente après les modifications :

user_pref("spellchecker.dictionary", "fr_FR");