Le problème :

• Accéder à un gestionnaire de fichier « graphique » sur un serveur headless
• Le tout depuis un Mac (déport d’affichage, X-forwarding)

Le serveur étant headless, il faut installer un gestionnaire de fichier ayant  le moins de dépendance possible (il ne doit pas installer tout Xorg/Gnome/KDE).
En voici quelques un :

• PCManFM : 51 dépendances, 39 Mo
• XFE : 75 dépendance, 67 Mo
• QtFM : 1 seul paquet (pas de dépendance), < 1 Mo, pas dans les dépôts
• emelFM2 : 1 seul paquet (pas de dépendance), < 2 Mo

(Cet article étant commencé depuis au moins 3 ans, le nombre de paquet et la taille de ces programmes à peut être changé)

Personnellement j’ai installé emelfm2.

Sur le serveur Linux toujours, s’assurer d’avoir xauth install et l’option X11Forwarding à yes dans /etc/ssh/sshd_config.

Sur le Mac, il faut installer XQuartz : https://www.xquartz.org/

Lancer XQuartz et dans le terminal qui s’ouvre lancer la commande :

ssh -X -Y -C -f  [utilisateur linux]@[serveur linux] emelfm2

Et voila…

Le contexte :

• Le serveur hôte est sous Ubuntu 14.04
• Le conteneur est aussi sous Ubuntu (template download, paramètres « -d ubuntu  -r trusty -a amd64″)
• Un périphérique USB est connecté sur l’hôte (un jeelink pour être précis) il apparait en tant que /dev/ttyUSB0
• Je veux monter ce périphérique dans le conteneur

En premier lieu on doit trouver le numéro majeur et mineur du périphérique USB, pour cela un simple ls suffit sur l’hôte :

$ sudo ls -la /dev/ttyUSB0
crw-rw---- 1 root dialout 188, 0 sept.  1 16:08 /dev/ttyUSB0

Le périphérique a ici le numéro 188,0

Il faut ensuite autoriser ce périphérique dans le conteneur (cgroups), cela se fait dans le fichier de config de ce dernier (/var/lib/lxc/[conteneur]/config).

On ajoute simplement la ligne suivante :

lxc.cgroup.devices.allow = c 188:0 rwm

On peut dès lors démarrer le conteneur et monter le périphérique dans le conteneur avec la commande suivante :

sudo lxc-device -n [conteneur] add /dev/ttyUSB0

C’est déjà pas mal mais on peut faire mieux et monter automatiquement le périphérique au démarrage du conteneur, pour cela au fichier de config du dit conteneur on ajoutera :

lxc.autodev = 1
lxc.hook.autodev=/var/lib/lxc/[conteneur]/autodev

On appelle un script (nommé autodev) en se branchant sur un hook de LXC, ce script contient les commandes nécessaire pour monter le périphérique :

#!/bin/bash
cd ${LXC_ROOTFS_MOUNT}/dev
mknod ttyUSB0 c 188 0
chmod 0666 ttyUSB0

Il faut rendre ce script exécutable :

$ sudo chmod +x /var/lib/lxc/[conteneur]/autodev

Et à chaque démarrage le script est joué (au bon moment) et le périphérique monté dans le conteneur.

Créer un fichier de type bloc simulant le disque manquant :

sudo dd if=/dev/zero of=/zfs1 bs=1 count=1 seek=1024G

(j’aurai tendance à dire que la taille du fichier, seek doit être égal à la taille du disque manquant, dans le pool ZFS, mais je n’ai pas testé plus que cela)

Création du pool ZFS miroir avec le disque que l’on a et le fichier bloc.

sudo zpool create -f tank mirror /zfs1 /dev/sdd

(si le pool existe déjà on utilisera la commande zpool add -f pour ajouter un nouveau miroir)

On enlève le périphérique bloc et on le supprime.

sudo zpool offline tank /zfs1
sudo rm /zfs1

Vérification :

sudo zpool status
 
  pool: tank
 state: DEGRADED
status: One or more devices has been taken offline by the administrator.
        Sufficient replicas exist for the pool to continue functioning in a
        degraded state.
action: Online the device using 'zpool online' or replace the device with
        'zpool replace'.
  scan:
config:
 
 NAME                                 STATE     READ WRITE CKSUM
 tank                                 DEGRADED     0     0     0
   mirror-0                           DEGRADED     0     0     0
     /zfs1                            OFFLINE      0     0     0
     sdd                              ONLINE       0     0     0

Le miroir est bien présent, le pool est dégradé car il manque un disque.

Rque : rien de bien révolutionnaire dans ce post, c’est plus un pense-bête pour moi (surtout la partie partitionnement)

Depuis cette page télécharger l’ISO du CD alternate (en 32 ou 64 bits au choix)

Créer une clé USB bootable d’installation depuis un autre poste Ubuntu (logiciel « Créateur de disques de démarrage ») ou graver l’ISO sur un CD

Booter le nouveau PC sur le CD ou la clé USB

Choisir la langue  : Français

Se placer sur la ligne « Installer Ubuntu », appuyer sur F4 et sélectionner « Installer un système en ligne de commande »

Répondre aux questions :

• Pays : France
• Détecter l’agencement du clavier : Non
• Pays d’origine du clavier : Français
• Disposition du clavier : Français – Français (variante)

L’installeur démarre et configure le réseau…

• Nom de la machine : narya
• Nom complet de l’utilisateur : …
• Identifiant de l’utilisateur : …
• Mot de passe : … (2 fois), si votre mot de passe est trop court/simple, l’installeur vous avertira et vous demandera si vous voulez l’utiliser tout de même.
• Chiffrer votre dossier personnel : Non
• Timezone : Europe / Paris – Is this timezone correct ? : Oui (cette écran à échappé à la traduction…)

Vient la partie la plus compliquée, le partitionnement.

• Choisir « Assisté – utiliser tout un disque avec LVM »
• « Disque à partitionner », sélectionner le disque (par précaution j’en ai mis qu’un…)
• « Les tables de partitions de périphérique suivants seront modifiées (…) Écrire les modifications sur les disques et configurer LVM » : Oui
• « Quantité d’espace sur le groupe de volume pour le partionnement assisté : [taille totale du disque] » : Continuer

Le programme de partition créé un volume avec l’espace total du disque et propose de créer 2 volumes logiques swap_1 et root, de les formater respectivement en swap et ext4.

On refuse cette répartition (sélectionner Non)

• Dans la fenêtre suivante, dans le menu sélectionner « Configurer le gestionnaire de volume logique (LVM) »
• Les tables de partitions de périphérique suivants seront modifiées (…) Écrire les modifications sur les disques et configurer LVM : Oui (de nouveau)
• Supprimer un volume logique, sélectionner le root qui prend toute la place

On peut alors créer chaque volume logique :

• Créer un volume logique
• Groupe de volume, sélectionner le seul existant
• Nom du volume logique : root
• Taille du volume logique : 10 GB

• Créer un volume logique
• Groupe de volume, sélectionner le seul existant
• Nom du volume logique : home
• Taille du volume logique : 50 GB

• Créer un volume logique
• Groupe de volume, sélectionner le seul existant
• Nom du volume logique : data
• Taille du volume logique : tout le reste

On sort alors du partitionnement LVM : Terminer

La liste des partitions LVM est alors affichée, on les sélectionne les une après les autres pour sélectionner le système de fichier (Utiliser comme) et le point de montage.

• 10GB           Système de fichier journalisé ext4          / Système de fichier racine
• 50 GB         Système de fichier journalisé ext4           /home Répertoires personnels des utilisateurs
• 1.9 TB          Système de fichier journalisé ext4          Autre : /data

Terminer le partitionnement et appliquer les changements

L’écran suivant récapitule les partitions, « Faut il appliquer les changements sur le disque » : Oui

Le formattage des partitions commence puis l’installation proprement dite.

Au bout d’un certain temps, lorsque l’installation est terminée, on une nouvelle série de questions :

• Installer le programme de démarrage GRUB sur le secteur d’amorçage : Oui
• L’horloge système est elle à l’heure universelle UTC : Oui

Retire le CD lorsque c’est indiqué et « Continuer », le système reboot

Ajout du ppa virtualbox :

sudo vim /etc/apt/source.list.d/virtualbox.list

Y copier la ligne correspondant à votre version d’Ubuntu, dans mon cas la 12.04 :

deb http://download.virtualbox.org/virtualbox/debian precise contrib

Liste complète ici

Ajout de la clé virtualbox et installation :

wget -q http://download.virtualbox.org/virtualbox/debian/oracle_vbox.asc -O- | sudo apt-key add -
sudo aptitude update
sudo aptitude install linux-headers-$(uname -r) build-essential virtualbox-4.2 dkms --without-recommends

Installation des additions clientes :

wget http://download.virtualbox.org/virtualbox/4.2.4/Oracle_VM_VirtualBox_Extension_Pack-4.2.4-81684.vbox-extpack
sudo VBoxManage extpack install Oracle_VM_VirtualBox_Extension_Pack-4.2.4-81684.vbox-extpack

Et voila virtualbox est installé, on pourrait s’arrêter ici et le commander en ligne de commande, mais pour plus de facilité on va installer phpvirtualbox qui comme son nom l’indique permet de piloter virtualbox via une interface web.

On partira du principe que vous avez déjà un serveur web (Nginx en l’occurrence, voir Installer Nginx, Paramétrer Nginx).

On pourra s’assurer que les paquet suivant sont installés :

php5-suhosin php-pear unzip

On va tout d’abord créer un utilisateur spécifique qui exécutera le service Vboxweb-service :

useradd -d /home/vbox -m -g vboxusers -s /bin/bash vbox
passwd vbox

On configure virtualbox pour lui indiquer que l’on doit utiliser l’utilisateur que l’on vient de créer :

vim /etc/default/virtuabox

On ajoute :

VBOXWEB_USER=vbox

On installe le service vboxweb-service et on le démarre :

update-rc.d vboxweb-service defaults 
/etc/init.d/vboxweb-service start

On récupère le code de phpvirtualbox et on l’installe :

cd /var/www/localhost
wget http://phpvirtualbox.googlecode.com/files/phpvirtualbox-4.2-4.zip
unzip phpvirtualbox-4.2-4.zip
mv phpvirtualbox-4.2-4 phpvirtualbox

Configuration de phpvirtualbox :

cd /var/www/localhost/phpvirtualbox/
cp config.php-example config.php
vim config.php

Et on modifiera les 2 lignes suivantes :

var $username = 'vbox';
var $password = '[Mot de passe de l'utilisateur vbox]';

Enfin en bonus voici ma config nginx :

server {
 listen       80;
 server_name  localhost, [IP locale];
 root         /var/www/localhost/phpvirtualbox;
 
 include         /etc/nginx/common.conf ;
 index           index.html index.php;
 access_log      /var/log/nginx/localhost.access.log;
 
 location ~ \.php$ {
 include         /etc/nginx/fastcgi_params;
 fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
 fastcgi_pass    127.0.0.1:9000;
 }
}

On peut dès lors se connecter sur son serveur (login et mot de passe par défaut de phpvirtualbox : admin/admin)

A l’usage phpvirtualbox est comme virtualbox, c’en est bluffant.

Seul chose à savoir, lorsque l’on démarre une machine virtuel, on peut y accéder via l’onglet « Console » mais il faut changer l’adresse de connexion de null:9001 (ou tout autre port) en [IP locale du serveur virtualbox]:9001.

Enfin plus pratique que l’onglet console, on pourra utiliser rdestop sous Ubuntu (là aussi l’accès se fait via : [IP locale du serveur virtualbox]:9001.)

Sources :

http://www.howtoforge.com/vboxheadless-running-virtual-machines-with-virtualbox-4.1-on-a-headless-ubuntu-12.04-server

http://www.vionblog.com/virtualbox-4-2-and-phpvirtualbox-on-debian/

http://www.howtoforge.com/managing-a-headless-virtualbox-installation-with-phpvirtualbox-on-nginx-ubuntu-12.04

Depuis  la 12.04 lorsque je regardais une vidéo Youtube par exemple j’avais ça :

Nixie Pixel à plutôt un vilain teint, le problème vient d’un bug dans le plugin Flash sous Linux avec les carte graphique nVidia et l’accélération matériel d’activé.

Il existe divers contournements plus ou moins heureux et plus ou moins efficace.

Après avoir étudié le sujet j’ai choisi d’installer la librairie libvdpau1 patché :

<code>sudo add-apt-repository ppa:tikhonov/misc
sudo apt-get update
sudo apt-get install libvdpau1</code>

Et voila Nixie à meilleur teint :

Source : Flash video appears blue

Mieux vaut tard que jamais, j’ai découvert la série Bref ce week-end.

Cette série diffusé durant le grand-journal fait le buzz et est surtout très drôle, rythmé, bref superbe.

Par contre la regarder en direct pendant le grand journal, ce n’est pas possible pour moi, la regarder en différé sur le site de Canal+ non plus, il me fallait donc trouver un moyen pour la télécharger automatiquement et pouvoir la regarder tranquillement sur mon HTPC.

Il existe divers scripts et programmes pour télécharger les émissions de Canal+, je devais en trouver un qui fonctionne, qui puisse être planifié (exécuté tous les jours et qui garde en mémoire les épisode déjà téléchargés) et surtout headless (en ligne de commande).

Mon point de départ, ce thread d’Ubuntu-fr.org et j’ai trouvé mon bonheur en page 16 avec le script de vincentp010 (recopié en fin d’article)

Ce script en Python se base sur un tableau des ids des émissions à télécharger :

emissions=[
48,    # GUIGNOLS
252,   # SAV
254,   # GROLAND
201,   # ZAPPING
104,  # GRAND JOURNAL
249,  # PETIT JOURNAL
37,   # ACTION DISCRETE
39,   # LA MATINALE
47,   # PEPITES DU NET
62,   # LE BOUCAN DU JOUR
215,  # LE MEILLEUR DU HIER
]

Restait à trouver l’id de l’émission Bref.

Après quelques recherches infructueuses je suis tombé sur cette URL qui liste toutes les émissions de Canal+.

Bref à l’id 627, j’ai donc modifié le tableau émission ainsi :

emissions=[
627,    # BREF
]

Paramétré les chemins (penser à créer les répertoires) et nom de fichier :

homedir = os.path.expanduser('~/bin')
HISTORIQUE = homedir + "/.cplus_hist"
output_dir = "/data/downloads/videos/canalplus"

Installé flvstreamer :

sudo aptitude install flvstreamer

Pour finir le script est planifié en crontab et le boulot est fait….

Script de téléchargement des séries Canal+ de vincentp010 :

#!/usr/bin/python
# -*- coding:Utf-8 -*-
 
###########################################################################
# Copyright (C) 2010  La_Poigne                                           #
# This program is free software: you can redistribute it and/or modify    #
#  it under the terms of the GNU General Public License as published by   #
#  the Free Software Foundation, either version 2 of the License, or      #
#  any later version.                                                     #
# This program is distributed in the hope that it will be useful,         #
#  but WITHOUT ANY WARRANTY without even the implied warranty of          #
#  MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the          #
#  GNU General Public License for more details.                           #
# You should have received a copy of the GNU General Public License       #
#  along with this program.  If not, see <http://www.gnu.org/licenses/>.  #
###########################################################################
#
#Script pour telecharger les emission du site canalplus.fr
#Fonctionne en theorie sur tous les OS
#
#Changelog:
#V 0.1
#21-12-2010 : Creation
#V 0.2
#22-12-2010 : Reglage probleme encodage dans fichier log
#V 0.3
#23-12-2010 : Ajout d'une option "--log" et prise en compte de l'absence du tag sous-titre
 
 
 
import os, urllib, subprocess, time, sys 
from xml.dom import minidom
 
 
# Numeros des emissions a telecharger, commentez celles que vous ne voulez pas
emissions=[
627,	# BREF
#48,    # GUIGNOLS
#252,   # SAV
#254,   # GROLAND
#201,   # ZAPPING
#104,  # GRAND JOURNAL
#249,  # PETIT JOURNAL
#37,   # ACTION DISCRETE
#39,   # LA MATINALE
#47,   # PEPITES DU NET
#62,   # LE BOUCAN DU JOUR
#215,  # LE MEILLEUR DU HIER
]
 
# Qualite de la video
#qualite = "BAS_DEBIT"
#qualite = "HAUT_DEBIT"
qualite = "HD"
 
# Repertoires (pensez a les creer avant)
homedir = os.path.expanduser('~/bin')
HISTORIQUE = homedir + "/.cplus_hist"
output_dir = "/data/downloads/videos/canalplus"
 
 
 
# Ne rien modifier sous cette ligne
# Sauf pour ameliorer le fonctionnement ;)
 
logfile = os.path.join(homedir, "canal.log")
urlXMLEmissions = "http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/getMEAs/"
urlXMLVid = "http://www.canalplus.fr/rest/bootstrap.php?/bigplayer/getVideos/"
 
# Parse Mea file to get videos id
def ParseMeas(xmldoc):
   ids = []
   meas = xmldoc.getElementsByTagName('MEA')
   for i in meas:
      if i.getElementsByTagName('ID')[0].childNodes != []:
         id = i.getElementsByTagName('ID')[0].childNodes[0].nodeValue
         ids.append(id)
   return ids
 
# Parse video file to get name and url
def ParseVid(xmldoc):
   names = []
   urlVids = []
   videos = xmldoc.getElementsByTagName('VIDEO')
   for i in videos:
      titrage = i.getElementsByTagName('INFOS')[0].getElementsByTagName('TITRAGE')[0]
      if titrage.getElementsByTagName('TITRE')[0].childNodes != []:
         titre = titrage.getElementsByTagName('TITRE')[0].childNodes[0].nodeValue
         if titrage.getElementsByTagName('SOUS_TITRE')[0].childNodes != []:
            stitre = titrage.getElementsByTagName('SOUS_TITRE')[0].childNodes[0].nodeValue
            date = "_" + stitre
         else:
            date = ""
         name = titre + date
         name = name.replace(' ', '.').replace('/', '-')
         videos = i.getElementsByTagName('MEDIA')[0].getElementsByTagName('VIDEOS')[0]
         rtmp= videos.getElementsByTagName(qualite)[0].childNodes[0].nodeValue
         names.append(name)
         urlVids.append(rtmp)
   return names, urlVids
 
# Execute command and write stdout in file var
def execute(params, file):
   p = subprocess.Popen(params,stdout=file)
   p.wait()
   return p.returncode
 
def addHistory(name):
   file = open(HISTORIQUE, 'a')
   file.write(name.encode('utf-8') + '\n')
   file.close()
 
def checkHistory(name):
   findvalue = 0
   file = open(HISTORIQUE, 'r')
   for line in file:
      if line.decode('utf-8') == name + '\n':
         findvalue = 1
   file.close()
   return findvalue
 
def downXml(url):
   try:
      xmlFileSock=urllib.urlopen(url)
      xmlFile = xmlFileSock.read()
   except Exception, e:
      return 1
   try:
      xmldoc = minidom.parseString(xmlFile)
   except Exception, e:
      xmldoc = 1
   return xmldoc
 
 
if __name__ == "__main__":
 
   debug = False
   if len(sys.argv) == 2:     
     if sys.argv[1] == "--log":
        debug = True
        print "Debug ON"
        logf = open(logfile, "w")
 
   if os.path.exists(HISTORIQUE) == False:
     file = open(HISTORIQUE, 'w')
     file.close()
 
   for num in emissions:
      url = urlXMLEmissions + str(num)
      if debug:
         logf.write(time.strftime("%Y-%m-%d %H:%M:%S") + '\n')
         logf.write("Downloading " + url + '\n')
      xmldoc = downXml(url)
      if xmldoc == 1:
         print "Erreur durant la recuperation de la liste " + str(num)
         if debug:
            logf.write(url + " download error" + '\n')
      else:
         id = ParseMeas(xmldoc)
         if debug:
            logf.write("-> Ids " + str(id) + '\n')
 
         for vid in id:
            url2 = urlXMLVid + vid
            if debug:
              logf.write("Downloading " + url2 + '\n')
            xmldoc2 = downXml(url2)
            if xmldoc2 == 1:
               if debug:
                  logf.write(url2 + " download error" + '\n')
            else:
               names, urlVids = ParseVid(xmldoc2)
               if debug:
                  logf.write("--> names " + str(names) + '\n')
                  logf.write("---> urlvid " + str(urlVids) + '\n')
 
               i = 0
               loop = 0
               while i < len(names):
 
                  check = checkHistory(names[i])
                  if check == 0:
                     if debug:
                       logf.write("Try to download file ")
 
                     basename, extension = os.path.splitext(urlVids[i])
                     flvFile = os.path.join(output_dir , names[i] + extension)
                     if urlVids[i].find("rtmp")!=-1:
                        if debug:
                           logf.write("with flvstreamer" + '\n')
                        params=['flvstreamer', '-r', urlVids[i]]
                        file = open(flvFile, 'w')
                        r = execute(params, file)
                        file.close()
                     else:
                        if debug:
                           logf.write("direct download" + '\n')
                        try:
                           urllib.urlretrieve(urlVids[i], flvFile)
                           r=0
                        except Exception:
                           r=1
                     # If returncode OK, next file
                     if r == 0:
                        if debug:
                          logf.write("Download finished, add file to history " + '\n')
                        addHistory(names[i])
                        loop = 0
                        i += 1
                     else:
                        if os.path.exists(flvFile):
                           os.remove(flvFile)
                        loop += 1
                        # After 5 retry abord file
                        if loop == 5:
                           if debug:
                              logf.write("Download aborded" + '\n')
                           i += 1
                           loop = 0
                        else:
                           if debug:
                              logf.write("Download error" + '\n')
                           print "Download error, retry in 30 seconds"
                           time.sleep(30)
                  else:
                     print "File already downloaded"
                     if debug:
                       logf.write("File already downloaded" + '\n')
 
                     i += 1
 
   if debug:
      logf.close()

PS : si vous cherchez un programme avec une interface graphique qui fait la même chose et bien plus encore, il existe tvdownloader qui est parfait

Or quand j’ai réinstallé MySQL :

sudo aptitude install mysql-server mysql-client

J’ai eu les erreurs suivantes :

Les paquets partiellement installés suivants seront configurés : 
 mysql-server mysql-server-5.1 
 Aucun paquet ne va être installé, mis à jour ou enlevé.
 0 paquets mis à jour, 0 nouvellement installés, 0 à enlever et 0 non mis à jour.
 Il est nécessaire de télécharger 0 o d'archives. Après dépaquetage, 0 o seront utilisés.
 Paramétrage de mysql-server-5.1 (5.1.49-3) ...
 Stopping MySQL database server: mysqld.
 /etc/init.d/mysql: WARNING: /etc/mysql/my.cnf cannot be read. See README.Debian.gz ... (warning).
 Starting MySQL database server: mysqld.
 /etc/init.d/mysql: line 120: /etc/mysql/debian-start: Aucun fichier ou dossier de ce type
 invoke-rc.d: initscript mysql, action "start" failed.
 dpkg : erreur de traitement de mysql-server-5.1 (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 127
 configured to not write apport reports
 dpkg : des problèmes de dépendances empêchent la configuration de mysql-server :
 mysql-server dépend de mysql-server-5.1 ; cependant :
 Le paquet mysql-server-5.1 n'est pas encore configuré.
 dpkg : erreur de traitement de mysql-server (--configure) :
 problèmes de dépendances - laissé non configuré
 configured to not write apport reports
 Des erreurs ont été rencontrées pendant l'exécution :
 mysql-server-5.1
 mysql-server
 E: Sub-process /usr/bin/dpkg returned an error code (1)
 Échec de l'installation d'un paquet. Tentative de réparation : 
 Paramétrage de mysql-server-5.1 (5.1.49-3) ...
 Stopping MySQL database server: mysqld.
 /etc/init.d/mysql: WARNING: /etc/mysql/my.cnf cannot be read. See README.Debian.gz ... (warning).
 Starting MySQL database server: mysqld.
 /etc/init.d/mysql: line 120: /etc/mysql/debian-start: Aucun fichier ou dossier de ce type
 invoke-rc.d: initscript mysql, action "start" failed.
 dpkg : erreur de traitement de mysql-server-5.1 (--configure) :
 le sous-processus script post-installation installé a retourné une erreur de sortie d'état 127
 dpkg : des problèmes de dépendances empêchent la configuration de mysql-server :
 mysql-server dépend de mysql-server-5.1 ; cependant :
 Le paquet mysql-server-5.1 n'est pas encore configuré.
 dpkg : erreur de traitement de mysql-server (--configure) :
 problèmes de dépendances - laissé non configuré
 Des erreurs ont été rencontrées pendant l'exécution :
 mysql-server-5.1
 mysql-server

Voici la solution que j’ai trouvé sur [ubuntu] mysql problem – Ubuntu Forums :

Créer un fichier /etc/mysql/debian-start (avec sudo) et y copier ceci :

#!/bin/bash
 #
 # This script is executed by "/etc/init.d/mysql" on every (re)start.
 #
 # Changes to this file will be preserved when updating the Debian package.
 #
 
source /usr/share/mysql/debian-start.inc.sh
 
MYSQL="/usr/bin/mysql --defaults-file=/etc/mysql/debian.cnf"
 MYADMIN="/usr/bin/mysqladmin --defaults-file=/etc/mysql/debian.cnf"
 MYUPGRADE="/usr/bin/mysql_upgrade --defaults-extra-file=/etc/mysql/debian.cnf"
 MYCHECK="/usr/bin/mysqlcheck --defaults-file=/etc/mysql/debian.cnf"
 MYCHECK_SUBJECT="WARNING: mysqlcheck has found corrupt tables"
 MYCHECK_PARAMS="--all-databases --fast --silent"
 MYCHECK_RCPT="root"
 
# The following commands should be run when the server is up but in background
 # where they do not block the server start and in one shell instance so that
 # they run sequentially. They are supposed not to echo anything to stdout.
 # If you want to disable the check for crashed tables comment
 # "check_for_crashed_tables" out.
 # (There may be no output to stdout inside the background process!)
 echo "Checking for corrupt, not cleanly closed and upgrade needing tables."
 (
 upgrade_system_tables_if_necessary;
 check_root_accounts;
 check_for_crashed_tables;
 ) >&2 &
 
exit 0

Rendre le fichier exécutable :

sudo chmod 755 /etc/mysql/debian-start

Et reprendre l’installation (un dpkg reconfigure aurait sûrement aussi fait l’affaire):

sudo aptitude install mysql-server mysql-client

Normalement il n’y a plus d’erreurs:

Les paquets partiellement installés suivants seront configurés :
 mysql-server mysql-server-5.1
 Aucun paquet ne va être installé, mis à jour ou enlevé.
 0 paquets mis à jour, 0 nouvellement installés, 0 à enlever et 0 non mis à jour.
 Il est nécessaire de télécharger 0 o d'archives. Après dépaquetage, 0 o seront utilisés.
 Paramétrage de mysql-server-5.1 (5.1.49-3) ...
 Stopping MySQL database server: mysqld.
 Starting MySQL database server: mysqld.
 Checking for corrupt, not cleanly closed and upgrade needing tables..
 Paramétrage de mysql-server (5.1.49-3) ...

Cette article est la compilation de nombreux de mes articles qui traitaient d’un bout du sujet

Les manipulation décrites ont été testé sur mon Dockstar mais peuvent être adaptées sans grand efforts sur tout autre machine Linux.

Cette article met en œuvre différentes briques logiciels et différents scripts :

• Flexget : Surveille un flux RSS listant la disponibilité des épisodes de série, si la série est configurée, télécharge le fichier .torrent correspondant et le place dans un répertoire surveillé par Transmission
• Transmission : télécharge la série via le protocole P2P bittorent
• Scripts Transmission : un ensemble de scripts qui limitent la bande passante dès lors qu’un PC du LAN est allumé (pour ne pas perturber la navigation sur Internet), déplacent le fichier vidéo de la série dans une répertoire particulier dès lors que le téléchargement par Transmission est terminé (et que le ratio de partage est atteint)
• Periscope : Scrute à intervalle régulier le répertoire où sont placé les téléchargements terminés et cherche sur divers sites la disponibilité de sous-titres, auquel cas le fichier de sous titre est téléchargé et renommé automatiquement avec le même nom que le fichier vidéo
• Script de rangement : ce script scrute à son tour le répertoire où sont placé les téléchargements terminés et si sont présents à la fois le fichier vidéo et le fichier de sous-titre il les déplace dans un répertoire où la série peut être visionné (répertoire accessible par un HTPC ou par une Freebox)

Enfin avertissement d’usage : Télécharger c’est mal, cet article est une démonstration des possibilités de Linux et non pas une incitation à commettre un crime…

Flexget : téléchargement des fichiers torrent à partir d’un flux RSS

Installation

Dépendances : Flexget est un programme python distribué sous la forme d’un paquet egg installable via la commande easy_install du paquet python-setuptools :

sudo aptitude install python2.6 python-setuptools

(Cette installation est assez gourmande en espace disque presque 17Mo sur mon Dockstar)

Comme indiqué l’installation de Flexget est ensuite simple car packagé sous la forme d’un egg :

sudo easy_install flexget

Les paquets egg s’assurent de l’installation des dépendance (en terme de librairies Python). Lors de l’installation de PyYAML j’ai eu cette erreur qui ne semble pas avoir de conséquences :

libyaml is not found or a compiler error: forcing --without-libyaml
(if libyaml is installed correctly, you may need to
specify the option --include-dirs or uncomment and
modify the parameter include_dirs in setup.cfg)
zip_safe flag not set; analyzing archive contents...
Adding PyYAML 3.09 to easy-install.pth file

Configuration

Par défaut Flexget va chercher sa configuration dans un fichier config.yml dans un répertoire .flexget du répertoire  home de l’utilisateur le lançant, on créé donc ce fichier :

mkdir ~/.flexget
cd ~/.flexget
touch config.yml

Vient ensuite la configuration proprement dite de Flexget et partie la plus compliquée (enfin le temps de comprendre la syntaxe de la configuration Flexget).

Pour vous aider vous pouvez :

• lire le paragraphe Configuration de mon article Téléchargement automatisé de séries avec Flexget
• lire, parcourir, étudier le site de Flexget et plus particulièrement les pages series, How to configure settings per series, How to configure settings with groups et series cookbook
• vous inspirer du squelette de mon fichier qui fonctionne parfaitement (l’envoi de mail se fait en utilisant le serveur SMTP de Free qui ne nécessite pas d’authentification si c’est votre FAI)

presets:
  global:
    email:
      from: adresse@free.fr
      to:
        - adresse@free.fr
      smtp_host: smtp.free.fr
feeds:
  Series_torrent:
    rss: http://showrss.karmorra.info/xxx
    series:
       settings:
         hdtv:
           timeframe: 3 hours
           quality: hdtv
         720p:
           timeframe: 3 hours
           quality: 720p
       hdtv:
         - Nom série 1
         - Nom série 2
       720p:
         - Nom série téléchargée en HD
    download: /data/downloads/torrents/watch/

Transmission : téléchargement de la série

Flexget télécharge le fichier .torrent correspondant à un épisode de série, Transmission se charge de télécharger l’épisode.

Installation

sudo aptitude install transmission-daemon transmission-cli

(place occupé sur mon système : 1 692 ko)

Le paquet transmission-cli n’est utile que pour les scripts périphériques à Transmission (déplacement des torrents terminés, économie de bande passante)

Pour ma configuration j’utilise l’arborescence de répertoire suivante :

download/
    torrents/
        complete/
        downloading/
        seeding/
        watch/

• watch : répertoire configuré dans Flexget dans lequel les fichiers .torrent vont être déposés, Transmission est configuré pour surveiller ce répertoire et démarrer automatiquement le téléchargement correspondant
• downloading : répertoire ou sont situés les fichiers en cours de téléchargement (fichier avec une extension part pour partial)
• seeding : fichier complet mais pour lesquels le ratio de partage n’a pas encore été atteint
• complete : répertoire où sont déposés in-fine les fichiers complétement téléchargés (et ayant atteint le bon ratio de partage). Ce répertoire est ensuite scruté pour la recherche des sous-titres

Changement de l’utilisateur démarrant Transmission (optionnel)

Stopper Transmission :

sudo /etc/init.d/transmission-daemon stop

Éditer le fichier default du script d’init :

sudo vim /etc/default/transmission-daemon

Mettre la ligne OPTIONS en commentaire :

#OPTIONS="--config-dir $CONFIG_DIR"

Éditer le script d’init

sudo vim /etc/init.d/transmission-daemon

Changer l’utilisateur démarrant le service en modifiant la ligne USER :

USER=mon_utilisateur #debian-transmission

Copier le fichier de configuration vers le HOME de notre utilisateur (et mettre à jour les droits) :

mkdir -p $HOME/.config/transmission-daemon
sudo cp /etc/transmission-daemon/settings.json $HOME/.config/transmission-daemon/
sudo chown mon_utilisateur:mon_utilisateur $HOME/.config/transmission-daemon/ -R

Configuration de Transmission

La configuration de Transmission doit se faire lorsque ce dernier ne fonctionne pas, il faut donc arrêter le démon si cela n’est pas déjà fait :

sudo /etc/init.d/transmission-daemon stop

On édite ensuite le fichier settings.json qui contient tous les paramètres de Transmission, selon si vous avez réalisé la configuration du paragraphe ci-dessus ce fichier se situe dans votre $HOME dans .config/transmission-deamon sinon il est dans /etc/transmission-deamon

Je ne reprendrais pas ici l’explication des différents paramètres voir pour cela mon article Installer et configurer Transmission en tant que démon

Paramétrage d’une Blocklist personnalisée

Une blocklist est une liste d’adresse IP avec qui on ne souhaite pas partager les fichiers en cours de téléchargement. Pour mettre à jour cette liste ou en utiliser une personnalisée se référer à mon article utiliser des listes de blocage personnalisées (blocklist) avec le démon Transmission

Déplacement des téléchargements terminés

Par défaut une fois les téléchargements terminés Transmission partage indéfiniment le fichier, ce comportement peut être modifié par script voir mon article Déplacer/enlever les téléchargements terminés de Transmission (démon)

Limitation automatique de la bande passante

Lorsque Transmission télécharge il prendra par défaut toute la bande passante, pénalisant les autres usage d’Internet sur le réseau.

Il est possible de définir des vitesses maximales de téléchargement afin de limiter ce comportement, voir il est possible de définir 2 vitesses maximales et de les planifier en fonction des jours / heures.

Mais encore mieux grâce a un petit script qui s’exécute à intervalle régulier le basculement de la vitesse maximal à la vitesse modéré se fait automatiquement dès lors qu’un PC du réseau est allumé, pour en savoir plus voir mon article Limiter l’usage de la bande passante par Transmission automatiquement

Periscope : recherche des sous-titres

Périscope permet de télécharger les sous-titres associés à un fichier vidéo. Il se base sur divers sites fournissant des sous titres (dont OpenSubtitles.org)

Personnellement je l’installe depuis les sources ainsi :

Installation de subversion pour récupérer le dernier code source et des dépendances de Périscope :

sudo aptitude install subversion python-setuptools python-beautifulsoup python-xdg

Téléchargement du code source :

svn checkout http://periscope.googlecode.com/svn/trunk/ periscope-svn

Installation :

cd periscope-svn
sudo python setup.py install

Bonus : mon plugin sous-titres.eu (pour l’installer copier le fichier dans le répertoire plugins des sources et ajouter la ligne « from SousTitresEu import SousTitresEu » dans le fichier __init__.py du répertoire plugins puis compiler)

Configuration de la langue via le fichier ~/.config/periscope

[DEFAULT]
 lang = fr
 plugins =

Plus de détails :Téléchargement automatique des sous-titres de série avec Periscope et Installer Periscope depuis les sources + activation / désactivation des plugins

Script de déplacement des fichiers

Dernière étape, on a le fichier vidéo (téléchargé via Flexget et Transmission) et le fichier de sous-titre (téléchargé par Periscope), tous deux portent le même nom (merci Periscope) maitenant on veut pouvoir les ranger, c’est à dire les déplacer vers un autre espace disque où ils pourront être visionnées.

Ce répertoire est très spécifique à l’installation de chacun je vais ici décrire la mienne, à vous de l’adapter à votre architecture.

Donc dans mon cas c’est mon dockstar qui réalise toutes les opération de téléchargement, les séries sont ensuite déplacé vers le Freebox Server pour celle en HD et vers mon mediacenter pour les séries SD.

Mon mediacenter est une machine Linux le plus simple est donc de monter le répertoire de destination via sshfs.

Préparation déplacement de fichier via sshfs

Sur la machine cible le client openssh (paquet openssh-client) devra être installé.

Sur la machine source (Dockstar) ayant réalisée les téléchargements et sur laquelle le script va tourner on crée ce qu’il faut pour établir une connexion SSH sans mot de passe (donc scriptable)

Création des clés :

ssh-keygen -t rsa -b 2048

Ce qui donne :

Generating public/private rsa key pair.
 Enter file in which to save the key (/home/mon_user/.ssh/id_rsa):
 Enter passphrase (empty for no passphrase):
 Enter same passphrase again:
 Your identification has been saved in /home/mon_user/.ssh/id_rsa.
 Your public key has been saved in /home/mon_user/.ssh/id_rsa.pub.
 The key fingerprint is:
 bb:3c:91:f4:6f:cb:da:b1:32:7b:08:f8:4b:33:35:44 mon_user@mon_dockstar
 The key's randomart image is:
 +--[ RSA 2048]----+
 |          E      |
 |         .       |
 |          .      |
 |        ..       |
 |       oSoo      |
 |      . +o..     |
 |       .=o o.    |
 |       oo++o+o   |
 |        +ooB=.   |
 +-----------------+

Copie de la clé  publique sur la mahcine cible (le mediacenter) :

ssh-copy-id -i /home/mon_user/.ssh/id_rsa.pub mon_user_distant@IP_machine_distante

Ce qui donne :

Now try logging into the machine, with "ssh 'mon_user_distant@IP_machine_distante'", and check in:
.ssh/authorized_keys
to make sure we haven't added extra keys that you weren't expecting.

On obéit au recommandation ci-dessus et on se connecte en SSH sur la machine cible (mediacenter) et on ajoute l’ordinateur distant à liste des known_host, puis on se déconnecte.

On installe ensuite le paquet sshfs (2 879 ko sur mon Dockstar)

sudo aptitude install sshfs

Préparation du répertoire devant accueillir le montage via sshfs et gestion des droits utilisateur :

sudo mkdir /mnt/sweetbox
sudo chown mon_user:mon_user /mnt/sweetbox
sudo adduser mon_user fuse
sudo chown root:fuse /dev/fuse

Et on reboot, on peut ensuite (toujours du Dockstar) tester le montage sshfs :

sshfs mon_user_distant@IP_mediacenter:/chemin/cible/vers/les/series /mnt/sweetbox/

Pour démonter :

fusermount -u /mnt/sweetbox

Script de déplacement des fichiers

Voici le script de déplacement des fichier de série proprement dit (voir les explication après le script) :

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74

#!/bin/bash
 
SERIESNONTRIE=/data/downloads/torrents/complete
SERIES_SD_PATH=/mnt/sweetbox
SERIES_HD_PATH=/mnt/freebox
 
cd $(dirname "${0}")
 
FREEBOX_MOUNTED=false
function chechAndMountFreebox {
  if [ $FREEBOX_MOUNTED == false ]; then
    echo "Montage du répertoire contenant les séries de la Freebox"
    curlftpfs ftp://192.168.1.254/Disque%20dur/Vidéos/Séries /mnt/freebox/ -o user=freebox:password,uid=1000,gid=1000,umask=003
    FREEBOX_MOUNTED=true
  fi
}
 
SWEETBOX_MOUNTED=false
function chechAndMountSweetbox {
  if [ $SWEETBOX_MOUNTED == false ]; then
    echo "Montage du répertoire contenant les séries de Sweetbox"
    ./wakeonlan.sh "adresse MAC" "Adresse IP"
    sshfs user_distant@adresse_ip:/chemin/cible/vers/les/series /mnt/sweetbox/
    SWEETBOX_MOUNTED=true
  fi
}
 
#pour tous les éléments présents dans le repertoire à trier 
for F in $SERIESNONTRIE/*
do
  # si c'est un fichier
  if [ -f "$F" ]; then
    extension=`echo ${F##*.} | tr "[:upper:]" "[:lower:]"`
    if [ $extension == "avi" ] ; then
      SERIES_PATH=$SERIES_SD_PATH
      chechAndMountSweetbox
    elif [ $extension == "mkv" ] ; then
      SERIES_PATH=$SERIES_HD_PATH
      chechAndMountFreebox
    else
      continue
    fi
 
    # on deduit le nom de la serie à partir du nom du fichier
    serie=`basename "$F" | sed 's/\([a-zA-Z.]*\.S[0-9]\{2\}\)E[0-9]\{2\}.*/\1/'`
 
    # si il existe un fichier srt portant le meme nom dans le meme repertoire
    if [ -f "${F%.*}.srt" ]; then
 
      # on deplace les 2 fichiers dans un repertoire portant le nom de la serie et de la saison
      echo Deplacement de "${F%.*}.*" dans $SERIES_PATH/$serie
 
      # si le repertoire destination n'existe pas
      if [ ! -d "$SERIES_PATH/$serie" ]; then
        # on le crée
        echo Creation du repertoire $SERIES_PATH/$serie
        mkdir -p "$SERIES_PATH/$serie/Vus"
      fi
 
      mv ${F%.*}.srt $SERIES_PATH/$serie
      mv ${F%.*}.$extension $SERIES_PATH/$serie
    fi
  fi
done
 
if [ $FREEBOX_MOUNTED == true ]; then
  echo "Démontage du répertoire contenant les séries de la Freebox"
  sudo umount /mnt/freebox/
fi
if [ $SWEETBOX_MOUNTED == true ]; then
  echo "Démontage du répertoire contenant les séries de Sweetbox"
  fusermount -u /mnt/sweetbox
  ./shutdown.sh "mon_user_distant" "IP distante"
fi

Le principe de ce script est le suivant, on parcours tous les fichiers présents dans le répertoire où sont stocké les téléchargements terminés (download/torrents/complete/)  (ligne 29)

Ligne 37 : Si le fichier à l’extension .mkv c’est une série en HD on va donc potentiellement le déplacer vers la Freebox.

On verifie donc que le disque dur de la Freebox est bien monté (via un booléen) sinon on le fait (voir mon article Monter le disque dur du Freebox Server (v6) en ligne de commande) (ligne 39 et fonction en ligne 9-16)

Ligne 34 : Si le fichier à l’extension .avi c’est une série en SD on va donc potentiellement le déplacer vers le mediacenter (sweetbox) via sshfs.

Je fais alors appel à mon script de démarrage via WakeOnLan qui démarre la machine dont on passe l’adresse IP et MAC en paramètre si elle ne l’est pas déjà, sinon on flag le fait que le mediacenter était déjà allumé pour ne pas l’éteindre à la fin (voir Allumer / éteindre un PC sous Linux à distance (scripts)). Puis on monte le répertoire de destination. (ligne 36 et fonction en ligne 18-27)

Ligne 48 : on vérifie si on a un fichier de sous-titre, si oui on est OK pour déplacer les 2 fichiers (lignes 60-61) vers le chemin cible déterminé en fonction du type du fichier vidéo en cours de traitement (lignes 35 et 38)

Les séries sont rangé dans le répertoire cible dans un sous répertoire du nom de la série (ligne 45) que l’on crée le cas échéant (lignes 54-58)

Lignes 66-74 : Puis on range comme c’était avant notre arrivé, on démonte les point de montage et on n’éteint le mediacenter si ce dernier n’était pas allumé avant le script (voir Allumer / éteindre un PC sous Linux à distance (scripts))

Planification

Dans cette article de nombreux scripts ont été mis en œuvre il faut les planifier via CRON, en voici un exemple :

MAILTO=""
 LANG=fr_FR.UTF-8
 PATH=/usr/bin:/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/sbin
 ##########################################################
 #minute (0-59),                                          #
 #|  hour (0-23),                                         #
 #|  |  day of the month (1-31),                          #
 #|  |  |  month of the year (1-12),                      #
 #|  |  |  |  day of the week (0-6 with 0=Sunday)         #
 #|  |  |  |  |       commands                            #
 ##########################################################
 
##### Opérations pour Transmission
# téléchargement d'une blocklist personnalisé une fois par semaine
0 0 * * 0 $HOME/bin/blocklist_transmission.sh > $HOME/tmp/maintenance/blocklist.log
# Toutes les 3h on vérifie s'il n'y a pas une téléchargement terminé à déplacer
30 */3 * * * $HOME/bin/remove_completed_torrents.sh
# Toutes les minutes on vérifie s'il n'y a pas un PC qui s'allume sur le réseau pour basculer en vitesse lente
*/1 * * * * $HOME/bin/alt_speed_transmission.sh
 
##### Téléchargement des séries, on enchaine flexget, periscope et le déplacement des fichier toutes les 3h (les 3 scripts étant espacé de 20 minutes)
0 */3 * * * flexget -v --cron > $HOME/tmp/flexget.log
20 */3 * * * periscope /data/downloads/torrents/complete/
40 */3 * * * $HOME/bin/move_tv_show.sh

Sources:

Flexget :

• Plugins/transmission – FlexGet : Plugin pour Transmission (pas utilisé)

Transmission :

• Transmission : Site officiel
• Transmission : Liste de plugins sur le site officiel
• EditConfigFiles – Transmission : Description des option du fichier settings.json sur le site officiel
• Papillon-butineur: Blocklists avec Transmission : script de téléchargement des blocklists
• Updated: Transmission Installation/Configuration on Ubuntu Server – 1000umbrellas.com : Exemple de configuration et manipulations à effectuer sur les répertoires accueillant les torrents si vous laissez Transmission tourner avec l’utilisateur debian-transmission
• devINSIDE :: Blog :: Installer et configurer le package transmission-daemon sous debian : configuration de base + interaction avec un Vhost apache (intérêt ?)
• Installation Transmission daemon sur Ubuntu Server « Realpeace’s Blog : installation et configuration + quelques clients Transmission
• HaHadopi » Transmission-daemon sur sa seedbox : installation et configuration
• Configurer Transmission pour l’access a distance (CLI) | Shtark.fr : installation et configuration
• Plugins/transmission – FlexGet : Plugin Flexget
• Updated: How to Automatically Move and Remove Transmission-Daemon Downloads – 1000umbrellas.com: Source du script de suppression des torrent terminés

TVNamer (pas utilisé encore) :

• HowTo : Renommer un épisode de série automatiquement avec TVNamer | Hellnino’s Blog
• TVNamer Installation/Configuration – 1000umbrellas.com
• Using TVNamer to Move Completed TV Torrent Downloads – 1000umbrellas.com
• dbr/tvnamer – GitHub

SSHFS :

• sshfs – Documentation Ubuntu Francophone
• How to Mount a Remote Folder using SSH on Ubuntu – How-To Geek : indique l’astuce pour monter un système de fichier distant sans le sudo

Voici les différentes techniques que j’ai testé pour monter ce disque dur sous Linux (Debian/Ubuntu)

Montage via Samba :

Si vous ne l’avez pas déjà, installer le paquet cifs-utils (lors de l’installation une question relative au workgroup de travail est posé, ne pas s’en occuper)

La montage se fait ensuite via la commande mount :

sudo mount -t cifs //mafreebox.freebox.fr/Disque\ dur/Vidéos  /mnt/freebox/ -o user=freebox,password=password,uid=1000,gid=1000,rw

L’utilisateur et le mot de passe sont configurables via la console locale de la freebox (http://mafreebox.freebox.fr) :

L’accès est anonyme par défaut (pas de login / mot de passe) mais si vous utilisez cette commande dans un script il faut mettre un login / mot de passe sinon la commande mount demande un mot de passe (pour lequel vous pouvez sisir n’importe quoi)

Montage via FTP

Installer le paquet curlftpfs, puis le montage se fait avec la commande du même nom :

curlftpfs ftp://192.168.1.254/Disque%20dur/Vidéos /mnt/freebox/ -o user=freebox:password,uid=1000,gid=1000,umask=003

(pas besoin de sudo ici)

Le login, mot de passe est aussi défini dans la console locale de la freebox mais dans al zone FTP :

Contrairement à l’accès Samba, l’accès au FTP n’autorise pas par défaut l’accès anonyme, mais vous pouvez le forcer.

Source :

[resolu] Monter le HDD NAS d’une FreeBox V6 ‘revolution’ ? – Forum Ubuntu-fr.org : presque tout y est, sauf 2-3 réglage concernant les droits (uid / gid)

Voici les symptômes au début du boot le système est pingable, la lumière du Dockstar clignote en vert, puis le système ne répond plus au ping et la lumière s’éteint….

Voici les étapes suivi pour ramener le Dockstar à la vie.

Booter sous pogoplug

Tout d’abord je me suis assuré que le problème venait de Debian et pas du Dockstar lui-même, pour cela il suffit de débrancher tous les périphériques USB et de rebooter, au bout d’un certain temps le système devrait être accessible en SSH avec l’utilisateur root (comme lors de la toute première connexion au Dockstar sous Pogoplug) :

ssh root@[Ip du Dockstar]

Avec le mot de passe stxadmin

Si ce n’est pas le cas il va vous falloir vous fabriquer un connecteur JTAG, heureusement pour moi je n’en ai pas eu besoin

Installer le uBoot modifié

Jeff Doozan (encore lui) à créé une version modifié du uBoot (Universal Bootloader) permettant d’interagir avec le dockstar lors du boot, nous allons l’installer (peut n’est ce pas nécessaire, je n’ai pas vérifié mais il semblerait que le uBoot modifié soit déjà installé dès lors que l’on à installé Debian avec le script de Jeff Doozan)

cd /tmp
wget http://jeff.doozan.com/debian/uboot/install_uboot_mtd0.sh
chmod +x install_uboot_mtd0.sh
./install_uboot_mtd0.sh

Configurer netconsole

Netconsole permet de transmettre les messages du noyaux via UDP (réseau), il faut configurer netconsole (inclus dans le noyau 2.6 de Linux) pour qu’il emette les message de boot vers un autre PC via le réseau.

On réalise cette configuration avec l’utilitaire fw_setenv installé par le uBoot de Jeff Dozan, dans mon cas cet utilitaire est présent dans /usr/sbin qui n’est pas dans mon path d’où le chemin complet à chaque fois :

/usr/sbin/fw_setenv serverip [adresse IP PC]
/usr/sbin/fw_setenv ipaddr [adresse IP Dockstar]
/usr/sbin/fw_setenv if_netconsole 'ping $serverip'
/usr/sbin/fw_setenv start_netconsole 'setenv ncip $serverip; setenv bootdelay 10; setenv stdin nc; setenv stdout nc; setenv stderr nc; version;'
/usr/sbin/fw_setenv preboot 'run if_netconsole start_netconsole'

Diagnostiquer le boot du Dockstar

Sur le PC qui recevra les messages netconsole lancer la commande :

nc -lu 6666

Pour Ubuntu (11.04) sur Debian il semblerait que ce soit nc -l -u -p 6666 ce qui m’a valu un peu de recherche…

Rebooter le Dockstar (shutdown -r now sur la console en SSH que vous devez avoir sous la main pour avoir fait les manip ci-dessus) et miracle sur votre autre console (celle avec le nc) les messages de boot s’affichent :

Messages de boot sous pogoplug :

U-Boot 2010.09 (Oct 23 2010 - 11:49:22)
 Marvell-Dockstar/Pogoplug by Jeff Doozan
 Hit any key to stop autoboot:  0
 (Re)start USB...
 USB:   Register 10011 NbrPorts 1
 USB EHCI 1.00
 scanning bus for devices... 2 USB Device(s) found
 scanning bus for storage devices... 0 Storage Device(s) found
 ** Block device usb 0 not supported
 
** Invalid boot device **
 Creating 1 MTD partitions on "nand0":
 0x000002500000-0x000010000000 : "mtd=3"
 UBI: attaching mtd1 to ubi0
 UBI: physical eraseblock size:   131072 bytes (128 KiB)
 UBI: logical eraseblock size:    129024 bytes
 UBI: smallest flash I/O unit:    2048
 UBI: sub-page size:              512
 UBI: VID header offset:          512 (aligned 512)
 UBI: data offset:                2048
 UBI: attached mtd1 to ubi0
 UBI: MTD device name:            "mtd=3"
 UBI: MTD device size:            219 MiB
 UBI: number of good PEBs:        1751
 UBI: number of bad PEBs:         1
 UBI: max. allowed volumes:       128
 UBI: wear-leveling threshold:    4096
 UBI: number of internal volumes: 1
 UBI: number of user volumes:     0
 UBI: available PEBs:             1730
 UBI: total number of reserved PEBs: 21
 UBI: number of PEBs reserved for bad PEB handling: 17
 UBI: max/mean erase counter: 1/1
 UBIFS error (pid 0): ubifs_get_sb: cannot open "ubi:rootfs", error -19
 Error reading superblock on volume 'ubi:rootfs'!
 ** Block device usb 0 not supported
 ** Block device usb 1 not supported
 ** Block device usb 2 not supported
 ** Block device usb 3 not supported
 ** Block device usb 0 not supported
 ** Block device usb 0 not supported
 Wrong Image Format for bootm command
 ERROR: can't get kernel image!
 stopping USB..
 ### JFFS2 loading 'uboot-original-mtd0.kwb' to 0x800000
 Scanning JFFS2 FS: ........ done.
 ### JFFS2 load complete: 524288 bytes loaded to 0x800000
 ## Starting application at 0x00800200 ...

J’ai ensuite rebranche ma clé USB qui contient mon système Debian et le disque dur qui contient divers point de montage et rebooté une autre fois le Dockstar

Messages de boot sous Debian :

U-Boot 2010.09 (Oct 23 2010 - 11:49:22)
 Marvell-Dockstar/Pogoplug by Jeff Doozan
 Hit any key to stop autoboot:  0
 (Re)start USB...
 USB:   Register 10011 NbrPorts 1
 USB EHCI 1.00
 scanning bus for devices... 4 USB Device(s) found
 scanning bus for storage devices... 2 Storage Device(s) found
 Loading file "/rescueme" from usb device 0:1 (usbda1)
 ** File not found /rescueme
 reading /rescueme.txt
 
** Unable to read "/rescueme.txt" from usb 0:1 **
 Creating 1 MTD partitions on "nand0":
 0x000002500000-0x000010000000 : "mtd=3"
 UBI: attaching mtd1 to ubi0
 UBI: physical eraseblock size:   131072 bytes (128 KiB)
 UBI: logical eraseblock size:    129024 bytes
 UBI: smallest flash I/O unit:    2048
 UBI: sub-page size:              512
 UBI: VID header offset:          512 (aligned 512)
 UBI: data offset:                2048
 UBI: attached mtd1 to ubi0
 UBI: MTD device name:            "mtd=3"
 UBI: MTD device size:            219 MiB
 UBI: number of good PEBs:        1751
 UBI: number of bad PEBs:         1
 UBI: max. allowed volumes:       128
 UBI: wear-leveling threshold:    4096
 UBI: number of internal volumes: 1
 UBI: number of user volumes:     0
 UBI: available PEBs:             1730
 UBI: total number of reserved PEBs: 21
 UBI: number of PEBs reserved for bad PEB handling: 17
 UBI: max/mean erase counter: 1/1
 UBIFS error (pid 0): ubifs_get_sb: cannot open "ubi:rootfs", error -19
 Error reading superblock on volume 'ubi:rootfs'!
 Loading file "/boot/uImage" from usb device 0:1 (usbda1)
 1 bytes read
 Found bootable drive on usb 0:1
 Loading file "/boot/uImage" from usb device 0:1 (usbda1)
 1433640 bytes read
 Loading file "/boot/uInitrd" from usb device 0:1 (usbda1)
 4887353 bytes read
 ## Booting kernel from Legacy Image at 00800000 ...
 Image Name:   Debian kernel 2.6.32-5-kirkwood
 Image Type:   ARM Linux Kernel Image (uncompressed)
 Data Size:    1433576 Bytes = 1.4 MiB
 Load Address: 00008000
 Entry Point:  00008000
 Verifying Checksum ... OK
 ## Loading init Ramdisk from Legacy Image at 01100000 ...
 Image Name:   Debian ramdisk 2.6.32-5-kirkwood
 Image Type:   ARM Linux RAMDisk Image (gzip compressed)
 Data Size:    4887289 Bytes = 4.7 MiB
 Load Address: 00000000
 Entry Point:  00000000
 Verifying Checksum ... OK
 Loading Kernel Image ... OK
 OK
 
Starting kernel ...

On voit / confirme alors que le boot du Dockstar fonctionne parfaitement puisque le kernel Debian démarre. Le problème se situe donc au niveau de ce dernier…

Réparer Debian

Après avoir éteint le Dockstar, j’ai branché la clé USB contenant Debian sur mon PC et commencé par faire une vérification du disque :

sudo fsck /dev/sdb1

La clé contenait une erreur :

fsck de util-linux-ng 2.17.2
 e2fsck 1.41.14 (22-Dec-2010)
 /dev/sdb1 est monté.
 
AVERTISSEMENT !!! Le système de fichiers est monté.   Si vous continuez
 vous ***ALLEZ*** causer des dommages ***SÉVÈRES*** au système de fichiers.
 
Souhaitez-vous réellement continuer (o/n)? oui
 
/dev/sdb1 contient un système de fichiers comportant des erreurs, vérification forcée.
 Passe 1 : vérification des i-noeuds, des blocs et des tailles
 Passe 2 : vérification de la structure des répertoires
 Passe 3 : vérification de la connectivité des répertoires
 Passe 4 : vérification des compteurs de référence
 I-noeud 8098 non attaché
 Connecter à /lost+found<o>? oui
 
le compteur de référence de l'i-noeud 8098 est 2, devrait être 1. Corriger<o>? oui
 
Passe 5 : vérification de l'information du sommaire de groupe
 
/dev/sdb1: ***** LE SYSTÈME DE FICHIERS A ÉTÉ MODIFIÉ *****
 /dev/sdb1 : 28353/108864 fichiers (1.3% non contigus), 217045/435448 blocs

J’ai ensuite re-généré l’image du kernel, pour cela on démarre le Dockstar sous pogoplug (sans clé USB) et on se connecte dessus en SSH (voir 1er paragraphe).

On connecte alors la clé USB contenant Debian, on la monte, on fait un chroot sur le point de montage et on régénère l’image du kernel :

mount /dev/sda1 /mnt
/usr/sbin/chroot /mnt
/usr/bin/mkimage -A arm -O linux -T kernel  -C none -a 0x00008000 -e 0x00008000 -n Linux-2.6.32-5 -d /boot/vmlinuz-2.6.32-5-kirkwood /boot/uImage

Sortie de la commande :

Image Name:   Linux-2.6.32-5
 Created:      Tue Jun 21 23:58:21 2011
 Image Type:   ARM Linux Kernel Image (uncompressed)
 Data Size:    1433576 Bytes = 1399.98 kB = 1.37 MB
 Load Address: 0x00008000
 Entry Point:  0x00008000

Puis

/usr/bin/mkimage -A arm -O linux -T ramdisk -C gzip -a 0x00000000 -e 0x00000000 -n initramfs -d /boot/initrd.img-2.6.32-5-kirkwood /boot/uInitrd

Sortie de la commande :

Image Name:   initramfs
 Created:      Tue Jun 21 23:58:25 2011
 Image Type:   ARM Linux RAMDisk Image (gzip compressed)
 Data Size:    4887289 Bytes = 4772.74 kB = 4.66 MB
 Load Address: 0x00000000
 Entry Point:  0x00000000

Laisser les périphériques branchés, sortir du chroot (exit) et rebooter et normalement miracle le Dockstar devrait démarrer sous Debian…

Sources :

• Update uBoot on your Dockstar, GoFlex, or Pogoplug NAS
• Use netconsole to troubleshoot uBoot without a serial cable
• Seagate dockstar installation et amélioration
• Update a Dockstar uImage/uInitrd after a kernel update [Technology and me]
• Forum Hardware.fr sur le Dockstar

Pour cela il faut mettre en œuvre un chiffrage via https.

Https se base sur un système de clé de cryptage publique/certificat, il existe plusieurs moyen pour obtenir ces fichiers :

• Acheter le certificat auprès d’un organisme reconnu, peut être très cher, exemple : 600€ pour 2 ans ou moins cher : Go Daddy)
• Avoir le certificat gratuit avec votre nom de domaine (chez Gandi par exemple pour 1 an)
• Avoir un certificat gratuit avec un organisme presque reconnu comme CAcert
• Générer un certificat (certificat auto-signé)

J’ai personnellement choisi cette dernière solution.

Dans mon article OpenSSL puissance et complexité, j’ai listé/référencé les étapes et commandes openssl disponible pour créer un certificat.

Voici les sujets abordé par cet article :

• Gestion des certificats manuellement
• Gestion des certificats avec easyCA
• Configuration NGINX
• Configuration Firefox

Gestion des certificats manuellement

Préparation de l’environnement

Je vais créer un répertoire myCa dans le /home de mon utilisateur et y placer tout ce qui sera nécessaire à gérer les certificats

cd && mkdir -p myCA/certs && mkdir myCA/private && mkdir myCA/csr && mkdir myCA/newcerts && mkdir myCA/crl && mkdir myCA/tmp && cd myCA
echo '01' > serial  && touch index.txt
cp /etc/ssl/openssl.cnf .

Configuration d’openSSL

On édite ensuite le fichier openssl.cnf copié dans notre répertoire myCA, pour modifier les éléments suivants :

Section [ CA_default ] on paramètre les dossiers, seul la première valeur est à modifier :

dir        = <strong>/home/[utilisateur]/myCA</strong>            # Where everything is kept
certs        = $dir/certs        # Where the issued certs are kept
crl_dir        = $dir/crl        # Where the issued crl are kept
database    = $dir/index.txt    # database index file.
new_certs_dir    = $dir/newcerts        # default place for new certs.
certificate    = $certs/cacert.pem    # The CA certificate
serial        = $dir/serial         # The current serial number
crl        = $dir/crl.pem         # The current CRL
private_key    = $dir/private/cakey.pem # The private key
RANDFILE    = $dir/private/.rand    # private random number file

Un peu plus loin dans cette même section, on paramètre la duré de validité par défaut des certificats et le cryptage utilisé :

default_days    = 1825            # how long to certify for
default_crl_days= 30            # how long before next CRL
default_md    = sha1            # which md to use.

Dans la section [ req_distinguished_name ] j’ai francisé les libellé et adpater les valeurs par défaut :

[ req_distinguished_name ]
 countryName                     = Pays (2 lettres)
 countryName_default             = FR
 countryName_min                 = 2
 countryName_max                 = 2
 stateOrProvinceName             = Region
 stateOrProvinceName_default     = PAYS DE LOIRE
 localityName                    = Ville
 localityName_default            = Nantes
 0.organizationName              = Societe
 0.organizationName_default      = VoidAndAny
 #organizationalUnitName         = Organizational Unit Name (eg, section)
 #organizationalUnitName_default =
 commonName                      = Site
 commonName_max                  = 64
 emailAddress                    = Email
 emailAddress_max                = 64
 emailAddress_default            = mon_email@free.fr

Dès lors les questions sont les suivantes et il suffit de les valider par entrée pour avoir les valeurs par défaut (optionnel) :

Pays (2 lettres) [FR]:
Region [PAYS DE LOIRE]:
Ville [Nantes]:
Societe [VoidAndAny]:
Site []: mon_domaine.fr
Email [mon_email@free.fr]:

Dans la section [ usr_cert ] j’ai modifié les commentaire qui seront embarqués dans les certificats :

nsComment            = "Void And Any Generated Certificate"

Création de l’autorité de certification

On va tout d’abord créer notre autorité de certification qui permettra de signer les certificats serveurs suivant.

Cela se fait avec la commande (se placer dans le répertoire myCA) :

openssl req -new -x509 -config ./openssl.cnf -keyout ./private/cakey.pem -out ./certs/cacert.pem -days 1825

Lors de la génération du certificat un mot de passe vous est demandé, en choisir un robuste et ne pas l’oublier sous peine de ne plus pouvoir vous servir de votre autorisé de certification.

Création du/des certificats

En 2 temps, création de la clé et de la demande de certificat :

openssl req -new -keyout ./private/mondomaine.key -out ./csr/mondomaine.csr -config ./openssl.cnf -nodes -days 1825

L’option -nodes permet d’indiquer que la clé qui doit être générée ne doit pas être protégée par un mot de passe (passphrase)

La commande vous poseras quelques questions :

Generating a 2048 bit RSA private key
 .............+++
 ............................+++
 writing new private key to '/etc/nginx/certificates/test.key'
 -----
 You are about to be asked to enter information that will be incorporated
 into your certificate request.
 What you are about to enter is what is called a Distinguished Name or a DN.
 There are quite a few fields but you can leave some blank
 For some fields there will be a default value,
 If you enter '.', the field will be left blank.
 -----
 Country Name (2 letter code) [AU]:FR
 State or Province Name (full name) [Some-State]:PAYS DE LOIRE
 Locality Name (eg, city) []:Nantes
 Organization Name (eg, company) [Internet Widgits Pty Ltd]:VoidAndAny
 Organizational Unit Name (eg, section) []:
 Common Name (eg, YOUR name) []:mon_domaine.fr
 Email Address []:mon_email@free.fr

La zone la plus importante est « Common name » qui doit correspondre au nom du domaine/sous-domaine que vous voulez protéger.

Création du certificat à partir de la demande de certificat et signature de ce dernier avec notre autorité de certification :

openssl ca -infiles ./csr/mondomaine.csr -out ./certs/mondomaine.crt -config ./openssl.cnf

Les certificat et sa clé sont alors respectivement dans les sous-répertoires certs et private.

Voila pour la création manuelle voici comment automatiser tout cela et ne pas avoir de ligne de commande à taper.

Gestion des certificats avec easyCA

EasyCA est un script qui n’est plus maintenu depuis 2005 et que l’on peut retrouver ICI, personnellement j’ai utilisé la version modifiée de GuiguiAbloc que l’on trouve ICI

Je vais comme précédemment faire du répertoire myCA de mon home le lieu de travail. (si vous avez fait des essais manuellement il peut être conseillé de tout supprimer le contenu du dit répertoire ou d’en utiliser un autre)

Télécharger l’archive, la décompresser et rendre le script exécutable :

mkdir -p ~/myCA && cd ~/myCA
wget http://guiguiabloc.appspot.com/wp-content/2008/12/easyca.tgz
tar -xvf easyca.tgz
mv easyca/* .
chmod 755 easyCA.sh

Éditer le fichier openssl.cnf fournis, modifier les lignes préalablement décrites et supprimer la ligne :

# !!!!! remove this line after configuration as it is NOT_CONFIGURED yet !!!

Rque : j’ai en plus changé les différents paramètres nsComment en fin de fichier.

Lancer le script easyCA.sh, le menu suivant apparaît :

=====================================================================
 Certificate Management System
 easyCA version 0.9(6) by Ferry Kemps and Guiguiabloc
 GPL Licensed
 =====================================================================
 
 1) Sign a Certificate Signing Request (PKCS#10)
 2) Create a Server Certificate (PEM SelfSigned)
 3) Create a Client Certificate (PKCS#12)
 4) Create a Certificate Signing Request
 5) Generate Certificate Revocation List (CRL)
 6) List, Display and Revoke Certificates
 
 I) Initialize Root Certificate Authority (CA)
 O) Initialize OCSP Server Certificate
 B) Backup & Restore the Certificate environment
 R) Reinstall easyCA (erase)
 
==> Make your choice [none]:

(dans les « copie d’écran » suivante je n’ai pas personnalisé mon openssl.cnf, d’où les localité, adresse mail par défaut)

Création de l’autorité de certification

Pour créer l’autorité de certification il suffit de choisir l’option I :

-----------------------------------------------------------------------
 ----------------- Initialize root Certificate Authority ---------------
 -----------------------------------------------------------------------
 
Are you sure you want to (re)initialize the Root CA? [y|n]: y
 >>> Initializing Root CA <<<
 Generating a 1024 bit RSA private key
 ...................++++++
 .............................................++++++
 writing new private key to './private/cakey.pem'
 Enter PEM pass phrase:
 Verifying - Enter PEM pass phrase:
 -----
 You are about to be asked to enter information that will be incorporated
 into your certificate request.
 What you are about to enter is what is called a Distinguished Name or a DN.
 There are quite a few fields but you can leave some blank
 For some fields there will be a default value,
 If you enter '.', the field will be left blank.
 -----
 Country Name (2 letter code) [NL]:
 State or Province Name (full name) [Gelderland]:
 Locality Name (eg, city) [Arnhem]:
 Organization Name (eg, company) [Your Company Name]:
 Organizational Unit Name (eg, section) [HQ]:
 Common Name (eg, your name or your server's hostname) []:
 Email Address [postmaster@domain.ext]:
 
Press [enter] to continue

Comme dans le paragraphe précédent il faut choisir une passphrase sécurisé et ne pas l’oublier. Le Common Name n’a que peut d’importance ici.

Création du/des certificats

Pour générer un certificat serveur, il faut procéder en 2 temps, la demande de certificat, option 4 du menu :

-----------------------------------------------------------------------
 --------------- Generate Certificate Signing Request ------------------
 -----------------------------------------------------------------------
 
Enter Certificate CN (Common name|FQDN) like www.example.com [none]: mondomaine
 Generating a 1024 bit RSA private key
 ..................++++++
 .......++++++
 writing new private key to './private/mondomaine-key.pem'
 -----
 You are about to be asked to enter information that will be incorporated
 into your certificate request.
 What you are about to enter is what is called a Distinguished Name or a DN.
 There are quite a few fields but you can leave some blank
 For some fields there will be a default value,
 If you enter '.', the field will be left blank.
 -----
 Country Name (2 letter code) [NL]:
 State or Province Name (full name) [Gelderland]:
 Locality Name (eg, city) [Arnhem]:
 Organization Name (eg, company) [Your Company Name]:
 Organizational Unit Name (eg, section) [HQ]:
 Common Name (eg, your name or your server's hostname) []:mondomaine.fr
 Email Address [postmaster@domain.ext]:
 
Please enter the following 'extra' attributes
 to be sent with your certificate request
 A challenge password []:
 An optional company name []:
 
Certificate Signing Request (CSR) stored as: ./csr/mondomaine.csr
 Certificate private-key stored as: ./private/mondomaine-key.pem
 Press [enter] to continue

La première question (Enter Certificate CN (Common name|FQDN) like www.example.com [none]:) ne sert pas à alimenter le common name du certificat mais a déterminer le nom des fichier certificat et clé.

A la question common name, il faut ici indiquer le domaine sur lequel s’appliquera la certificat sous peine d’avoir des avertissement de sécurité dans les navigateurs.

2ème étape obtenir le certificat et le signer , option 1 du menu :

-----------------------------------------------------------------------
 --------------- Certifiace Signing Request handling -------------------
 -----------------------------------------------------------------------
 
(CSR request files should be copied into directory: ./csr)
 
1: mondomaine.csr
 
==> Select the CSR to sign [none]: 1
 
==> Add OCSP Extension to Certificate ? [y/N]: N
 
==> Select the Usage Key [server|client|none]: server
 Using configuration from ./openssl.cnf
 Enter pass phrase for ./private/cakey.pem:
 Check that the request matches the signature
 Signature ok
 Certificate Details:
 Serial Number: 1 (0x1)
 
...
 
 Certificate is to be certified until Jun 19 18:36:00 2016 GMT (1825 days)
 Sign the certificate? [y/n]:y
 
1 out of 1 certificate requests certified, commit? [y/n]y
 Write out database with 1 new entries
 Data Base Updated
 
Signed certificate stored as: ./certs/mondomaine.crt
 Return this certificate to the requesting party.
 
Display Certificate? y/n [n] n

On sélectionne les demande de certificat en cours (il peut y en avoir plusieurs), on indique le rôle du certificat à générer (server), on saisi le mot de passe de l’autorité de certification et voila…

L’utilisation de easyCA est quand même beaucoup plus simple que de se taper les lignes de commande….

Pour info voici les commandes par easyCA  qui sont lancées pour les 3 étapes décrites ci-dessus :

openssl req -new -x509 -config ./openssl.cnf -keyout ./private/cakey.pem -out ./certs/cacert.pem -days 1825
 
openssl req -new -nodes -config ./openssl.cnf -days 1825 -keyout ./private/mondomaine-key.pem -out ./csr/mondomaine.csr
 
openssl ca -config ./openssl.cnf -cert ./certs/cacert.pem -extensions  SERVEUR -in ./csr/mondomaine.csr -out ./certs/mondomaine.crt

Elle très très semblables à celles que j’ai décrite dans le premier paragraphe…

Configuration NGINX

Une fois un certificat généré pour votre site que ce soit manuellement ou via easyCA, il faut tout d’abord copier le clé et le dit certificat vers un répertoire qui sera accessible par NGINX.

Dans mon cas j’ai créé un répertoire certificates dans /etc/nginx.

cd ~
sudo cp myCA/certs/mondomaine.crt /etc/nginx/certificates
sudo cp myCA/private/mondomaine-key.pem /etc/nginx/certificates
sudo chown root.root /etc/nginx/certificates/mondomaine-key.pem
sudo chmod 400 /etc/nginx/certificates/mondomaine-key.pem

Il suffit ensuite d’indiquer à NGINX pour le site voulu l’écouter sur le port 443 (au lieu du 80) et l’utilisation du certificat et de la clé privée

server {
    listen               443;
    server_name          mondomaine.fr;

    ssl                  on;
    ssl_certificate      /etc/nginx/certificates/mondomaine.crt;
    ssl_certificate_key  /etc/nginx/certificates/mondomaine-key.fr;

....
  }

Et rediriger le port 443 vers votre serveur…

Configuration Firefox

Lorsque vous irez sur votre site pour la première fois vous aurez un message d’avertissement car votre autorité de certification (c’est à dire votre serveur) n’est pas reconnue par le navigateur :

Si on regarde les détail technique on a ceci :

Ou ceci Dans le premeir cas je ne comprend pas très bien l’erreur, peut être est ce d^au fait que j’utilise un certificat joker mais ceci est une autre histoire, dans le 2ème cas on a 2 erreurs, le fait que le certificat est auto-signée et le fait que le common name donnée lors de la création du certification ne correspond pas au domaine sur lequel il a été appliqué.

Dans tous les cas pour passer outre il suffit d’importer le certificat racine publique de notre autorité de certification.

Il faut donc diffuser, copier le fichier cacert.pem contenu dans le répertoire certs sur votre serveur sur les machine clientes. ATTENTION il ne faut surtout pas diffuser la clé privé cakey.pem

Ensuite sur les machines clientes dans Firefox aller dans le menu « Avancé » sur l’onglet « Chiffrement » et cliquer sur « Afficher les certificats » :

Dans l’onglet « Autorités » cliquer sur « Importer… » et sélectionner votre fichier (cacert.pem)

Sélectionner l’usage que vous souhaitez faire du certificat « identifier des sites web » :

Votre autorité de certification est désormais reconnue :

Et la page devrait s’afficher sans problème.

Dans IE il faut aller dans Option Internet > Onglet Contenu > Bouton Certificats, puis onglet Autorités principales de confiance > Bouton Importer

Sources :

Gestion des certificats :

• Be your own Certificate Authority (CA)
• Créer sa propre (mini) PKI : un article très très clair (comme tous les articles de ce site) sur les certificats, il devrait être obligatoire de le lire (malheureusement pour moi je ne l’ai trouvé que tard)
• PKI, PKI, oh ! PKI, PKI, ah !

Configuration NGINX :

• nginx: serveur web complet bluffant
• Nginx , SSL et plus encore ..

Autre :

• Vérifier automatiquement l’expiration de certificats SSL – Tux-planet
• Installer un certificat Gandi SSL Standard sur Nginx

Quand je suis passé sous Ubuntu ce mécanisme ne fonctionnait plus. Pire sous Nautilus je ne comprend même pas la logique utilisé pour trier les fichiers.

Enfin j’ai essayé divers autres gestionnaire de fichiers et aucun n’a le même ordre de tri !!!

Je savais que sous Linux on avait le choix des logiciels mais de là à avoir le choix du tri des fichiers…

Un exemple vaut mieux qu’un long discours, je me suis fait un jeu de test sous Ubuntu avec des fichiers ayant des nom court mais commençant par divers caractères : lettres (majuscule, minuscule), chiffres, caractères spéciaux (#_~), espace et points.

Windows  (ma référence) :

Les caractères spéciaux (dont l’espace et le point sont au début) suivi des chiffres puis les lettres (la distinction majuscule minuscule a été perdu puisque Windows est insensible à la casse)

A noter les chiffres sont triés numériquement 9 avant 100

Nautilus 2.30

L’explorateur de fichier d’Ubuntu (v10.04)

Nautilus Elementary 2.32.2

Version patchée de Nautilus (voirNautilus elementary)

Thunar 1.0.2

Explorateur de fichier de XFCE

SunFlower 0.1a

Nouvel explorateur de fichier : sunflower-fm – Twin-panel file manager for Linux – Google Project Hosting

Dolphin 1.5

L’explorateur de fichier de KDE

Gnome Terminal

avec la commande ls -hal :

On constatera que sur 5 logiciels testés sous Linux on a 5 ordre de tri !!!

Pour info voici mes locales (il semblerait que cela influe sur l’ordre de tri)

LANG=fr_FR.utf8
LC_CTYPE="fr_FR.utf8"
LC_NUMERIC="fr_FR.utf8"
LC_TIME="fr_FR.utf8"
LC_COLLATE="fr_FR.utf8"
LC_MONETARY="fr_FR.utf8"
LC_MESSAGES="fr_FR.utf8"
LC_PAPER="fr_FR.utf8"
LC_NAME="fr_FR.utf8"
LC_ADDRESS="fr_FR.utf8"
LC_TELEPHONE="fr_FR.utf8"
LC_MEASUREMENT="fr_FR.utf8"
LC_IDENTIFICATION="fr_FR.utf8"
LC_ALL=

Bref voici où j’en suis, dans la suite les liens que j’ai à étudier attentivement pour comprendre (si c’est possible).

Bug 458707 – Sort order ignores special characters

nautilus sort order – Ubuntu Forums

[all variants] Directory Order in Console – Ubuntu Forums

[all variants] sort order with LC_COLLATE: change to what? – Ubuntu Forums

[SOLVED] Nautilus sorting changed? – Ubuntu Forums

Sort order in nautilus – Ubuntu Forums

http://bugzilla.gnome.org/show_bug.cgi?id=458707

http://www.iac.es/sieinvens/siepedia/pmwiki.php?n=Tutorials.LinuxLocale

http://www.linux.com/archive/articles/53781

http://doc.dev.ubuntu-fr.org/doku.php?id=variables_d_environnement

http://ubuntuforums.org/archive/index.php/t-471154.html

Locale in Linux – SIEpedia

Pour mon usage personnel j’ai intégré ces commandes dans des scripts afin d’y ajouter quelques fonctionnalités.

Le script de démarrage que j’ai nommé wakeonlan.sh (original) prend en paramètre l’adresse MAC et l’adresse IP de la machine à réveiller et permet de faire n essais de réveil espacés de m secondes avant de rendre la main.

#!/bin/bash
# Wake up remote machine
# Usage: $0 mac_adress ip_adress
 
# Check interval
SLEEPTIME=60
# Temp directory where to store a file to indicate that the computer was already turn on (used for shutdow)
TEMP_DIRECTORY=/$HOME/tmp
# Number of retries
RETRY=20
 
die () {
 echo >&2 "$@"
 exit 1
}
 
[ "$#" -eq 2 ] || die "Usage : $0 Mac_adress IP_adress"
HOST_MAC=$1
HOST_IP=$2
 
[ -d $directory ] || mkdir $directory
 
ping -c 2 -w 15 $HOST_IP > /dev/null
RESULT=$?
if [ $RESULT -eq 0 ]; then
 echo "Host $HOST_IP is already up - exiting"
 touch $TEMP_DIRECTORY/$HOST_IP
 exit 0
else  
 echo "Trying to wake up $HOST_IP"
 TEST_NUMBER=0
 while [ $RESULT -ne 0 ]; do
  TEST_NUMBER=`expr $TEST_NUMBER + 1`
  echo "Test #$TEST_NUMBER)"
  wakeonlan $HOST_MAC
  sleep $SLEEPTIME
  ping -c 2 -w 15 $HOST_IP > /dev/null
  RESULT=$?
  if [ $RESULT -ne 0 ] && [ $TEST_NUMBER -eq $RETRY ]; then
   echo "$RETRY retry unsuccessful - leave"
   exit 1
  fi
 done
fi

On pourra remarquer que si la machine est déjà allumé, le script crée un fichier portant son adresse IP, ce fichier est utilisé par le script d’arrêt.

Pour fonctionner ce script à besoin du paquet wakeonlan.

Ce dernier nommé shutdown.sh (encore original) n’arrête l’ordinateur que si ce dernier n’était pas déjà allumé avant le wakeonlan (état connu par la présence au non du fichier nommé de l’adresse IP de la machine à réveiller / éteindre)

#!/bin/bash
# Shutdown a remote machine
# Usage: $0 user ip_adress
 
# Temp directory where to check a file that indicate if the computer doesn't need to shutdown (file created by wakeonlan script)
TEMP_DIRECTORY=$HOME/tmp
 
die () {
 echo >&2 "$@"
 exit 1
}
 
[ "$#" -eq 2 ] || die "Usage : $0 user IP_adress"
 USER=$1
 HOST_IP=$2
 
if [ -f $TEMP_DIRECTORY/$HOST_IP ]
then  
 echo "The host $HOST_IP was already turned on so we don't shutdown it"
 rm $TEMP_DIRECTORY/$HOST_IP
 exit 0
fi
 
echo "Shuting down $HOST_IP"
ssh $USER@$HOST_IP "sudo shutdown -h now"

Ce script prend en paramètre l’adresse IP de la machine à éteindre et l’utilisateur qui  lancera la commande shutdown via SSH.

La machine cible doit avoir sudo (toujours le cas sur Ubuntu) et la commande shutdown ne doit pas demander de mot de passe (paramétré dans le sudoer)

Image par tom.z sous CC BY-NY-SA

Pour changer ce comportement il faut utiliser les paramètres ratio-limit (= valeur numérique) et ratio-limit-enabled (= true). Dés lors Transmission partagera jusqu’à ce que le ratio téléchargement / partage défini dans ratio-limit soit atteint. Ensuite le fichier sera mis en état arrêté mais restera dans Transmission.

Le script ci-dessous (remove_completed_torrents.sh qui n’est pas de moi voir les sources) à exécuter à intervalle régulier via une tache Cron vérifie l’état des fichiers/torrents et pour ceux qui sont stoppés (dont le ratio de partage est atteint) les déplace dans un autre répertoire (complete dans mon cas, voir mon arborescence de fichier) et les supprime de Transmission

#!/bin/sh
# script to check for complete torrents in transmission folder, then stop and move them
 
AUTH="--netrc=$HOME/.netrc"
 
# either hard-code the MOVEDIR variable here
MOVEDIR=/data/downloads/torrents/complete # the folder to move completed downloads to
# or set MOVEDIR using the first command-line argument
# MOVEDIR=%1
 
# use transmission-remote to get torrent list from transmission-remote list
# use sed to delete first / last line of output, and remove leading spaces
# use cut to get first field from each line
TORRENTLIST=`transmission-remote --list | sed -e '1d;$d;s/^ *//' | cut --only-delimited --delimiter=" " --fields=1`
 
# for each torrent in the list
for TORRENTID in $TORRENTLIST
    do
    echo "* * * * * Operations on torrent ID $TORRENTID starting. * * * * *"
 
    # check if torrent download is completed
    DL_COMPLETED=`transmission-remote $AUTH --torrent $TORRENTID --info | grep "Percent Done: 100%"`
 
    # check torrent’s current state is Stopped, Finished, or Idle
    STATE_STOPPED=`transmission-remote --torrent $TORRENTID --info | grep "State: Finished"`
 
    # if the torrent is Stopped, Finished, or Idle after downloading 100%
    if [ "$DL_COMPLETED" != "" ] && [ "$STATE_STOPPED" != "" ]; then
        # move the files and remove the torrent from Transmission
        echo "Torrent #$TORRENTID is completed."
        echo "Moving downloaded file(s) to $MOVEDIR."
        transmission-remote --torrent $TORRENTID --move $MOVEDIR
        echo "Removing torrent from list."
        transmission-remote --torrent $TORRENTID --remove
    else
        echo "Torrent #$TORRENTID is not completed. Ignoring."
    fi
    echo "* * * * * Operations on torrent ID $TORRENTID completed. * * * * *"
done

Ce script utilise la commande transmission-remote du paquet transmission-cli à installer si ce n’est déjà fait.

Pour certaines opérations transmission-remote à besoin d’informations de connexion (login / mot de passe), plutôt que d’utiliser l’option –auth j’ai préféré utiliser l’option –netrc, il faut donc créer un fichier .netrc dans le home de votre utilisateur (ou si vous souhaitez le mettre ailleurs il faudra modifier la variable AUTH) et y mettre les informations suivantes :

machine localhost login [votre login] password [votre mot de passe]

Du Fait des information sensible de ce fichier on le protégera en faisant un :

chmod 600 ~/.netrc

Lorsque l’on exécute le script on aura ce genre de sortie :

./bin/remove_complet_torrent.sh
 * * * * * Operations on torrent ID 1 starting. * * * * *
 Torrent #1 is completed.
 Moving downloaded file(s) to /data/downloads/torrents/complete.
 localhost:9091 responded: "success"
 Removing torrent from list.
 localhost:9091 responded: "success"
 * * * * * Operations on torrent ID 1 completed. * * * * *

Rque : dans le script d’origine les fichiers étaient déplacés dès lors que leur statut était stopped ou idle ou finished. J’ai supprimé les 2 premiers statuts sinon les fichiers étaient enlevés alors que le ratio de partage n’était pas atteint…

Sources :

• Transmission : Site officiel
• Updated: How to Automatically Move and Remove Transmission-Daemon Downloads – 1000umbrellas.com: Source du script de suppression des torrent terminés

Au fil de mes lectures j’ai pu constater la puissance de la commande openssl permettant de générer ces fichiers mais aussi la difficulté à en appréhender le fonctionnement.

En effet pour réaliser une même tache il est possible de lancer x commandes différentes avec y options différentes.

De même pour passer un site en https, certains décrivent la création d’une clé et d’un certificat auto-signé directement utilisé par le serveur web et d’autres créent d’abord une autorité de certification (sous la forme d’une clé et d’un certificat auto-signé) qu’ils utilisent ensuite pour signer un autre certificat qui lui sera paramétré dans le serveur Web.

Ci-dessous les 3 types d’opérations trouvés :

• Génération d’un certificat serveur auto-signé (et de sa clé) pour utilisation directe par le serveur web.
• Création d’une autorité de certification
• Génération d’un certificat serveur et signature de ce dernier pour une autorité de certification

Pour chacune des ces opérations j’ai listés (non exhaustif) les différentes syntaxes trouvées (j’ai arrangé l’ordre des paramètres pour faciliter la comparaison)

L’objectif de cet article n’est pas de donner un mode opération pour créer un certificat et sa clé (je le ferais dans un autre article) mais il s’agit de mettre en avant la richesse et la difficulté à comprendre ce qui est fait avec la commande openssl…

(il s’agit d’un travail de débroussaillage pour choisir mon mode opératoire)

Premier point un peu en dehors du sujet, les extensions des fichiers, on trouve de tout :

• clé :  key,  pem
• demande de certificat : csr, pem
• certificat : crt, pem

Cela montre sans même rentrer dans le détail des commandes la difficulté à s’y retrouver….

Création d’un certificat serveur auto-signé

Solution 1 : Génération de la clé et du certificat auto-signé en 1 seule fois

nginx: serveur web complet bluffant

openssl req -x509 -nodes -days 365 -newkey rsa:1024 -out /etc/nginx/conf.d/default.pem -keyout /etc/nginx/conf.d/default.key
chmod 440 /etc/nginx/conf.d/default.pem /etc/nginx/conf.d/default.key

Nginx , SSL et plus encore ..

mkdir /etc/nginx/certificats
cd /etc/nginx/certificats
openssl req -new -x509 -nodes -out mon-site.fr.crt -keyout mon-site.fr.key

Solution 2 : en plusieurs commandes

(8)

Génération de la clé, génération de la demande de certificat, suppression de la passphrase et auto-signature du certificat

# cd /usr/local/nginx/conf
# openssl genrsa -des3 -out server.key 1024
# openssl req -new -key server.key -out server.csr
# cp server.key server.key.org
# openssl rsa -in server.key.org -out server.key
# openssl x509 -req -days 365 -in server.csr -signkey server.key -out server.crt

Création d’une autorité de certification

La création de l’autorité de certification peut se faire en plus ou moins d’étapes, avec divers options voici celles trouvées de ci de là.

Solution 1 : Génération de la clé et du certificat en 1 seule fois

(3)

openssl req -x509 -newkey rsa:2048 -days 1825 -keyout private/cacertkey.pem -out cacert.pem

(4)

openssl req -x509 -newkey rsa:2048 -new -days 3650 -keyout private/cacert.key -out cacert.pem

(6)

openssl req -x509 -new -days 1825 -config openssl.my.cnf -extensions v3_ca -keyout private/myca.key -out certs/myca.crt

Quelques remarque sur ces syntaxes :

-new est optionnel lorsque -newkey rsa:xxx est spécifié (syntaxe 4) , en en effet ce dernier crée une clé et une demande de certificat tandis que -new ne crée que la demande de certificat.

Dans la syntaxe 6 la clé est générée malgré la seul présence de l’option -new qui n’est sensée ne générer que le certificat. Mais en l’absence du mot-clé -key spécifiant une clé à utiliser pour créer le certificat, une nouvelle clé est générée en utilisant les données du fichier de configuration openssl.conf (ici l’auteur précise un autre fichier de configuration à utiliser plutôt que celui standard avec l’option -config)

Enfin il ne s’agit pas d’une demande de certificat qui est généré comme indiqué ci-dessus mais directement un certificat grâce à l’adjonction de l’option -x509

Solution 2 : Création de la clé privé puis création du certificat auto-signé

(1)

openssl genrsa -des3 2048 -out /etc/ssl/CA/private/my-ca.key
openssl -req x509 -key /etc/ssl/CA/private/my-ca.key -days 3650 > my-ca.crt

(7)

openssl genrsa -des3 2048 -out elao-ca.key
openssl req -x509 -new -key elao-ca.key -days 3650 -out elao-ca.crt

La différence entre ces 2 sources réside dans l’utilisation de 2 commandes différentes.

• req qui permet de générer un nouveau (-new) certificat auto-signé (-x509)
• x509 utilitaire de gestion des certificats (affichage, conversion) utilisé ici pour créer un nouveau certificat (-req)

Et de la méthode sortie (option out contre redirection)

Solution 3 : Création de la clé privé, demande de certificat et signature du certificat

(2)

openssl genrsa -des3 -out ca.key 2048
openssl req -new -key ca.key -out ca.csr
openssl x509 -req -days 3650 -in ca.csr -signkey ca.key -out ca.crt

Création d’un certificat serveur et signature par l’autorité de certification

Solution 1 : Création de la clé, suppression du mot de passe, demande de certificat, signature du certificat avec notre autorité

(2)

openssl genrsa -des3 -out server.key 1024
openssl rsa -in server.key -out server.key
openssl req -new -key server.key -out server.csr
openssl x509 -req -in server.csr -out server.crt -CA ca.crt -CAkey ca.key -CAcreateserial

(7)

openssl genrsa -des3 -out elao-server.key 1024
openssl rsa -in elao-server.key -out elao-server.key.insecure
openssl req -new -key elao-server.key -out elao-server.csr
openssl x509 -req -in elao-server.csr -out elao-server.crt -sha1 -CA elao-ca.crt -CAkey elao-ca.key -CAcreateserial -days 3650

L’option -CAcreateserial n’est nécessaire que lors de la signature du premier certificat par notre autorité de certification, elle peut même ne pas être nécessaire du tout si on a créé préalablement le fichier paramétré sous le nome database dans le fichier openssl.conf.

Solution 2 : Création de la clé sans mot de passe,  demande de certificat, signature du certificat avec notre autorité

(1)

openssl genrsa 1024 -out www.test.net.key
openssl req -new -key www.test.net.key -out www.test.net.csr
openssl ca -in www.test.net.csr -out www.test.net.crt

Le fait de ne pas mettre l’option -des3 génère une clé directement sans mot de passe

La signature se fait avec la commande ca au lieu de x509, mais je ne comprends pas pas où l’on spécifie que l’on doit utiliser notre autorité de certification, son certificat et sa clé (my-ca.crt et my-ca.key, voir ci-dessus solution 2)

Pour moi avec cette méthode le certificat généré est auto-signé ce qui n’est pas le but recherché.

Solution 3 : Création de la clé et de la demande de certificat, signature du certificat avec notre autorité

(3)

openssl req -newkey rsa:2048 -keyout private/server.key -out server-req.pem
openssl ca -in serveur-req.pem -out signedcerts/serveur-cert.pem -cert cacert.pem -keyfile private/cacertkey.pem -days 365

(6)

openssl req -new -keyout private/server.key -out server.csr -config openssl.my.cnf -nodes -days 365
openssl ca -infiles server.csr -out certs/server.crtc -config openssl.my.cnf -policy policy_anything

Concernant les commande de génération de al clé et de la demande de certificat :

• -new ne crée que la clé sauf si on n’utilise pas l’option -key auquel cas la clé est aussi générée
• -newkey rsa:xxx crée une clé et un certificat
• Ce sont des demandes de certificat qui sont générés (contrairement aux commandes que l’on a utilisé pour la création de l’autorité de certification solution 1) car nous n’avons pas l’option -x509
• L’option -nodes permet d’indiquer que la clé qui doit être générée ne doit pas être protégée par un mot de passe (passphrase)

Enfin les commande de signature des certificats doivent pouvoir être simplifiées comme dans la solution 2 (juste -in et -out)

Sources :

1. Openssl – création d’une autorité de certification et Openssl – générer et signer une demande de signature(CSR) | 404Blog
2. Autorité de certification openssl et Autorité de certification, le retour
3. OpenSSL : création et mise en place d’une PKI – K-Tux
4. Openssl pratique
5. Nginx , SSL et plus encore ..
6. Be your own Certificate Authority (CA)
7. Créer une autorité de certification et des certificats SSL auto-signés
8. Top 20 Nginx WebServer Best Security Practices

A voir pour les extensions de  fichier :

• http://en.wikipedia.org/wiki/X.509
• http://marc.info/?l=openssl-users&m=128008468329998&w=2
• Be your own Certificate Authority (CA)

Source d’info sur les commandes les pages MAN (par contre il faut s’y retrouver avec toutes les options !!)

• req
• x509
• openssl
• ca
• genrsa

Image par Erik Pitti (photo de la machine Enigma utilisé par les Allemands lors de la 2de guerre mondial pour crypter leur communication)

Bien que très pratique ce mécanisme n’est pas optimal en effet Transmission passe d’un mode à un autre pour une plage horaire et certains jours données or mon besoin est que Transmission passe du mode normal (sans limitation) au mode alternatif (vitesses limités, mode turtle/tortue) uniquement si un des mes PC est allumé, préservant ainsi ma bande passante pour pouvoir avoir un usage normal d’Internet.

Et dès que tous les PCs sont éteint on re-bascule en mode normal.

Voici le script que j’ai fait :

#!/bin/bash
 
cd $(dirname "${0}")
 
while read HOST_IP;
do
    ping -c 5 -w 15 $HOST_IP > /dev/null
    RESULT=$?
 
        if [ $RESULT -eq 0 ]; then
            break
        fi
 done < alt_speed_IP
 
if [ $RESULT -eq 0 ]; then
    echo "At least 1 computer on, set alt speed"
    transmission-remote -as
else  
    echo "no computer on, max speed"
    transmission-remote -AS
fi

Ce script attend un fichier alt_speed_IP contenant un liste d’adresse IP à surveiller (1 par ligne)

Pour chacun des adresses IP il essai de les pinguer, si au moins une adresse répond c’est qu’au moins un ordinateur de « bureau » est allumé et qu’il faut mettre Transmission en mode tortue pour préserver la bande passante.

Si au terme du ping de toutes les adresse du fichier alt_speed_IP aucun ordinateur n’a répondu Transmission peut repasser en mode normal.

Le changement de mode se fait avec la commande tranmission-remote du paquet transmission-cli…

Source :

Image par Stephen D’Agostino – its time to organize a show sous CC BY-NC-ND

J’ai aussi installé logrotate sur mon serveur, outil qui permet de faire tourner et d’archiver les fichiers de logs

Pour que les 2 fonctionnent ensemble il faut ajouter une configuration dans logrotate pour qu’il prennent en compte NGINX, ce dernier n’étant pas reconnu par logrotate lors de son installation.

Il faut donc créer un fichier nginx sous /etc/logrotate.d/ et y coller ceci (à adapter) :

/var/log/nginx/*.log {
	#rotate the logfile(s) daily
	daily
	# adds extension like YYYYMMDD instead of simply adding a number
	dateext
	# If log file is missing, go on to next one without issuing an error msg
	missingok
	# Save logfiles for the last 10 days
	rotate 10
	# Old versions of log files are compressed with gzip
	compress
	# Postpone compression of the previous log file to the next rotation cycle
	delaycompress
	# Do not rotate the log if it is empty
	notifempty
	#after logfile is rotated and nginx.pid exists, send the USR1 signal
	postrotate
		[ ! -f /var/run/nginx.pid  ] || kill -USR1 `cat /var/run/nginx.pid`
	endscript
}

C’est la directive postrotate qui est spécifique à NGINX et qui est importante : une fois les log tournées / archivées on lance un signal d’arrêt à NGINX pour qu’il recrée les fichiers de logs.

On testera la configuration avec la commande :

sudo logrotate -d /etc/logrotate.d/nginx

Voila pour le paramétrage de base.

J’y ai personnellement ajouté l’appel à un script de mon crû avant que logrotate ne fasse tourner les logs.

Ce script analyse les logs d’accès de NGINX et effectue une petite analyse des IPs et des utilisateurs qui se connectent :

#!/bin/bash
cd $(dirname "${0}")
log=[nom et chemin du fichier log]
 
date > $log
echo -e "\n"  >> $log
 
for file in /var/log/nginx/*access.log
do
     echo ${file} >> $log
 
     echo -e "\nNb accès par IP" >> $log
     cat ${file} | awk '{print $1}' | sort | uniq -c  >> $log
     sed -i 's/\(81..125.231.15$\)/\1 : Travail/' $log
     sed -i 's/\(89.5.45.52$\)/\1 : Maison/'  $log
 
     echo -e "\nNb accès par utilisateur" >> $log
     cat ${file} | awk '{print $3}' | sort | uniq -c >> $log
 
     echo -e "\n-------------------------\n" >> $log
done

qui produit ce genre de rapport :

jeudi 14 avril 2011, 13:35:21 (UTC+0200)
 
/var/log/nginx/access.log
 
Nb accès par IP
1 121.162.199.215
6 192.168.1.100 : Maison
1 208.80.194.29
1 222.187.222.26
 
Nb accès par utilisateur
4 -
5 mon_utilisateur
 
-------------------------
/var/log/nginx/xxxx.access.log
 
Nb accès par IP
250 125.54.42.12
 
Nb accès par utilisateur
250 utilisateur2
-------------------------
/var/log/nginx/yyyy.access.log
Nb accès par IP
Nb accès par utilisateur
-------------------------

Pour prendre en compte ce script et le faire exécuter j’ai ajouté les directives suivantes au fichier nginx de logrotate  :

# scripts are runned only once
sharedscripts
 
# before rotation log are analyzed
prerotate
    /chemin/statistiques_nginx.sh
endscript

Ainsi avant de faire tourner les logs NGINX logrotate exécute une seule fois le script que j’ai nommé statistiques_nginx.sh. Ce dernier produit un rapport que je m’envoie par email (via un autre script)

A noter qu’il existe des solutions clé en main et beaucoup plus évoluées, complètes d’analyse et de statistiques pour les logs des serveurs Web (voir dans les sources), mais cela me semble un peu trop pour mon usage.

Sources :

Logrotate :

• nginx logrotate config
• nginx log rotation
• How To Configure Logrotate Nginx Log in FreeBSD and Linux Machine.

Autres solutions de rotation des logs :

• Proper way to rotate Nginx logs
• Nginx and Cronolog

Script analyse des logs :

• HOWTO sort web-server logs to find top users
• Shell Script List All Top IP Address Accessing Apache / Lighttpd

Analyse des logs plus évoluées :

• Analysis access logs of Nginx by awstats
• nginx log rotation and analysis with webalizer
• w3perl
• awstats

Transmission supporte évidemment les blocklists, mais la liste utilisée n’est pas paramétrable, Transmission télécharge une liste de niveau 1 sur son URL mirroir

De plus la mise à jour de la liste n’est pas automatique. Sur le client lourd (transmission GTK) il existe un bouton permettant de mettre à jour la liste, mais évidemment sur le démon il n’ya pas de bouton.

Nous allons donc voir comment dans un premier temps mettre à jour la liste lorsque l’on utilise le démon puis ensuite comment utiliser des listes personnalisées et les mettre à jour automatiquement…

Dans les 2 cas il faut que le paramètre blocklist-enabled soit positionné à true dans votre fichier settings.json

Pour mettre à jour la liste de blocage Transmission lorsqu’on utilise le démon il faut passer par le commande transmission-remote du paquet transmission-cli :

#! /bin/sh
username='username'
password='password'
transmission-remote --auth $username:$password --blocklist-update
sudo /etc/init.d/transmission-daemon restart

A la fin on re-démarre le démon pour qu’il prenne ne compte la nouvelle liste, si comme moi vous utilisez sudo et que vous exécutez ce script avec votre utilisateur il faudra autoriser la commande de re-démarrage dans votre sudoer (voir en fin de éème solution)

Il suffira alors de mettre ce script dans une tache cron et le tour est joué…

Rque : comme ce script contient les login et mot de passe en clair de transmission RPC il conviendra de restreindre ses droits d’accès (chmod 700 script.sh)

Je n’ai pas testé ce script puisque j’utilise la deuxième solution qui consiste à gérer la mise à jour et l’origine de la liste de blocage :

#!/bin/bash
# Télécharge des blockslist à partir de http://iblocklist.com/lists.php
# et les intégre dans le répertoire de Transmission
# répertoire de travail
 
# répertoire de travail / temporaire
travail=$HOME/tmp/blocklists
# réperoire où Transmission stock les fichiers blocklist
transmissionBlocklist=$HOME/.config/transmission-daemon/blocklists
 
echo -e "******** Compilation d'une Bloclist pour Transmissionbt ***********"
 
if [ -e $travail ]; then
    echo -e "Répertoire de travail $travail "
else
    mkdir $travail
fi
rm $travail/*
 
#récupération des fichiers http://iblocklist.com/lists.php
echo -e "\n********* Téléchargements des listes de blocage *******************"
wget http://list.iblocklist.com/?list=bt_level1 -O $travail/bt_level1.gz
wget http://list.iblocklist.com/?list=bt_level2 -O $travail/bt_level2.gz
 
#décompression
echo -e "\n********* Décompression des listes téléchargées *******************"
gunzip -v $travail/*.gz
 
#concaténer les fichiers
echo -e "\n********* Création d'une seule liste sans redondance des données **"
echo -e "traitement en cours ...Patientez SVP..."
cd $travail
list1=$(ls) && sort -u $list1 >> blocklist &&
cd -
 
#Déplacement du fichier blocklist dans le répertoire de Transmission
echo -e "\n********* Déplacement de la Blocklist *****************************"
if [ -d $transmissionBlocklist ] ;then
    echo -e "Copie de sauvegarde de l'ancien fichier"
    mv -f $transmissionBlocklist/blocklist $travail/blocklist.bak
    echo -e "Déplacement du nouveau fichier dans le répertoire de Transmission"
    mv -f $travail/blocklist $transmissionBlocklist
fi
 
# Rechargement de Transmission
echo -e "Rechargement de la configuration de Transmission"
sudo /etc/init.d/transmission-deamon reload
ls $transmissionBlocklist/blocklist > /dev/null 2>&1
if [ $? -eq 0 ]; then
    echo -e "\n*********** Opération terminée ************************************"
else
    echo -e "\n *** KO **** !! Le fichier bloklist est vide !! *** KO *** "
fi

Le script télécharge les listes voulues (ici les niveaux 1 et 2), les dézippe et les concatène en excluant les doublons, la liste résultante est ensuite copié dans le répertoire utilisé par Transmission et le démon est rechargé.

Comme indiqué précédemment pour que la commande de rechargement du démon puisse être exécuté via sudo sans demande de mot de passe il faut modifier le sudoer ce qui se fait en lançant la commande

sudo visudo

Et en ajoutant une ligne du type :

mon_utilisateur ALL= NOPASSWD: /etc/init.d/transmission-daemon

De même que pour la première solution on mettra ce script dans une tache cron (à la semaine par exemple)

Pour finir quelques mots sur les listes de blocage.

Transmission supporte les formats P2P Plaintext (Nom:IP_Début:IP_Fin) et DAT (format binaire non éditable)

On pourra trouver des listes de blocage P2P sur les sites suivants :

• http://tbg.iblocklist.com/
• http://iblocklist.com/

On recommande la liste de iblocklist de niveau 1 (IP impliqués dans la lutte contre le piratage)  en général et la liste de niveau 2 (IP des sociétés en général, des laboratoires et proxy) éventuellement.

Edit : 31/05/2011 : correction la variable d’environnement $USER n’est pas connu dans CRON, utilisation de $HOME à la place (mieux en plus)

Sources :

• Papillon-butineur: Blocklists avec Transmission : source du script initial que j’ai modifié
• Blocklists – Transmission : documentation officielle sur les blocklist
• Scripts/BlockListUpdater – Transmission : script de mise à jour des blocklist (beaucoup moins évolué que celui de papillon-butineur)
• Random Stuff: Automatically update Transmission’s block list : Script moins complet
• transmission-remote and blocklist-update : script pour mettre à jour la blocklist

Image par Lou Ect sous CC BY-NC-ND

mv: impossible de préserver l'appartenance pour « nom_du_fichier »: Permission non accordée

Je n’ai pas trouvé d’options dans le man de mv pour ignorer les permissions lors du déplacement et avoir ces erreurs dans les logs de mon script m’embêtait un peu, voici donc la solution trouvée :

mv nom_du_fichier destination 2>&1 | grep -v préserver

Je re-dirige la sortie des erreurs vers la sortie standard (2>&1) et j’ignore les messages contenant le mot-clé « préserver »

Ce n’est pas l’idéal mais c’est la seule solution que j’ai trouvé pour l’instant (si quelqu’un connait mieux je suis preneur)

Le but est ici d’installer le client torrent Transmission et de le paramétrer sur une machine headless (pas d’interface graphique, pas d’écran, accessible par SSH) comme le Dockstar

Installation

Pour installer Transmission, simple comme d’habitude :

sudo aptitude install transmission-daemon transmission-cli

Le paquet transmission-daemon installe le démon (service) comme son nom l’indique et met à disposition l’interface Web, transmission-cli n’est à proprement parler pas nécessaire pour le fonctionnement de transmission, il met à disposition l’utilitaire transmission-remote très pratique pour interagir avec Transmission par script (pratique pour automatiser certaines taches que je décrirais dans une autre article)

Paramétrage

Tout d’abord avant d’attaquer la configuration proprement dite de Transmission, on va créer les répertoires destinés à accueillir et classer les fichiers.

Chez tout est rangé dans un répertoire /data/downloads/torrents, ce dernier contient 4 sous-répertoires :

• watch : répertoire surveillé par Transmission, tout fichier .torrent placé ici sera automatiquement ajouté à Transmission et le téléchargement débutera
• downloading : répertoire contenant les fichiers en cours de téléchargement (fichiers renommés avec l’extension .part car incomplets)
• seeding : les fichiers une fois finis de téléchargés seront déplacés ici et y resteront tout le temps qu’il seront en partage (jusqu’a ce que le ratio soit atteint)
• complete : les fichiers téléchargés ayant atteint le ratio de partage seront déplacés ici (pas réalisé par Transmission mais par script, objet d’un autre article)

Le paramétrage du démon Transmission se fait dans un fichier settings.json.

Par défaut sous Debian, Transmission est lancé avec un utilisateur debian-transmission mais il est peut être intéressant de changer cet utilisateur par son propre utilisateur et de déplacer le fichier de configuration de /etc/transmission-daemon vers le répertoire $HOME de cet utilisateur, pour cela se reporter à Exécuter Transmission avec l’utilisateur de son choix et déplacer son fichier de configuration vers $HOME

Avant d’éditer le fichier de configuration il est important d’arrêter le démon, ce dernier écrivant sa configuration à son arrêt vous risqueriez de perdre votre paramétrage.

Éditez votre fichier de configuration /etc/transmission-daemon/settings.json ou $HOME/.config/transmission-daemon/settings.json ce dernier au format JSON contient un ensemble de pair clé/valeur :

{
 "alt-speed-down": 50,
 "alt-speed-enabled": false,
 "alt-speed-time-begin": 540,
 ...
 "upload-limit-enabled": 0,
 "upload-slots-per-torrent": 4
}

La description des ces paramètres est disponible sur le Wiki de Transmission (EditConfigFiles – Transmission), mais voici ma traduction de ceux que j’utilise classés par catégories :

Répertoires :

Conformément à la structure de répertoire décrite ci-dessus on réalise le paramétrage suivant.

• incomplete-dir : « /data/downloads/torrents/downloading »
• incomplete-dir-enabled : true
• download-dir : « /data/downloads/torrents/seeding »
• watch-dir : « /data/downloads/torrents/watch »
• watch-dir-enabled : true

incomplete-dir indique le répertoire où sont stockés les fichiers en cours de téléchargement et incomplete-dir-enabled active cette fonctionnalité (sinon ces fichiers sont stockés dans le répertoire download-dir)

download-dir contient le répertoire où sont stockés les fichiers en cours de partage et terminés (nous verrons dans un autre article comment déplacer les fichier terminés vers un autre répertoire)

watch-dir contient le répertoire scruté pour ajout automatique de téléchargement par dépôt de fichier .torrent (fonctionnalité activé par watch-dir-enabled)

Quelques paramétrages associés :

• start-added-torrents : true
• trash-original-torrent-files : true
• rename-partial-files : true

start-added-torrents, indique qu’il faut directement démarrer le téléchargement de torrents ajoutés.

trash-original-torrent-files supprime les fichiers .torrent du répertoire watch-dir après qu’ils aient été pris en compte

rename-partial-files indique que les fichiers encours de téléchargement doivent avoir une extension .part. Pas utile dans mon cas puisque ces derniers sont déjà dans une répertoire à part, mais cela ne fait pas de mal.

Réseau :

• peer-port : xxx
• peer-port-random-high : 65535
• peer-port-random-low : 49152
• peer-port-random-on-start : false

peer-port contient le port d’écoute de Transmission, il faut que ce port soit ouvert sur votre routeur, peer-port-random-on-start indique que Transmission ne choisi aps son port de façon aléatoire et écoute donc toujours sur le port peer-port. Dès lors les paramètres peer-port-random-high et peer-port-random-low sont inutiles

Partage :

• ratio-limit : 1.0000
• ratio-limit-enabled : true

Transmission partage le fichiers jusqu’à ce que le ratio (quantité téléchargée / quantité partagée) paramétré dans ratio-limit soit atteint (ratio-limit-enabled : activation de la fonctionnalité)

Si on laisse ratio-limit-enabled: false, Transmission ignorera le paramètre ratio-limit et partagera le fichier infiniment (enfin jusqu’à ce que vous l’enleviez)

Un ratio de 1 est un minimum, car il indique que vous partagez autant que vous téléchargez

Accès distant :

• rpc-authentication-required : true
• rpc-bind-address : « 0.0.0.0″
• rpc-enabled : true
• rpc-password : « xxxx »
• rpc-port : 9091
• rpc-username : « xxxx »
• rpc-whitelist : « 127.0.0.1″
• rpc-whitelist-enabled : false

RPC veut dire Remote Procedure Call autrement dit cela permet l’accès à distance à un service. Dans le cas de Transmission cela paramétre l’accès au démon par l’interface Web (fournis par défaut avec le démon) mais aussi à tous les autres services distants (par exemple client lourd distant transmission-remote-gui)

On active le service avec rpc-enabled et on active la connexion par login / mot de passe (rpc-authentication-required / rpc-username / rpc-password)

Concernant rpc-password on met le mot de passe en clair et lors de la prise en compte du fichier de configuration par Transmission ce dernier crypte le mot de passe

rpc-port défini le port d’écoute, ainsi si on saisie dans la barre d’adresse de son navigateur l’adresse IP du serveur hébergeant Transmission sur la port 9091 on arrive sur l’interface Web.

Enfin il est possible de paramétrer une liste d’adresse IP autorisé à se connecter en RPC avec les options rpc-whitelist-enabled et rpc-whitelist. Je n’utilise pour l’instant pas cette option.

Vitesses :

Sur Transmission il est possible de gérer 2 modes de vitesse (normal et alternatif : alt)  et ce pour le téléchargement et l’upload.

La bascule entre ces 2 modes est aussi paramétrable selon les jours et les heures.

Concrètement on peut déterminer d’avoir ou pas de limite de vitesse en mode normal et d’autres limites de vitesse (ou pas) dans le mode alternatif.

Dans l’exemple suivant en mode normal il n’y aucune limite de vitesse ni en téléchargement speed-limit-down-enabled  (dès lors speed-limit-down est inutile) ni en upload speed-limit-up (speed-limit-up-enabled inutile).

Par contre on active le mode alternatif (alt-speed-enabled) et sa planification (alt-speed-time-enabled).

Entre 9h du matin (alt-speed-time-begin, 540 nombre minute depuis minuit = 9*60) et 23h (alt-speed-time-end, 1380 = 23*60 minutes) tous les jours de la semaine (cf. Scheduling) on limite le téléchargement (alt-speed-down) et l’upload (alt-speed-up)

Dès lors la bande passante est préservée durant les heures « d’éveil » rendant possible/agréable la navigation sur Internet tandis que durant la nuit Transmission télécharge à fond….

• speed-limit-down : 100
• speed-limit-down-enabled : false
• speed-limit-up : 40
• speed-limit-up-enabled : false
• alt-speed-down : 50
• alt-speed-enabled : true
• alt-speed-time-begin : 540
• alt-speed-time-day : 127
• alt-speed-time-enabled : true
• alt-speed-time-end : 1380
• alt-speed-up : 50

On verra dans un prochain article comment rendre ce système de mode normal / alternatif encore plus performant en ne le planifiant pas mais en basculant entres les 2 modes selon le besoin…

Sécurité :

• blocklist-enabled : true

Active le blocage des adresse IP, Transmission télécharge à intervalle régulier la liste des adresses IP de niveau 1 appartenant à des sociétés et des associations et les bloquent.

Inutile quand on a rien a se reprocher…

Autres paramétrages non utilisés :

• bind-address-ipv4 : « 0.0.0.0″
• bind-address-ipv6 : « :: »
• dht-enabled : true
• encryption : 1
• lazy-bitfield-enabled : true
• lpd-enabled : false
• message-level : 2
• open-file-limit : 32
• peer-limit-global : 240
• peer-limit-per-torrent : 60
• peer-socket-tos : 0
• pex-enabled : true
• port-forwarding-enabled : false
• preallocation : 1
• proxy : «  »
• proxy-auth-enabled : false
• proxy-auth-password : «  »
• proxy-auth-username : «  »
• proxy-enabled : false
• proxy-port : 80
• proxy-type : 0
• script-torrent-done-enabled : false
• script-torrent-done-filename : «  »
• upload-slots-per-torrent : 4
• umask : 18 (en décimal = 22 en octal)

Il y a même des paramètres qui sont obsolètes car remplacés par d’autres

• download-limit : 100
• download-limit-enabled : 0
• upload-limit : 100
• upload-limit-enabled : 0
• max-peers-global : 200

Sources :

• Transmission : Site officiel
• Transmission : Liste de plugins sur le site officiel
• EditConfigFiles – Transmission : Description des option du fichier settings.json sur le site officiel
• Updated: Transmission Installation/Configuration on Ubuntu Server – 1000umbrellas.com : Exemple de configuration et manipulations à effectuer sur les répertoires accueillant les torrents si vous laissez Transmission tourner avec l’utilisateur debian-transmission
• devINSIDE :: Blog :: Installer et configurer le package transmission-daemon sous debian : configuration de base + interaction avec un Vhost apache (intérêt ?)
• Installation Transmission daemon sur Ubuntu Server « Realpeace’s Blog : installation et configuration + quelques clients Transmission
• HaHadopi » Transmission-daemon sur sa seedbox : installation et configuration
• Configurer Transmission pour l’access a distance (CLI) | Shtark.fr : installation et configuration

Pour l’installer il suffit d’ajouter le paquet bwm-ng et pour le lancer on lance la commande du même nom (bwm-ng)

Très pratique dans mon cas pour connaitre la vitesse de transfert réseau entre mon Dockstar et ma Freebox lors d’une grosse copie que je trouvais particulièrement lente (et pour cause 2.5 Mo/s)

Pas besoin d’installer Dropbox depuis le source, il suffit d’arrêter le service Dropbox (clic droit sur l’icône dans la barre des taches et « Stop dropbox »), renommer le fichier .dropbox-dist sous votre home et redémarrer Dropbox (Applications > Internet > Dropbox).

En ligne de commande :

dropbox stop
mv ~/.dropbox-dist ~/.dropbox-dist.OLD
dropbox start

La nouvelle version sera téléchargée et installée.

Bonus pour installer les icônes monochrome plus intégrées au bureau Ubuntu, un paquet est disponible

Source : What’s New in Dropbox 1.0 for Ubuntu

Cette fonctionnalité de synchronisation est nommée Firefox Sync (ex Weave), elle est intégrée par défaut dans Firefox 4 (pour les version antérieure il faut passer par une extension).

« Firefox Sync » est un service qui vous permet de synchroniser vos marque-pages, votre historique, vos mots de passe et vos onglets ouverts avec une autre copie de Firefox – comme, par exemple, avec une sur un autre ordinateur ou sur un terminal mobile – source

Xmarks Sync vs Firefox Sync

Pour remplir ce rôle jusqu’alors j’utilisais l’extension Xmarks Sync, mais ces dernier temps la synchronisation se faisait de plus en plus longue, voir n’aboutissait pas pour les mots de passe.

De plus pourquoi ajouter une extension ralentissant potentiellement Firefox alors que ce dernier embarque désormais la fonctionnalité.

Autres différences (non exhaustif) :

1. Firefox Sync est libre et soutenu par la foncdation Mozilla, Xmarks est une société commerciale, le service à failli disparaitre (Xmarks is Dead. Long Live Xmarks?) avant son acquisition par Lastpass
2. Firefox Sync crypte les mots de passe avant d’envoyer les données vers le serveur alors que Xmark fait l’inverse
3. Firefox Sync synchronise les marques-page, l’historique, les préférences, les onglets ouverts et les mots de passe, Xmarks ne synchronise pas les préférences
4. Xmarks est multi-navigateur, Firefox Sync n’est que pour Firefox
5. Xmarks propose une interface de consultation des ses bookmarks via le web, Firefox Sync non
6. Xmarks sauvegarde l’historique des bookmark il est ainsi possible de revenir en arrière si on a supprimé par mégarde des marques-page, Firefox Sync je ne penses pas
7. Xmarks gère des notion de profil permettant par exemple de ne synchroniser qu’une partie des ses marques pages (au boulot par exemple), Firefox Sync non
8. Xmarks à une notion de partage de bookmark, Firefox Sync non
9. Xmarks modifie la page des résultats Google pour ajouter une prévisualisation et un système de notation
10. Xmarks est plus paramétrable et plus « loquace » sur ce qu’il fait
11. Xmarks et Firefox Sync permettent l’utilisation de son propre serveur, en HTTP(s) pour Firefox Sync, contre FTP(s) ou WebDav sur HTTP(s) pour Xmarks

Bref Xmarks possède nombre d’options en plus mais Firefox Sync est plus libre….

Toutes les informations (spécifications / API / Sources)  concernant le serveur Sync sont disponibles sur la page Firefox Sync du Wiki Mozilla

Installation Firefox Sync

Sync nécessite une plateforme LAMP ce qui n’est pas pour me plaire car je souhaite autant que possible me passer de MySQL et n’est pas forcément aisé à mettre en œuvre (cf. les sources) mais il existe une version light du serveur Sync.

Le serveur Firefox Sync minimal nécessite un serveur Web avec support du php (NGINX sur mon Dockstar) et SQLite.

Créer un répertoire dans votre arborescence web et donner les droits à l’utilisateur sous lequel votre serveur Web tourne (le plus souvent www-data) :

drwxrwxr-x  2 www-data www-data 4,0K 25/03/2011 20:54 weave/

Récupérer la dernière archive des scripts du serveur Firefox Sync minimal : http://people.mozilla.org/~telliott/

Décompresser cette archive dans le dossier précédemment créé.

Paramétrer votre serveur Web pour rendre accessible le répertoire et le documentation (fichier README) indique qu’il faut créer un alias du type :

Alias /weave /<chemin vers weave>/index.php

Ce qui sous NGINX se traduit ainsi :

location /weave {
    include /etc/nginx/fastcgi_params;
    fastcgi_pass   127.0.0.1:9000;
    fastcgi_index  index.php;
    fastcgi_param   SCRIPT_FILENAME $document_root/weave/index.php;
    fastcgi_param   SCRIPT_NAME $document_root/weave/index.php;
    if ( $request_uri ~ "/weave/([^?]*)" ) {
        set $path_info  /$1;
     }
    fastcgi_param   PATH_INFO       $path_info;
 }

Il faut ensuite aller à l’adresse suivante :

http://[adresse de votre serveur]/weave/1.0/blah/info/collection

Une authentification vous est réclamé :

Saisir :

• Utilisateur : blah
• Mot de passe : n’importe quoi

Dans le répertoire contenant les scripts php, une base SQLite doit avoir été créée :

-rw-r--r-- 1 www-data www-data 5,4M 25/03/2011 20:54 weave_db

On peut considérer Firefox Sync installé.

Configuration du/des utilisateur(s)

La version minimale du serveur Firefox Sync ne possède pas d’interface pour gérer les utilisateurs, il faut les créer « à la main » sur le serveur, ce qui offre l’avantage de ne pas avoir de risque de voir son serveur Sync sqatté…

La création d’un utilisateur se fait avec le script php create_user que l’on lance en ligne de commande.

Il faut pour cela avoir installé le paquet php5-cli.

Puis on lance le script et on répond aux question

$ sudo php create_user
(c)reate, (d)elete or change (p)assword: c
Please enter email: aa
Please enter password: aa
aa created

A noter qu’il n’est pas nécessaire de saisir un email comme indiqué mais le login souhaité

Et voila…

Configuration de Firefox 4

Dans Firefox 4 aller dans le bouton Firefox et sélectionner « Configurer sync… »

Sélectionner « J’ai déjà un compte sync, se connecter » :

Sélectionner « Je n’ai pas l’appareil avec moi »

2 cas de figure se présentent dès lors :

1ère configuration de Firefox

C’est le premier Firefox que vous configurez avec le compte utilisateur, le serveur Firefox Sync ne contient donc aucunes données.

Saisir votre login et mot de passe choisis lors de la création de l’utilisateur.

Dans la liste déroulante « Serveur » choisir « Utiliser un serveur personnalisé », puis saisir l’URL d’accès à Firefox Sync sur votre serveur.

Saisir une clé au hasard , elle ne sera pas prise en compte et Firefox en générera une autre.

Firefox détecte que c’est votre première configuration, il génère une nouvelle clé (que vous pouvez re-générer) :

Noter cette clé, ou l’enregistrer dans une endroit sûr, elle vous sera nécessaire pour configurer les autres Firefox que vous souhaiter synchroniser.

Cliquer sur « Modifier la clé de synchronisation ».

Cette alerte vous avertit que les données des autres appareils synchronisés avec le compte utilisateur choisi seront écrasées avec les données du Firefox en-cours de configuration.

Ce n’est pas grave puisque nous configurons le premier Firefox à synchroniser.

Cliquer sur Terminer :

Vous pouvez alors choisir les options de synchronisation en cliquant sur le bouton du même nom.

Choisir quelle données synchroniser et le mode de première synchronisation, dans mon cas mon Firefox contenant déjà tous mes Bookmark et rien sur le serveur j’ai choisi de remplacer les données du serveur par celle de mon Firefox.

Configuration des Firefox suivants

Vous avez déjà au moins un Firefox de paramétré, synchronisé, le serveur contient donc déjà des données pour l’utilisateur choisi et vous souhaitez en ajouter un autre.

Comme précédemment saisir votre login et mot de passe de l’utilisateur choisi, l’URL de votre serveur de synchronisation.

Saisir la clé générée lors de la configuration du 1er Firefox

Cliquer sur Suivant, Firefox vérifie le login/mdp et la clé saisie.

La configuration est terminée, de même qu’auparavant choisir les options de synchronisation.

Par contre contrairement à au paragraphe précédent (et à la copie d’écran), il faut choisir soit :

• de remplacer les donnée de ce Firefox par celle du serveur, si vous n’avez pas de bookmark sur l’ordinateur en cours
• de fusionner les données du serveur avec celle de l’ordinateur en cours de paramétrage

Rque : les options de paramétrage sont ensuite modifiables dans les options Firefox :

A noter que le menu Gestion du compte > modifier le mot de passe ne fonctionne pas avec la version minimal du serveur Firefox Sync.

Sécurisation HTTPS

Pour plus de sécurité il est conseillé de mettre en œuvre une connexion HTTPs, le flux HTTP est alors crypté avant d’être envoyé sur le réseau (internet).

Pour créer une connexion HTTPs avec NGINx je vais prochainement publier un article.

Une chose à savoir si vous utilisez un certificat auto-signé sur votre serveur Web (90% des cas, non ?), il vous faudra aller sur l’adresse de Firefox Sync sur votre serveur avec Firefox, et accepter l’alerte de sécurité avant de paramétrer Firefox Sync sur ce même Firefox.

Sources :

Installation d’un serveur complet :

Installation d’un serveur Weave

Install & Setup a custom Firefox Sync/Weave server

Installation d’un serveur minimal :

Weave Minimal Server « Tapestry

Installation d’un serveur Firefox sync | Gege2061′s blog

Serveur Firefox Sync et NGINX :

More alternate server possibilities « Tapestry

Got Mozilla Weave working with Nginx — Hasse’s technical ramblings

► Installer son propre serveur Firefox sync avec PHP-FPM et Nginx ◄ – Jean Baptiste Favre

Un bug existe sur le launchpad, cela ne semble pas affecter toutes les applications mais uniquement celle qui ne respectent pas les recommandations freedesktop concernant le presse papier.

La solution de contournement est d’installer un gestionnaire du presse-papier évolué comme Parcellite

Le problème concernant parcellite  : l’icône de la barre des taches n’est pas monochrome faisant tache dans le thème Humanity.

Des icônes monochrome de remplacement sont disponibles :

• Ubuntu Mono Parcellite Icon
• Humanity for parcellite

Il faut ensuite copier l’icône choisie dans /usr/share/icons/Humanity/actions/24/ sous le nom edit-paste.svg.

Ce qui donne :

sudo mv /usr/share/icons/Humanity/actions/24/edit-paste.svg /usr/share/icons/Humanity/actions/24/edit-paste_ini.svg
 
sudo cp [votre icône].svg /usr/share/icons/Humanity/actions/24/edit-paste.svg

Re-démarrer et voila :

(Reste à m’occuper de Dropbox : Fait)

Rque : ne fonctionne que pour parcellite 0.9.x mais pas pour les versions 1.x

Source :

Humanity Style Icons for Parcellite

parcellite – Documentation Ubuntu Francophone : le chemin indiqué dans cet article est faux

A voir :Tray Icons for Gnome v0.8

Bref tout ce qui est possible, en gros un Gspot pour Linux et en ligne de commande.

Cette pépite s’appelle mediainfo.

Son installation :

sudo aptitude install mediainfo

Son utilisation :

mediainfo [nom du fichier vidéo]

Exemple d’infos :

General
Unique ID                        : 0 (0x0)
Complete name                    : /data/multimedia/NonTries/xxx.mkv
Format                           : Matroska
File size                        : 1.46 GiB
Duration                         : 1h 1mn
Overall bit rate                 : 3 385 Kbps
Encoded date                     : UTC 2010-02-22 21:41:29
Writing application              : no_variable_data
Writing library                  : no_variable_data
 
Video
ID                               : 2
Format                           : AVC
Format/Info                      : Advanced Video Codec
Format profile                   : High@L3.1
Format settings, CABAC           : Yes
Format settings, ReFrames        : 3 frames
Codec ID                         : V_MPEG4/ISO/AVC
Duration                         : 1h 1mn
Bit rate                         : 2 994 Kbps
Width                            : 1 280 pixels
Height                           : 720 pixels
Display aspect ratio             : 16:9
Frame rate                       : 23.976 fps
Color space                      : YUV
Chroma subsampling               : 4:2:0
Bit depth                        : 8 bits
Scan type                        : Progressive
Bits/(Pixel*Frame)               : 0.135
Stream size                      : 1.26 GiB (87%)
Writing library                  : x264 core 85 r1442tw
Encoding settings                : cabac=1 / ref=3 / deblock=1:0:0 / analyse=0x3:0x113 / me=hex / subme=6 / psy=1 / psy_rd=1.00:0.00 / mixed_ref=0 / me_range=16 / chroma_me=1 / trellis=1 / 8x8dct=1 / cqm=0 / deadzone=21,11 / fast_pskip=1 / chroma_qp_offset=-2 / threads=30 / sliced_threads=0 / nr=0 / decimate=1 / mbaff=0 / constrained_intra=0 / bframes=6 / b_pyramid=1 / b_adapt=1 / b_bias=0 / direct=1 / wpredb=1 / wpredp=0 / keyint=240 / keyint_min=24 / scenecut=40 / intra_refresh=0 / rc_lookahead=40 / rc=2pass / mbtree=1 / bitrate=2994 / ratetol=1.0 / qcomp=0.60 / qpmin=10 / qpmax=51 / qpstep=4 / cplxblur=20.0 / qblur=0.5 / ip_ratio=1.40 / aq=1:1.00
Language                         : English
 
Audio
ID                               : 1
Format                           : AC-3
Format/Info                      : Audio Coding 3
Mode extension                   : CM (complete main)
Codec ID                         : A_AC3
Duration                         : 1h 1mn
Bit rate mode                    : Constant
Bit rate                         : 384 Kbps
Channel(s)                       : 6 channels
Channel positions                : Front: L C R, Side: L R, LFE
Sampling rate                    : 48.0 KHz
Bit depth                        : 16 bits
Compression mode                 : Lossy
Stream size                      : 169 MiB (11%)

Rque : il existe une version avec une interface graphique : mediainfo-gui mais je ne l’ai pas testée

Source

KMyMoney commes son nom l’indique est une application KDE que je fais tourner sous Gnome (Ubuntu) et j’avais comme problème le séparateur décimal qui était la virgule au lieu du point (du pavé numérique).

Pour paramétrer le séparateur décimal sous KDE il faut passer par l’application de configuration du système fournis avec le package systemsettings;

Installer ce package si ce n’est pas déjà fait (KMyMoney l’a en tant que dépendance) et lancer l’application en ligne de commande :

systemsettings

Dans le cas du séparateur décimal la configuration se fait dans Localisation > Nombre et Monnaies (aux 2 endroits)

Dans cette article je vais décrire comment arranger cette injustice.

Pour rappel les grandes différences d’apparence entre Firefox 4 sous Ubuntu et sous XP sont les suivantes :

Pas d’icônes monochrome (que se soit les icône par défauts de FF ou celle de all-in-one sidebar), le bouton Firefox n’est pas dans la barre de titre et n’est pas orange, les onglets ne sont pas dans la barre de titre, les onglets d’arrière plan sont noirs.

Avec ce mode opératoire ne seront corrigés que les icônes en couleurs et les onglets d’arrière plan noirs.

Le gros du travail est réalisé par l’installation d’un thème : Strata XP on Linux

Au terme duquel les boutons des barres de titres seront devenus monochrome et les onglets d’arrière plan gris légérement plus foncé que ceux de premier plan :

Par contre si vous utilisez l’extension All-in-One Sidebar les icônes sont partiellement monochromes :

Pour remédier à ce problème la solution est beaucoup moins simple.

Il faut que vous téléchargiez cette image (les petites icônes sont celles du thème XP et les grandes je les ai créées / re-travaillées) :

Et que vous sauvegardiez cette image dans le répertoire skin du répertoire de l’extension All in One Sidebar de votre profil, ce qui chez moi (Ubuntu 10.10) est :

/home/[utilisateur]/.mozilla/firefox/[profil].default/extensions/{097d3191-e6fa-4728-9826-b533d755359d}/skin/icons

(faite une sauvegarde du fichier d’origine)

Re-démarrez Firefox et tada :

Rque :

• L’icône flashblock reste en couleur mais c’est pareil sous XP
• le rendu des grandes icônes n’est pas super dans la barre d’AIO sidebar, mais je n’ai pas envie de les refaire (en plus je ne les utilise pas)

Pour restreindre l’accès à ces applications/sites web, j’aurais pu choisir des scripts php qui intégraient une gestion utilisateurs. Mais il est déjà difficile de trouver un script php qui fasse ce que l’on veut et qui soit léger donc si il faut en plus qu’il intègre une gestion complète et sécurisée des accès utilisateurs cela devient mission impossible….

Surtout qu’il existe une alternative : déléguer l’accès à un site au serveur web.

Authentification par mot de passe

Avec Apache cela se fait avec les fichiers .htacces, sous Nginx cela se fait dans le fichier de configuration du site avec le module HttpAuthBasicModule.

La configuration d’un site se fait via la création d’un fichier dans le répertoire /etc/nginx/sites-enabled/, pour restreindre l’accès à un répertoire d’un site il suffit d’ajouter les directives auth_basic et auth_basic_user_file dans le fichier du site.

• La directive auth_basic indique que l’on utilise une authentification, les texte après sera affiché dans la boite de dialogue d’authentification :
• La directive auth_basic_user_file indique le chemin vers le fichier contenant les couple login / mot de passe (crypté) autorisé à accéder au répertoire.

Voici ma configuration :

server {
	listen       80;
	server_name  localhost;
	root         /var/www;
 
	# Security
	location ~ /\.ht {
		deny  all;
	}
 
	location /Repertoire_protege/ {
		auth_basic            "Qui va là";
		auth_basic_user_file  /$document_root/Repertoire_protege/.htpasswd;
 
		index  index.html index.htm index.php;
 
		location ~ \.php$ {
			include /etc/nginx/fastcgi_params;
			fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
			fastcgi_pass    127.0.0.1:9000;
		}
	}
}

J’ai personnellement choisi de stocker le fichier contenant les login/mots de passe dans le répertoire à protéger lui même mais on peut le mettre où l’on souhaite (/etc/nginx, etc…), de même le nom est par convention/ habitude .htpasswd (héritage d’Apache) mais on peut choisir le nom que l’on veut.

Par sécurité (indispensable) dès lors que l’on stock ce fichier dans un répertoire accessible par Nginx, il convient d’interdire son accès (sinon il pourra être affiché/télécharger). Dans mon cas il s’agit de la directive « location ~ /\.ht » qui interdit l’accès à tous fichier commençant par .ht

Création du fichier des login / mot de passe

Pour créer le fichier .htpasswd contenant les login et le mot de passe crypté, il est communément conseillé d’utiliser le programme htpasswd du package apache2-utils.

Lorsque l’on utilise Nginx, il est toujours un peu dérangeant d’installer un package apache (même si ce dernier est petit : 1.3Mo), il existe donc des alternative sous forme de script perl par exemple.

Le premier que j’ai trouvé/testé est basique  :

#!/usr/bin/perl
 use strict;
 chomp(my $username=$ARGV[0]);
 chomp(my $password=$ARGV[1]);
 print $username.":".crypt($password,$username)."\n";

Il prend en paramètre le login et le mot de passe (en clair), crypte le mot de passe et écrit sur la sortie standard le couple login / mot de passe crypté avec la format attendu d’un ficheir .htpasswd.

Le second (que j’ai gardé) est plus ressemblant à htpasswd d’Apache htpasswd-b: a smart replacement for the Apache htpasswd utility

#!/usr/bin/perl
 
if (! scalar @ARGV ) {
	print "Usage: htpasswd-b passwordfile user password\n";
	print "(this program automatically creates the pw file if needed.)\n";
	exit 0;
}
 
@saltsource = ('a'..'z', 'A'..'Z', '0'..'9','.','/');
$randum_num = int(rand(scalar @saltsource));
$salt = $saltsource[$randum_num];
$randum_num = int(rand(scalar @saltsource));
$salt .= $saltsource[$randum_num];
 
$outf=$ARGV[0];
$user=$ARGV[1];
$passwd=$ARGV[2];
 
if ($user && $passwd) {
	$encrypted = crypt($passwd, "$salt");
 
	if (-f $outf) {
		open(OUT, ">>$outf") || die "htpasswd-b error: $!\n";
	} else {
		open(OUT, ">$outf") || die "htpasswd-b error: $!\n";
	}
	print OUT "$user:$encrypted\n";
	close(OUT);
 
	exit 0;
}

Créer un fichier (par exemple htpasswd-perl.pl), y copier le texte ci-dessus, le rendre exécutable (chmod). Il suffit ensuite d’appeler ce script avec le nom du fichier à créer / compléter, le login et le mot de passe en clair.

./htpasswd-perl.pl /var/www/Repertoire_protege/.htpasswd utilisateur mot_de_passe

Enfin j’ai trouvé mais non testé un troisième script qui semble très complet :

htpasswd-perl: mon replacement de htpasswd | Shtark.fr

Authentification par mot de passe et php

Si votre site doit servir des pages php vous aurez surement une directive du type « location ~ \.php$ » indiquant le paramétrage fastCGI. Il est très important de mettre cette directive dans le bloc location protégé (cf ma configuration ci-dessus) sinon l’accès au répertoire sera protégé :

http:/localhost/Repertoire_protege

Mais pas l’accès directe à une page php sur le même site :

http:/localhost/Repertoire_protege/index.php

Restriction d’accès par IP

Pour être encore plus sécurisé on peut carrément restreindre l’accès d’un site ou d’un répertoire à une liste fini d’adresse IP avec les directives allow et deny :

	location /Repertoire_protege/ {
		auth_basic            "Qui va là";
		auth_basic_user_file  /$document_root/Repertoire_protege/.htpasswd;
 
		allow 127.0.0.1;
		deny all;
 
		index  index.html index.htm index.php;
 
		location ~ \.php$ {
			include /etc/nginx/fastcgi_params;
			fastcgi_param   SCRIPT_FILENAME  $document_root$fastcgi_script_name;
			fastcgi_pass    127.0.0.1:9000;
		}
	}

Allow liste les IP autorisés et deny celle qui sont interdites, dans l’exemple ci-dessus toutes les IP sont interdites sauf l’IP locale (127.0.0.1)

Enfin on peut affiner le comportement de la restriction par IP avec la restriction par mot de passe avec la directive satisfy qui indique si les 2 restrictions (IP + mot de passe) doivent être remplies (satisfy all) ou 1 seule d’entre elle (satisfy any) :

Exemple si on a une restriction par mot de passe + la restriction suivante :

allow 192.168.1.100;
deny all;

Voici les résultats en fonction de la machine accédant au site/répertoire :

Sources :

Password protect folders with NGINX the right way : Indique la « ruse » de protection d’un répertoire avec php

Restriction of the access with the help of Nginx : voir restriction sur IP

How nginx processes a request

nginx auth password or ip – Server Fault

Si vous changez d’utilisateur avec su puis que vous lancez screen

utilisateur1 $ su utilisateur2 
Mot de passe : xxx 
utilisateur2 $ screen

vous aurez le message d’erreur suivant :

Cannot open your terminal '/dev/pts/0' - please check.

Et effectivement si vous regardez les droits du fichier /dev/pts/0, il appartient bien à l’utilisateur connecté (et non pas celui modifié via su) :

crw--w---- 1 utilisateur1 tty 136, 0 2010-01-27 13:36 /dev/pts/0

La solution : on ne peut plus simple inverser l’ordre des commandes : lancer screen puis faire le su dans screen

utilisateur2 $ screen 
utilisateur1 $ su utilisateur2 
Mot de passe : xxx