Open Source Deduplizierung

Workshop - Deduplizierung mit lessfs unter Linux

15.12.2011
Von Thomas Steudten

Konfiguration

Für diesen Workshop wurde lessfs in der Version 1.3.3.8 für Linux 64 Bit verwendet, die aus dem verfügbaren tar-Archiv übersetzt wurde.

Nach dem erfolgreichen Build (configure; make; sudo make install) erhält man vier ausführbare Programme, nämlich mklessfs, lessfsck, defrag_lessfs und lessfs. Ein Manual existiert zur Zeit nur für lessfs. Obligatorisch ist eine Konfigurationsdatei: lessfs.cfg

Im Verzeichnis ./etc finden sich dafür Beispiele. Es empfiehlt sich diese Datei nach /etc zur systemweiten Nutzung zu kopieren.

Für die Funktion setzt lessfs auf zwei Flat-Datenbanken, die Hamster- und Tokyocabinet-DB. Letztere ist Default und über die Option "--with-hamsterdb" bei configure, kann die andere ausgewählt werden.

  • mklessfs: Mittels des Aufrufs "mklessfs -c /etc/lessfs.cfg" wird die Datenbank mit den Einstellungen aus der Konfigurationsdatei initiiert.

  • lessfsck: Ist das Dateisystem noch nicht eingehängt (mount), kann man mit diesem Aufruf ein Dateisystemcheck optional mit Optimierungen für die Tokyocabinet-DB ausführen: "lessfsck -c /etc/lessfs.cfg". Per Default ist jedoch die Option "ENABLE_TRANSACTIONS=on" gesetzt, so daß dieses Kommando nur selten zur Ausführung kommen wird.

  • defrag_lessfs: Hat man die Option "DYNAMIC_DEFRAGMENTATION=on" in der Konfigurationsdatei gesetzt, dann erübrigt sich das manuelle Defragmentieren der Datenbank über "defrag_lessfs /etc/lessfs.cfg". Auch kann man dies per Remote-Konsole online triggern.

  • lessfs: Dies ist die Kommandozentrale und erlaubt das Einhängen des lessfs-Dateisystems über "lessfs /etc/lessfs.cfg /mnt/data [-o ..]". Wer diese Aktivierung gleich nach dem Systemstart möchte, kopiert sich das SysV-Init-Skript aus ./etc nach /etc/init.d, passt es an und richtet die Links entsprechend ein.