server7even

Linux muss nicht defragmentieren:

Linux unterscheidet sich in vielen Dingen grundlegend von dem Redmonder System, so auch im Festplattendatenhandling. Im Gegensatz zu Windows bringt eine Defragmentierung nichts, denn nach der Fragmentierung wird das Dateisystem sehr schnell wieder einen fuer die Nutzungsweise des Dateisystems charakteristischen Fragmentierungslevel anstreben und dann dort verweilen.

Ausserdem spielt die Laenge der Fragmente eine Rolle. Linux verwendet kernelintern ein Readahead von 16 Blocks. Das bedeutet: Wenn eine Datei sequentiell durchgelesen wird (weit ueber 95% alle Lesezugriffe!), liest Linux bis zu 16 Bloecks am Stueck voraus, um den kernelinternen Cache "vorzuheizen", in der Hoffnung, dass diese Bloecke gleich von dem betreffenden Programm verlangt werden.

Wenn die Fragmente also groesser als 16 Bloecke sind (die meisten sind das, siehe unten), dann ist es letztendlich egal, ob die Datei fragmentiert ist oder nicht, weil der Seek in den Readaheads untergeht. Nur Fragmente, die kleiner sind als 16 Bloecke wirken sich wirklich schaedlich auf die Leseperformance aus.

Das Dateisystem schreibt Dateien nun auch mit einer Art writeahead, aeh, mit Preallocation. Wenn Du im Dateisystem einen Block schreibst, belegt das Dateisystem gleich bis zu 7 weitere Bloecke in Folge fuer diese Datei. Zwei konkurrierende Schreibzugriffe in einem Verzeichnis wuerden also nicht Bloecke der Form

121212121212

anordnen, sondern eine Blockfolge

1ppppppp2qqqqqqq

erzeugen, wobei jeweils 1 und 2 geschriebene Bloecke der Dateien 1 und 2 sind und p und q fuer 1 bzw. 2 vorbestellte Bloecke sind. Werden 1 und 2 konkurrierend verlaengert, entsteht so

11111111222222221ppppppp2qqqqqqqq

und so weiter. Auf diese Weise wird die schaedliche (kleine) Fragmentierung weitestgehend vermieden. Das ganze Verfahren ist eine Verallgemeinerung des Fragment/Block-Verfahrens des BSD Fast Filing Systems.

Ausserdem muss man als Anwender auf einem Multitaskingsystem auch noch zwischen Performance und Durchsatz unterscheiden: Performance ist das, was ein Anwender mit einem einzelnen Prozess maximal aus der Platte an MB/sec rausziehen kann. Durchsatz ist das, was die Platte ueber alle Anwender und Prozesse gerechnet an MB/sec ausspuckt.

In Multitasking-Systemen ist der Durchsatz oft sehr viel groesser als die Performance. Linux benutzt Algorithmen, die den Durchsatz, nicht die Performance des System erhoehen. Zum Beispiel werden Zugriffe auf die Festplatte, die in der Wait Queue der Disk stehen, nach Blocknummern aufsteigend sortiert. Mit einem Saegezahn-Algorithmus klettert der Kopf der Platte zu den hohen Blocknummern und serviced die Requests, um dann in einem long seek nach unten zu zucken und die naechste Runde zu drehen. (Nein, das ist nicht ganz der Fahrstuhl-Algorithmus: Mit dem waren die Latenzen/Service Times zu hoch und der Algorithmus ist nicht fair). Ausserdem werden aufeinanderfolgende Requests fuer denselben Prozess von Linux zu einem Request groesserer Groesse zusammengefasst (geclustert).

Durch eine solche Sortierung erfolgen die Lesezugriffe nicht in der Reihenfolge und mit der Groesse, die der Prozess ausgegeben hat, sondern in der Reihenfolge und mit einer Groesse, die der Platte genehm ist. Auf diese Weise werden die Effekte von grosser Fragmentierung weitgehend ueberdeckt - nur kleine Fragmente wirken sich schaedlich auf den Durchsatz auf.

Und zum Schluss liegt ueber all diesem auch noch der Buffer Cache des Betriebssystems, d.h. beim zweiten Leseversuch kommt sowieso alles aus dem Ram und die Anordnung der Daten auf der Platte ist vollkommen schnurz, egal ob Ext2/3 Reiser und wie sie alle heißen als Filesystem benutzt wird.


Defragmentierung wäre reine Zeitverschwendung


Quelle: http://www.computerhilfen.de/hilfen-6-96126-0.html

Kategorie(n): Linux, Datenverwaltung

[Bearbeiten] [Löschen]

Creation of Arrays

# make /dev/md0 a RAID1 array
mdadm --create /dev/md0 --level 1 -n 2 /dev/sda2 /dev/hda2
mdadm --detail /dev/md0 # have a look

# make /dev/md1 a RAID0 array
mdadm --create /dev/md1 --level 0 -n 2 /dev/hda1 /dev/sda3
mdadm --detail /dev/md1 # have a look

# make /dev/md3 a RAID1 array with one missing device (to add later on - see below...)
mdadm --create /dev/md3 --level=1 --raid-devices=2 missing /dev/sdb3

Add devices to /dev/md3

# add device /dev/sda3 to existing raid array /dev/md3
mdadm --add /dev/md3 /dev/sda3

Monitor mdadm arrays

cat /proc/mdstat

Configure /dev/md3 in /etc/mdadm/mdadm.conf (obsolete for Debian Lenny or optional, I am not sure...)

DEVICE /dev/sda3 /dev/sdb3
ARRAY /dev/md3 level=raid1 num-devices=2 UUID=0fc5588a:2fddde42:87a3b1dd:0d49cb68 devices=/dev/sda3,/dev/sdb3

First line (DEVICE) to be added manually, second line (ARRAY) with following command:
mdadm --brief --detail --verbose /dev/md3 >> /etc/mdadm/mdadm.conf

Postponing stuff: use the device

mkfs.ext3 /dev/md3
mount /dev/md3 /mnt

...or similar (do as you want)


Information sources:
(1) http://www.administrator.de/index.php?content=28672 (2) http://www.shimari.com/dm-crypt-on-raid/

Kategorie(n): Linux, Datenverwaltung

[Bearbeiten] [Löschen]

Create crypted partition

luksformat -t ext3 /dev/YOURDEVICE

- You are asked for new passphrase
- You have to repeat it two times

Open crypted partition

cryptsetup luksOpen /dev/YOURDEVICE YOURFAVORITENAME

- You are asked for the passphrase

Mount the device that is created by cryptsetup as usual devices:
mount /dev/mapper/YOURFAVORITENAME /mnt/YOURFAVORITEMOUNTPOINT

Close crypted partition

Unmount as usual:
umount /mnt/YOURFAVORITEMOUNTPOINT

Close crypted partition:
cryptsetup luksClose /dev/mapper/YOURFAVORITENAME

Auto mount and auto-open

Note: this is semi-automatic as you have to type in the passwort upon boot up - otherwise the sense of crypting would be void

In /etc/crypttab:
YOURFAVORITENAME   /dev/YOURDEVICE   none   luks

In /etc/fstab:
/dev/mapper/YOURFAVORITENAME   /mnt/YOURFAVORITEMOUNTPOINT   ext3   auto,defaults   0   0


Source: http://www.andreas-janssen.de/cryptodisk.html

Kategorie(n): Linux, Datenverwaltung, Sicherheit

[Bearbeiten] [Löschen]

Wenn die Thinkpad-Tasten nicht funktionieren, alle Benutzer in die Gruppe "kmem" aufnehmen, dann tuts.

Hintergrund: Der komische Hintergrunddienst tpb, der diese Tasten verwaltet, braucht Zugriff auf /dev/nvram und dieses darf eben nur von der Gruppe kmem benutzt werden.

Find ich persönlich ja auch son bisschen assi, dass das nicht automatisch so aktiviert ist.... was soll das?

Kategorie(n): Linux, Sicherheit, SVN, Datenverwaltung, Windows, Linux

[Bearbeiten] [Löschen]