Cluster Knoppix 3.3

Homepage: http://bofh.be/clusterknoppix/

Inhalt

TableOfContents

Worum es geht

ClusterKnoppix ist die Vernetzung von mehreren Computer für mehr Rechenleistung. Es wird Openmosix eingesetzt. Die Rechner arbeiten dann aber nicht einfach parallel, sondern arbeitsintensieve Prozesse werden nach einem volkswirtschaftlichen Aspekt beurteilt, ob sich das Verschieben dieser Aufgabe auf einen andern Rechner lohnt. Wenn ja, wird der Prozess auf auf dem Orginal Computer eingefroren und auf einen anderen Rechner verschoben und da restartet. Nach Beendigung wird der Prozess zurückgeholt auf den Orginal Computer. Dabei ist darauf zu achten das man die gleichen Kernelversionen benützt inerhalb eines OpenMosix Systems. Auf der clusterKnoppix ist auch pvm, povray render Aufgaben werden parallel an alle Rechner verteilt.

Was es kann

clusterKnoppix 3.3 bietet anderen Client-Rechner über das Netz das ganze Betriebssystem an, diese Client sollten über Netzwerkkarten verfügen die PXE boot Fähigkeit haben. Da die Clients vom Master über Netz booten. In dieser Beschreibung wird davon ausgegangen, das man zwei Netzwerkarten installiert hat. Eine wird für die Verbindung an ein bestehendes Netz oder Provider verwendet, die zweite Karte ist für die Cluster-Clients reserviert. Auf der Homepage von clusterKnoppix unter Dokumentation findet man links wenn man z.b keine Netzwerkkarten hat die PXE boot können.

Was es nicht kann

DVD rippen und umwandeln auf divx kann man allgemein nicht mit einem Cluster. Da mpeg Dateien nicht zeilenweise abgearbeitet werden können. Wer sowas machen will, richtet sich am besten einen Fileserver ein, und splitet die Quelle-mpeg Datei in ein paar gleich grosse Teile und verteilt die dann auf freie Rechner, transcoded diese Einzelteile lokal. Zurück auf dem Fileserver fügt (avimerge) man die Teile wieder zusammen. (rsh Kommando für Befehle ausführen auf entfernten Rechner)

Installation

Es wird nur die Harddisk installation betrachtet, und nicht das Live-System (Benützung nur ab CD). Ein bisschen Linux Kenntniss ist wünschenswert, das System wird nachher so angepasst, das der Master Computer auch zum Cluster gehört, sowie die benötigten Dienste automatisch starten.

Die Version 3.3 von der clusterKnoppix Homepage herunterladen, diese Datei auf CD brennen, bootbar. Booten ab CD. Wenn die grafische oberfläche da ist, allenfalls rechts neben der Uhr die Tastatur einstellen (rechts klick). Beim Penguin Symbohl unten links, eine Root Shell öffnen, darin /usr/local/bin/knx-hdinstall aufrufen. Festplatte auswähen, eine 10GB partition würd ich einrichten, minimal 3GByte. Allenfalls reiserfs wählen, ext2 würd ich nicht nehmen, und ext3 wird schlecht supportet von diesem Kernel auf dieser Knoppix. Danach wird man gefragt ob man eine SWAP benützen will, verneinen, weil sich die Installtion aufhängt dann. Files werden auf die Partition kopiert. Beim root Passwort würd ich nur 12345 eingeben und erst später wenn das richtige System leuft nochmals anpassen, weil die Tastatur anfangs noch nicht stimmt beim ersten boot. Für ein Cluster System würd ich keinen Mailserver installieren. Lassen Sie sich sich den DHCP Broadcast installieren. Benötigt wird auch sshd wichtig.

Erster Boot ohne CD, das System anpassen

Tastatur

Nach dem Reboot müssen einige Sachen angepasst werden. Beim kdm grafischen Login ist die Tastatur noch auf US Keyboard Layout, beachten Sie das wenn Sie ihr root passwort eintippen. In der Datei /etc/X11/XF86config-4 kann man diese Keyboard Layout von "us" auf "de" oder für die schweiz auf "de_CH" ändern. Das Layout für X wird erst aktiv, nachdem man X einmal abschiesst, resp. kdm, ctrl+strg+Backspace, oder reboot des Rechners (empfohlen).

Auch die Console ist noch falsch konfiguriert, "dpkg-reconfigure console-data" (Select from arch list->qwertz->das richtige Layout wählen und latin1). Wer Numlock on will, In /etc/console-tools/config LEDS=+num aktivieren für console, für's X kann man "apt-get install numlockx" machen, falls man schon online ist.

Netzwerkkarten

Die Netzwerkkarten Module sollten schon geladen sein. Es kann hier nicht näher auf Hardware eingegangen werden.

eth0 = Anbindung an bestehenden Server als dhcp-client

eth1 = DHCP Server von unserem cluserKnoppix, von hier werden die Cluster-Client Nodes gestartet

# /etc/network/interfaces -- configuration file for ifup(8), ifdown(8) 
 
# The loopback interface 
# automatically added when upgrading 
auto lo eth0 
iface lo inet loopback 
 
 
iface eth0 inet dhcp 
 
auto eth1 
iface eth1 inet static 
address 192.168.0.1 
netmask 255.255.255.0 

Aktualisieren der Netzwerkarten: /etc/init.d/networking restart

Filesystem

In /etc/fstab fehlt ein Eintrag für mfs, einfach zu unterst eine Zeile einfügen.

mfs_mnt  /mfs   mfs   dfsa=1    0   0

Start -Scripte anpassen

In /etc/init.d/openmosix ein "umount mfs 2&1 > /dev/null einfügen" , ein Ausschnitt aus dieser Datei.

stop_openmosix() { 
    echo "Stopping openMosix..." 
    echo -n "$OM_MSG " 
    # Expel all processes 
    $MOSCTL expel 
    # disable openMosix configuration 
    $SETPE -off 
    # kill any autodiscovery deamon if running 
    killall -TERM omdiscd &> /dev/null 
    # remove lock file 
    rm -f /var/lock/subsys//openmosix 
    umount /mfs  2&>1 > /dev/null 
} 

In /etc/init.d/knoppix-terminalopenmosix ein "rm -f /root/.ssh/id_dsa" in der ssh sektion einfügen, ein Ausschnitt aus dieser Datei.

### 
#sssh stuff 
rm -f /root/.ssh/id_dsa 
ssh-keygen -t dsa -N "" -f /root/.ssh/id_dsa 
cp -a /root/.ssh "$MINIROOT/root/" 
cp /root/.ssh/id_dsa.pub "$MINIROOT/root/.ssh/authorized_keys" 
cp /root/.ssh/id_dsa.pub "/root/.ssh/authorized_keys" 

Start-Scripte in die Runlevels für automatischen start der Dienste

...zuerst die alten entfernen,

update-rc.d -f openmosix remove
update-rc.d -f knoppix-terminalopenmosix remove

...einfügen

update-rc.d openmosix start 20 2 3 4 5 . stop 20 1 2 3 4 5 6 .
update-rc.d knoppix-terminalopenmosix start 20 2 3 4 5 . stop 20 1 2 3 4 5 6 .

Wer will, das Openmosix die Verteilung und Auslastung mitlogt

update-rc.d -f openmosixcollector remove
update-rc.d openmosixcollector start 20 2 3 4 5 . stop 20 1 2 3 4 5 6 .

Punkte und Abstände beachten

OpenMosix auf Master Interface definieren

Im Moment wenn man openmosixview startet, wird openmosix auf eth0 horchen, und erwartet da andere Clients für das Cluster. Wir ändern das auf eth1, weil wir unser Cluster-clients an eth1 betreiben.

In /etc/default/openmosix.config  ein Eintrag mit AUTODISCIF=eth1

CD-Rom Datei für Clients auf Harddisk kopieren

...folgende Anweisungen befolgen,

eject /cdrom 
mkdir /cdrom/KNOPPIX -p 
clusterKnoppix CD einlegen 
mount /dev/cdrom /mnt 
cp /mnt/KNOPPIX/KNOPPIX /cdrom/KNOPPIX/ 

Reboot von Diensten und Konfiguration der Client-Netzwerkkarten

Dienste

/etc/init.d/openmosixcollector  start/stop/restart      (logger für cluster Belastung) 
/etc/init.d/openmosix  start/stop/restart       (openmosix für Master) 
/etc/init.d/knoppix-terminalopenmosix   start/stop (terminal dienst für dhcp nfs tftp) 

Konfiguration "/etc/init.d/knoppix-terminalopenmosix" Enter für die Konfiguration der Client-Netzwerkkarten für das PXE miniroot.

Netzwerkkarte eth1 wählen

Die letzten Einstellungen werden beim Booten des Masters übernommen. Wer auf den Clients ein X will, sollte hier "secure: Disable root access on client(s)" und "textmod: boot client(s) in textmode" die Häcken wegnehmen. Die wheelmouse option stört auch, wenn nicht wirklich solche Mäuse installiert sind.

Auf der Homepage von clusterKnoppix unter Dokumentation finden man links wenn man z.b keine Netzwerkkarten hat die PXE boot können. Weitere Konstellationen (Master kein X, Clients X etc..) können auf der Homepage von clusterKnoppix nachgelesen werden unter Dokumentation.

Verschiedenes

Mehr Programme

Master

Auf dem Master kann man normal Programme installieren mit den apt Funktionen.

Client

Wenn man auf den Clients Programme benötigt, die nicht installiert sind im Image von /cdrom/KNOPPIX/KNOPPIX, muss man die clusterKnoppxi CD selber remastern, und wieder hineinkopieren auf den Master und die Clients neu booten. http://www.knoppix.net/docs/index.php/KnoppixRemasteringHowto (Es wird nur die englische Anleitung update gehalten)

Viel Spass