De:FirmenLAN

Die folgende Seite ist mittlerweile veraltet, das YaCy nun einen eingebauten Robinson-Modus besitzt. Die Vorgehensweise ist aber weiterhin möglich. An der Entwicklung privater Netze wird derzeit gearbeitet.

YaCy als interne Suchmaschine/Crawler im Firmen-LAN

Dieser Artikel beschreibt wie man YaCy im einem internen Firmen-LAN aufsetzen kann ohne eine Verbindung zum öffentlichen YaCy-Netz. Somit kann YaCy als Suchmaschine/Crawler über interne Webserver eingesetzt werden.

Wird diese Anleitung beachtet, wird keinerlei Kommunikation mit dem öffentlichen YaCy-Netz stattfinden, auch wenn die Maschine auf der YaCy läuft direkten Zugriff auf das Internet hat. Hat die Maschine Zugriff auf das Internet, werden aber möglicherweise auch Seiten aus dem Internet indiziert, wenn diese z.B. über interne Webseiten verlinkt sind. Möchte man nur interne Seiten indizieren ist sicher zu stellen das die YaCy-Maschine keinen Zugriff auf das Internet hat. Dies wird auch empfohlen, da dies bei einer Fehlkonfiguration eine zusätzliche Sicherheit bietet.

Es wird dringend empfohlen nach dem Durchführen dieser Anleitung, aber vor dem Indizieren des internen LANs, die Logfiles zu beobachten um sicher zu stellen das auch wirklich kein Kontakt zum öffentlichen Netz besteht.

Folgende Beschreibungen setzt eine Standardinstallation von YaCy vorraus. Es wird davon ausgegangen das es sich um ein Linux-Betriebssystem handelt auf dem YaCy installiert wird, Windows-Anwender sollten entsprechend umdenken.

eine YaCy-Maschine im LAN

Nach der Installation muß YaCy einmal gestartet werden, damit alle nötigen Konfigurationsdateien angelegt werden. Anschliessend wird es wieder gestoppt und wir beginnen mit den nötigen Umbauarbeiten. Wir wechseln in das YaCy-Verzeichnis und löschen folgende Dateien:

rm DATA/YACYDB/*

Die Datei superseed.txt leeren wir.

echo "" > superseed.txt

Desweiteren benötigen wir eine zweite leere Datei superseed.txt auf die wir über HTTP zugreifen können, im einfachsten Fall legen wir diese im www-Verzeichnis von YaCy an.

touch DATA/HTDOCS/www/superseed.txt

Als nächtes bearbeiten wir die Datei DATA/SETTINGS/httpProxy.conf und suchen folgender Zeile:

superseedLocation=http://www.yacy.net/superseed.txt

Diese ändern wir ab damit sie auf die (oben genannte zweite) superseed.txt auf dieser Maschine im YaCy-Verzeichnis www zeigt.

superseedLocation=http://localhost:8090/www/superseed.txt

Das wars. Jetzt nur noch neu starten und ab sofort arbeitet unser Peer losgelöst vom öffentlichen YaCy-Netz. Auf der Status-Seite wird für die Maschine der Status "Virgin" angezeigt, was aber in diesem Fall nicht weiter wichtig ist.

ein eigenes YaCy-Cluster im LAN

Dem Autor ist es bisher nicht gelungen mehrere YaCy-Peers als eigenständiges Netz im nicht-öffentlichen LAN zu betreiben. Gemäß aktueller Diskussion ist wohl eine kleines lokales Netz auch nicht einfach realisierbar.

Hinweis für Leute die es dennoch mal probieren wollen (und Notiz an mich selbst), yacyDebugMode=true muß fürs LAN gesetzt sein, sowie mindestens 4 Peers aufgesetzt werden wenn eine DHT-Verteilung stattfinden soll.

Erfahrungsbericht von Huppi: De:YaCy-Cluster im LAN

Anmerkung: bitte die Begriffe YaCy-Netz und YaCy-Cluster genau trennen. Entsprechend Netzdefinition im Robinson-Modus sind Cluster Bereiche eines Netzes, die bestimmte Zugriffsmethodiken innerhalb und ausserhalb des Clusters definieren. Eigenständige Netze definieren sich, wie in diesem Kapitel beschrieben durch ein eigenständiges Bootstraping durch superseed-files. Eine exakte Trennung von Netzen ist zur Zeit nicht möglich, da es noch keine Netzkennung gibt, die ein Übersprechen von einem Netz in ein anderes verhindern. Bei Clustern ist dieser Mechanismus nun vorhanden, spielt sich aber wie beschrieben nur innerhalb eines Netzes ab.

ein eigenes YaCy-Netz im LAN

Um ein eigenständiges Netz im nicht-öffentlichen LAN zu starten sind 3 YaCy Instanzen. Generelles Vorgehen:

• Einrichten von 2 Principal Peers (also Peers die Netzwerk-Seed-Listen verfügbar machen)
  • die Seed-Listen dieser beiden in der Netzwerkdefinitionsdatei als bootstrap eintragen
• Verbinden der 3. Instanz und beliebig vieler weiterer

1. Vorbereiten der yacy.network.xxx.unit im Default Verzeichnis mit folgenden beispielhaften Änderungen

 network.unit.domain = any     (oder local)
 network.unit.dht = true 
 network.unit.bootstrap.seedlist0 = http://10.100.10.1:8090/share/seedlist.txt  
 network.unit.bootstrap.seedlist1 = http://10.100.10.4:8090/yacy/seedlist.html  (oder die Upload-Url verwenden)

Diese yacy.network.xxx.unit Datei für alle Peers verwenden.

2. Einrichten der 2 Peers als Principal in Admin -> Advanced Settings -> Seed Upload einrichten, z.B. via File und localem Verzeichnis (z.B. DATA/HTDOCS/share/seedlist.txt)

3. Ersten Peer starten und warten bis Status von Virgin auf Pricipal wechselt. Dies erfolgt nach kurzer Zeit, sobald der Prozess Seed Upload erfolgt ist.

4. Zweiten Peer starten. Nachdem dieser ebenfalls Principal Status hat sollten in der Online Netzwerkliste diese gelistet sein.

Jetzt können weitere Peers gestartet werden, die dem Netz beitreten sollen.

Anmerkung: Das einrichten der 2 Starter-Principal Peers ist notwendig, um nicht dauerhaft im Virgin Status zu verharren.