Link-Validator in Perl

Link-Sammlungen sind eine feine Sache. Sie eröffnen dem WWW-Nutzer schnellen Zugriff auf ausgewählte Internet-Angebote.

Link-Sammlungen sind eine schlimme Sache. Ehe man es sich versieht, sind WWW-Seiten verschwunden, weisen Querverweise in die Leere.

Man sieht: Es gibt einen erheblichen Unterschied zwischen einer Link-Sammlung und einer guten Link-Sammlung. Letztere benötigt erheblichen Pflegeaufwand, mindestens einmal pro Monat, besser noch: pro Woche, sollte der "Link-Provider" (wie man auf neudeutsch inzwischen diejenigen Zeitgenossen nennt, die auf ihren WWW-Seiten Querverweise anbieten) seine Link-Sammlung auf Validität überprüfen und gegebenenfalls nicht mehr auf das vermeintliche Ziel weisende Links ("broken links") korrigieren oder gar vollständig aus der Liste entfernen. Das ist übelste Handarbeit, zeitaufwendig und stupide. Also genau das richtige für eine Automatisierung durch ein kleines Perl-Skript.

Nun setzt der Zugriff auf WWW-Dokumente natürlich voraus, dass sich das Perl-Skript wie ein WWW-Client, ein sogenannter "User Agent", verhält. Wer "Netscape" kennt, dem dürfte die Implementierung von WWW-Client-Fähigkeiten nicht unbedingt als leichte Aufgabe erscheinen. Doch zum Glück standen schon andere vor dieser Herausforderung und haben sie überzeugend gelöst - und zwar in Form einer eigenen Perl-Ergänzung, der "LWP library", inzwischen wohl auch besser bekannt unter dem Namen "libwww-perl". Die neueste Version ist erhältlich unter

<http://www.linpro.no/lwp/>

Allerdings setzt die "libwww-perl", die zu bewältigende Aufgabe ist eben doch alles andere als trivial, diverse weitere Perl-Packages voraus:

URI
MIME-Base64
HTML-Parser
libnet
Digest::MD5

Diese können über das Comprehensive Perl Archive Network (CPAN) bezogen werden, entsprechende Links gibt es auf der oben ausgewiesenen "libwww-perl"-Homepage.

An dieser Stelle wird davon ausgegangen, dass die genannten Module bereits am richtigen Platz und einsatzbereit sind. Auf die Einzelheiten der durchaus unter Umständen nicht ganz unproblematischen Installation kann hier nicht näher eingangen werden.

LWP stellt dem Programmierer verschiedene Klassen und Module zur Verfügung. Normalerweise würde man für die Realisierung eines User Agents auf die gleichnamige Klasse

   LWP::UserAgent
  

   LWP::Simple
  

   use LWP::Simple;
  

   $content = get ($url);
  

   if ($content) {
    print "Dieser Link ist valide.\n"
   } else {
    print "Dieser Link ist ungueltig.\n";
   }
  

Zusammengesetzt sieht unser Skript "httpget.pl" somit wie folgt aus:

   #!/usr/bin/perl

   use LWP::Simple;

   $args = @ARGV;

   if ($args != 1) {

    print "Usage: perl httpget.pl URL\n";

   } else {

    $url = $ARGV[0];

    $content = get($url);

    if ($content) {
     print "Dieser Link ist valide.\n"
    } else {
     print "Dieser Link ist ungueltig.\n";
    }

   }
  

   perl httpget.pl URL
  

   perl httpget.pl http://www.amigagadget.de
  

   perl httpget.pl http://www.amigagadget.de/dieseurlexistiertnicht/
  

   <a href="../index.html">
  

Die Aufgaben des erstrebten Skriptes, es sei "httpcheck" genannt, können grob in vier Gruppen unterteilt werden:

1. Einlesen des zu überprüfenden Dokumentes
2. Herausfiltern der Hyperlinks
3. Überprüfung der Hyperlinks
4. Ausgabe der Ergebnisse

Wenn es an die Details geht, muss das Skript somit zunächst einmal die URL des zu überprüfenden Dokumentes erhalten - hier kann auf die oben entwickelten Routinen zurückgegriffen werden. Dieses zu überprüfende Dokument wird nun komplett in einer Variable $checkcontent gespeichert. Des weiteren werden an dieser Stelle einige weitere Variablen initialisiert, als da wären

@badurls

Dieses Array enthält am Ende die vermutlich fehlerhaften Links.

$urlsnumber

In dieser Variable wird die Anzahl der gefundenen Links gespeichert.

$urlscounter

Damit der Anwender während des Überprüfungsvorganges, bei dem ja u.U. große Datenmengen übertragen werden, darüber im Bilde bleibt, welcher Hyperlink gerade untersucht wird, wird mit dieser simplen Counter-Variable mitgezählt.

Besondere Beachtung verdient dabei die Wertzuweisung an Variable $urlsnumber, da hier praktisch schon der zweite Programmschritt, das Herausfiltern der Hyperlinks, vorweggenommen wird. Benötigt wird dazu eine Funktion, mit der in einem Dokument alle Zeichenketten aufgespürt werden können, die mit

   <a href="http://
  

beginnen und mit

   "
  

   <a href="http://
  

   <a href="http:\/\/
  

   "
  

   <a href="http:\/\/.*"
  

   <a href="http:\/\/.*?"
  

   <A HREF
  

   <a href
  

   @urls = ($checkcontent =~ /<a href="http:\/\/.*?"/gi);
  

   sub checklink {
    my $content;
    my $url = $_[0];
    $content = get($url);
    if ($content) {
    # Diese "Leerschleife" wird in der Endversion gefuellt.
    } else {
     push (@badurls,$url);
    }
   }
  

   foreach $x ($checkcontent =~ /<a href="http:\/\/.*?"/gi) {
   }
  

   foreach $x ($checkcontent =~ /<a href="http:\/\/.*?"/gi) {
    $x =~ s/<a href="//i;
    $x =~ s/"//i;
    &checklink ($x);
   }
  

   #!/usr/bin/perl

   use LWP::Simple;

   $args = @ARGV;

   if ($args != 1) {

    print "Usage: perl httpcheck.pl URL\n";

   } else {

    $checkurl = $ARGV[0];

    $checkcontent = get($checkurl);

    @badurls =();

    if ($checkcontent) {
     $urlsnumber = (@urls = ($checkcontent =~ /<a href="http:\/\/.*?"/gi));
     $urlscounter = 0;

     foreach $x ($checkcontent =~ /<a href="http:\/\/.*?"/gi) {
      $x =~ s/<a href="//i;
      $x =~ s/"//i;
      &checklink ($x);
     }
     $badurlsnumber = @badurls;

     if ($badurlsnumber == 0) {

      print "All links are fine!\n";

     } else {

      print "List of probably broken links:\n";

      for ($i=0; $i<$badurlsnumber; $i++) {
       print "  $badurls[$i]\n";
     }

    } else {
     print "httpcheck: document not found!\n";
    }

   }
   sub checklink {

    my $content;
    my $url = $_[0];

    print "Checking Link " . ($urlscounter+1) . " of $urlsnumber...\n";
    $content = get($url);
    $urlscounter++;
    print "$url is ";

    if ($content) {
     print "valid.\n\n";
    } else {
     push (@badurls,$url);
     print "probably broken.\n\n";
    }
   }
  

   perl httpcheck.pl URL
  

Zudem läßt sich der Validator natürlich noch beliebig verbessern. U.a. wäre an die Verwendung von LWP::UserAgent, die Kontrolle auch relativer Links, den Einschluß anderer Übertragungsprotokolle (FTP, gopher) oder eine Ausgabe in Form eines HTML-Dokumentes zu denken. Und selbstverständlich gibt es das alles schon in unzähligen Spielarten im Internet. Zum spielerischen Kennenlernen der WWW-Anbindung Perls ist das Thema jedoch allemal geeignet.

Zurück