ikiwiki

   1 #!/usr/bin/perl -T
   2
   3 use warnings;
   4 use strict;
   5 use File::Find;
   6 use Memoize;
   7 use File::Spec;
   8
   9 BEGIN {
  10         $blosxom::version="is a proper perl module too much to ask?";
  11         do "/usr/bin/markdown";
  12 }
  13
  14 memoize('pagename');
  15 memoize('bestlink');
  16
  17 sub usage {
  18         die "usage: ikiwiki [options] source dest\n";
  19 }
  20
  21 my $link=qr/\[\[([^\s]+)\]\]/;
  22 my $verbose=0;
  23 my $rebuild=0;
  24 my $wikiname="wiki";
  25 if (grep /^-/, @ARGV) {
  26         eval {use Getopt::Long};
  27         GetOptions(
  28                 "wikiname=s" => \$wikiname,
  29                 "verbose|v" => \$verbose,
  30                 "rebuild" => \$rebuild,
  31         ) || usage();
  32 }
  33 usage() unless @ARGV == 2;
  34 my ($srcdir) = shift =~ /(.*)/; # untaint
  35 my ($destdir) = shift =~ /(.*)/; # untaint
  36
  37 my %links;
  38 my %oldlinks;
  39 my %oldpagemtime;
  40 my %renderedfiles;
  41 my %pagesources;
  42
  43 sub error ($) {
  44         die @_;
  45 }
  46
  47 sub debug ($) {
  48         print "@_\n" if $verbose;
  49 }
  50
  51 sub mtime ($) {
  52         my $page=shift;
  53
  54         return (stat($page))[9];
  55 }
  56
  57 sub basename {
  58         my $file=shift;
  59
  60         $file=~s!.*/!!;
  61         return $file;
  62 }
  63
  64 sub dirname {
  65         my $file=shift;
  66
  67         $file=~s!/?[^/]+$!!;
  68         return $file;
  69 }
  70
  71 sub pagetype ($) {
  72         my $page=shift;
  73
  74         if ($page =~ /\.mdwn$/) {
  75                 return ".mdwn";
  76         }
  77         else {
  78                 return "unknown";
  79         }
  80 }
  81
  82 sub pagename ($) {
  83         my $file=shift;
  84
  85         my $type=pagetype($file);
  86         my $page=$file;
  87         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
  88         return $page;
  89 }
  90
  91 sub htmlpage ($) {
  92         my $page=shift;
  93
  94         return $page.".html";
  95 }
  96
  97 sub readpage ($) {
  98         my $page=shift;
  99
 100         local $/=undef;
 101         open (PAGE, "$srcdir/$page") || error("failed to read $page: $!");
 102         my $ret=<PAGE>;
 103         close PAGE;
 104         return $ret;
 105 }
 106
 107 sub writepage ($$) {
 108         my $page=shift;
 109         my $content=shift;
 110
 111         my $dir=dirname("$destdir/$page");
 112         if (! -d $dir) {
 113                 my $d="";
 114                 foreach my $s (split(m!/+!, $dir)) {
 115                         $d.="$s/";
 116                         if (! -d $d) {
 117                                 mkdir($d) || error("failed to create directory $d: $!");
 118                         }
 119                 }
 120         }
 121
 122         open (PAGE, ">$destdir/$page") || error("failed to write $page: $!");
 123         print PAGE $content;
 124         close PAGE;
 125 }
 126
 127 sub findlinks {
 128         my $content=shift;
 129
 130         my @links;
 131         while ($content =~ /$link/g) {
 132                 push @links, lc($1);
 133         }
 134         return @links;
 135 }
 136
 137 # Given a page and the text of a link on the page, determine which existing
 138 # page that link best points to. Prefers pages under a subdirectory with
 139 # the same name as the source page, failing that goes down the directory tree
 140 # to the base looking for matching pages.
 141 sub bestlink ($$) {
 142         my $page=shift;
 143         my $link=lc(shift);
 144
 145         my $cwd=$page;
 146         do {
 147                 my $l=$cwd;
 148                 $l.="/" if length $l;
 149                 $l.=$link;
 150
 151                 if (exists $links{$l}) {
 152                         #debug("for $page, \"$link\", use $l");
 153                         return $l;
 154                 }
 155         } while $cwd=~s!/?[^/]+$!!;
 156
 157         #print STDERR "warning: page $page, broken link: $link\n";
 158         return "";
 159 }
 160
 161 sub isinlinableimage ($) {
 162         my $file=shift;
 163
 164         $file=~/\.(png|gif|jpg|jpeg)$/;
 165 }
 166
 167 sub htmllink ($$) {
 168         my $page=shift;
 169         my $link=shift;
 170
 171         my $bestlink=bestlink($page, $link);
 172
 173         return $link if $page eq $bestlink;
 174
 175         # TODO BUG: %renderedfiles may not have it, if the linked to page
 176         # was also added and isn't yet rendered! Note that this bug is
 177         # masked by the bug mentioned below that makes all new files
 178         # be rendered twice.
 179         if (! grep { $_ eq $bestlink } values %renderedfiles) {
 180                 $bestlink=htmlpage($bestlink);
 181         }
 182         if (! grep { $_ eq $bestlink } values %renderedfiles) {
 183                 return "<a href=\"?\">?</a>$link"
 184         }
 185
 186         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
 187
 188         if (isinlinableimage($bestlink)) {
 189                 return "<img src=\"$bestlink\">";
 190         }
 191         return "<a href=\"$bestlink\">$link</a>";
 192 }
 193
 194 sub linkify ($$) {
 195         my $content=shift;
 196         my $file=shift;
 197
 198         $content =~ s/$link/htmllink(pagename($file), $1)/eg;
 199
 200         return $content;
 201 }
 202
 203 sub htmlize ($$) {
 204         my $type=shift;
 205         my $content=shift;
 206
 207         if ($type eq '.mdwn') {
 208                 return Markdown::Markdown($content);
 209         }
 210         else {
 211                 error("htmlization of $type not supported");
 212         }
 213 }
 214
 215 sub linkbacks ($$) {
 216         my $content=shift;
 217         my $page=shift;
 218
 219         my @links;
 220         foreach my $p (keys %links) {
 221                 next if bestlink($page, $p) eq $page;
 222                 if (grep { length $_ && bestlink($p, $_) eq $page } @{$links{$p}}) {
 223                         my $href=File::Spec->abs2rel(htmlpage($p), dirname($page));
 224
 225                         # Trim common dir prefixes from both pages.
 226                         my $p_trimmed=$p;
 227                         my $page_trimmed=$page;
 228                         my $dir;
 229                         1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
 230                                 defined $dir &&
 231                                 $p_trimmed=~s/^\Q$dir\E// &&
 232                                 $page_trimmed=~s/^\Q$dir\E//;
 233
 234                         push @links, "<a href=\"$href\">$p_trimmed</a>";
 235                 }
 236         }
 237
 238         $content.="<hr><p>Links: ".join(" ", sort @links)."</p>\n" if @links;
 239         return $content;
 240 }
 241
 242 sub finalize ($$) {
 243         my $content=shift;
 244         my $page=shift;
 245
 246         my $title=basename($page);
 247         $title=~s/_/ /g;
 248
 249         my $pagelink="";
 250         my $path="";
 251         foreach my $dir (reverse split("/", $page)) {
 252                 if (length($pagelink)) {
 253                         $pagelink="<a href=\"$path$dir.html\">$dir</a>/ $pagelink";
 254                 }
 255                 else {
 256                         $pagelink=$dir;
 257                 }
 258                 $path.="../";
 259         }
 260         $path=~s/\.\.\/$/index.html/;
 261         $pagelink="<a href=\"$path\">$wikiname</a>/ $pagelink";
 262
 263         $content="<html>\n<head><title>$title</title></head>\n<body>\n".
 264                   "<h1>$pagelink</h1>\n".
 265                   $content.
 266                   "</body>\n</html>\n";
 267
 268         return $content;
 269 }
 270
 271 sub render ($) {
 272         my $file=shift;
 273
 274         my $type=pagetype($file);
 275         my $content=readpage($file);
 276         if ($type ne 'unknown') {
 277                 my $page=pagename($file);
 278
 279                 $links{$page}=[findlinks($content)];
 280
 281                 $content=linkify($content, $file);
 282                 $content=htmlize($type, $content);
 283                 $content=linkbacks($content, $page);
 284                 $content=finalize($content, $page);
 285
 286                 writepage(htmlpage($page), $content);
 287                 $oldpagemtime{$page}=time;
 288                 $renderedfiles{$page}=htmlpage($page);
 289         }
 290         else {
 291                 $links{$file}=[];
 292                 writepage($file, $content);
 293                 $oldpagemtime{$file}=time;
 294                 $renderedfiles{$file}=$file;
 295         }
 296 }
 297
 298 sub loadindex () {
 299         open (IN, "$srcdir/.index") || return;
 300         while (<IN>) {
 301                 ($_)=/(.*)/; # untaint
 302                 chomp;
 303                 my ($mtime, $file, $rendered, @links)=split(' ', $_);
 304                 my $page=pagename($file);
 305                 $pagesources{$page}=$file;
 306                 $oldpagemtime{$page}=$mtime;
 307                 $oldlinks{$page}=[@links];
 308                 $links{$page}=[@links];
 309                 $renderedfiles{$page}=$rendered;
 310         }
 311         close IN;
 312 }
 313
 314 sub saveindex () {
 315         open (OUT, ">$srcdir/.index") || error("cannot write to .index: $!");
 316         foreach my $page (keys %oldpagemtime) {
 317         print OUT "$oldpagemtime{$page} $pagesources{$page} $renderedfiles{$page} ".
 318                   join(" ", @{$links{$page}})."\n"
 319                         if $oldpagemtime{$page};
 320         }
 321         close OUT;
 322 }
 323
 324 sub prune ($) {
 325         my $file=shift;
 326
 327         unlink($file);
 328         my $dir=dirname($file);
 329         while (rmdir($dir)) {
 330                 $dir=dirname($dir);
 331         }
 332 }
 333
 334 sub refresh () {
 335         # Find existing pages.
 336         my %exists;
 337         my @files;
 338         find({
 339                 no_chdir => 1,
 340                 wanted => sub {
 341                         if (/\/\.svn\//) {
 342                                 $File::Find::prune=1;
 343                         }
 344                         elsif (! -d $_ && ! /\.html$/ && ! /\/\./) {
 345                                 my ($f)=/(^[-A-Za-z0-9_.:\/+]+$)/; # untaint
 346                                 if (! defined $f) {
 347                                         warn("skipping bad filename $_\n");
 348                                 }
 349                                 else {
 350                                         $f=~s/^\Q$srcdir\E\/?//;
 351                                         push @files, $f;
 352                                         $exists{pagename($f)}=1;
 353                                 }
 354                         }
 355                 },
 356         }, $srcdir);
 357
 358         my %rendered;
 359
 360         # check for added or removed pages
 361         my @add;
 362         foreach my $file (@files) {
 363                 my $page=pagename($file);
 364                 if (! $oldpagemtime{$page}) {
 365                         debug("new page $page");
 366                         push @add, $file;
 367                         $links{$page}=[];
 368                         $pagesources{$page}=$file;
 369                 }
 370         }
 371         my @del;
 372         foreach my $page (keys %oldpagemtime) {
 373                 if (! $exists{$page}) {
 374                         debug("removing old page $page");
 375                         push @del, $renderedfiles{$page};
 376                         prune($destdir."/".$renderedfiles{$page});
 377                         delete $renderedfiles{$page};
 378                         $oldpagemtime{$page}=0;
 379                         delete $pagesources{$page};
 380                 }
 381         }
 382
 383         # render any updated files
 384         foreach my $file (@files) {
 385                 my $page=pagename($file);
 386
 387                 if (! exists $oldpagemtime{$page} ||
 388                     mtime("$srcdir/$file") > $oldpagemtime{$page}) {
 389                         debug("rendering changed file $file");
 390                         render($file);
 391                         $rendered{$file}=1;
 392                 }
 393         }
 394
 395         # if any files were added or removed, check to see if each page
 396         # needs an update due to linking to them
 397         # TODO: inefficient; pages may get rendered above and again here;
 398         # problem is the bestlink may have changed and we won't know until
 399         # now
 400         if (@add || @del) {
 401 FILE:           foreach my $file (@files) {
 402                         my $page=pagename($file);
 403                         foreach my $f (@add, @del) {
 404                                 my $p=pagename($f);
 405                                 foreach my $link (@{$links{$page}}) {
 406                                         if (bestlink($page, $link) eq $p) {
 407                                                 debug("rendering $file, which links to $p");
 408                                                 render($file);
 409                                                 $rendered{$file}=1;
 410                                                 next FILE;
 411                                         }
 412                                 }
 413                         }
 414                 }
 415         }
 416
 417         # handle linkbacks; if a page has added/removed links, update the
 418         # pages it links to
 419         # TODO: inefficient; pages may get rendered above and again here;
 420         # problem is the linkbacks could be wrong in the first pass render
 421         # above
 422         if (%rendered) {
 423                 my %linkchanged;
 424                 foreach my $file (keys %rendered, @del) {
 425                         my $page=pagename($file);
 426                         if (exists $links{$page}) {
 427                                 foreach my $link (@{$links{$page}}) {
 428                                         $link=bestlink($page, $link);
 429                                         if (length $link &&
 430                                             ! exists $oldlinks{$page} ||
 431                                             ! grep { $_ eq $link } @{$oldlinks{$page}}) {
 432                                                 $linkchanged{$link}=1;
 433                                         }
 434                                 }
 435                         }
 436                         if (exists $oldlinks{$page}) {
 437                                 foreach my $link (@{$oldlinks{$page}}) {
 438                                         $link=bestlink($page, $link);
 439                                         if (length $link &&
 440                                             ! exists $links{$page} ||
 441                                             ! grep { $_ eq $link } @{$links{$page}}) {
 442                                                 $linkchanged{$link}=1;
 443                                         }
 444                                 }
 445                         }
 446                 }
 447                 foreach my $link (keys %linkchanged) {
 448                         my $linkfile=$pagesources{$link};
 449                         if (defined $linkfile) {
 450                                 debug("rendering $linkfile, to update its linkbacks");
 451                                 render($linkfile);
 452                         }
 453                 }
 454         }
 455 }
 456
 457 loadindex() unless $rebuild;
 458 refresh();
 459 saveindex();