ikiwiki

   1 #!/usr/bin/perl -T
   2
   3 use warnings;
   4 use strict;
   5 use File::Find;
   6 use Memoize;
   7 use File::Spec;
   8
   9 $ENV{PATH}="/usr/local/bin:/usr/bin:/bin";
  10
  11 BEGIN {
  12         $blosxom::version="is a proper perl module too much to ask?";
  13         do "/usr/bin/markdown";
  14 }
  15
  16 my ($srcdir, $destdir, %links, %oldlinks, %oldpagemtime, %renderedfiles,
  17     %pagesources);
  18 my $wiki_link_regexp=qr/\[\[([^\s]+)\]\]/;
  19 my $wiki_file_regexp=qr/(^[-A-Za-z0-9_.:\/+]+$)/;
  20 my $wiki_file_prune_regexp=qr!((^|/).svn/|\.\.)!;
  21 my $verbose=0;
  22 my $wikiname="wiki";
  23 my $default_pagetype=".mdwn";
  24 my $cgi=0;
  25 my $url="";
  26 my $cgiurl="";
  27 my $svn=1;
  28
  29 sub usage {
  30         die "usage: ikiwiki [options] source dest\n";
  31 }
  32
  33 sub error ($) {
  34         if ($cgi) {
  35                 print "Content-type: text/html\n\n";
  36                 print "Error: @_\n";
  37                 exit 1;
  38         }
  39         else {
  40                 die @_;
  41         }
  42 }
  43
  44 sub debug ($) {
  45         print "@_\n" if $verbose;
  46 }
  47
  48 sub mtime ($) {
  49         my $page=shift;
  50
  51         return (stat($page))[9];
  52 }
  53
  54 sub possibly_foolish_untaint ($) {
  55         my $tainted=shift;
  56         my ($untainted)=$tainted=~/(.*)/;
  57         return $untainted;
  58 }
  59
  60 sub basename {
  61         my $file=shift;
  62
  63         $file=~s!.*/!!;
  64         return $file;
  65 }
  66
  67 sub dirname {
  68         my $file=shift;
  69
  70         $file=~s!/?[^/]+$!!;
  71         return $file;
  72 }
  73
  74 sub pagetype ($) {
  75         my $page=shift;
  76
  77         if ($page =~ /\.mdwn$/) {
  78                 return ".mdwn";
  79         }
  80         else {
  81                 return "unknown";
  82         }
  83 }
  84
  85 sub pagename ($) {
  86         my $file=shift;
  87
  88         my $type=pagetype($file);
  89         my $page=$file;
  90         $page=~s/\Q$type\E*$// unless $type eq 'unknown';
  91         return $page;
  92 }
  93
  94 sub htmlpage ($) {
  95         my $page=shift;
  96
  97         return $page.".html";
  98 }
  99
 100 sub readfile ($) {
 101         my $file=shift;
 102
 103         local $/=undef;
 104         open (IN, "$file") || error("failed to read $file: $!");
 105         my $ret=<IN>;
 106         close IN;
 107         return $ret;
 108 }
 109
 110 sub writefile ($$) {
 111         my $file=shift;
 112         my $content=shift;
 113
 114         my $dir=dirname($file);
 115         if (! -d $dir) {
 116                 my $d="";
 117                 foreach my $s (split(m!/+!, $dir)) {
 118                         $d.="$s/";
 119                         if (! -d $d) {
 120                                 mkdir($d) || error("failed to create directory $d: $!");
 121                         }
 122                 }
 123         }
 124
 125         open (OUT, ">$file") || error("failed to write $file: $!");
 126         print OUT $content;
 127         close OUT;
 128 }
 129
 130 sub findlinks {
 131         my $content=shift;
 132
 133         my @links;
 134         while ($content =~ /$wiki_link_regexp/g) {
 135                 push @links, lc($1);
 136         }
 137         return @links;
 138 }
 139
 140 # Given a page and the text of a link on the page, determine which existing
 141 # page that link best points to. Prefers pages under a subdirectory with
 142 # the same name as the source page, failing that goes down the directory tree
 143 # to the base looking for matching pages.
 144 sub bestlink ($$) {
 145         my $page=shift;
 146         my $link=lc(shift);
 147
 148         my $cwd=$page;
 149         do {
 150                 my $l=$cwd;
 151                 $l.="/" if length $l;
 152                 $l.=$link;
 153
 154                 if (exists $links{$l}) {
 155                         #debug("for $page, \"$link\", use $l");
 156                         return $l;
 157                 }
 158         } while $cwd=~s!/?[^/]+$!!;
 159
 160         #print STDERR "warning: page $page, broken link: $link\n";
 161         return "";
 162 }
 163
 164 sub isinlinableimage ($) {
 165         my $file=shift;
 166
 167         $file=~/\.(png|gif|jpg|jpeg)$/;
 168 }
 169
 170 sub htmllink ($$) {
 171         my $page=shift;
 172         my $link=shift;
 173
 174         my $bestlink=bestlink($page, $link);
 175
 176         return $link if $page eq $bestlink;
 177
 178         # TODO BUG: %renderedfiles may not have it, if the linked to page
 179         # was also added and isn't yet rendered! Note that this bug is
 180         # masked by the bug mentioned below that makes all new files
 181         # be rendered twice.
 182         if (! grep { $_ eq $bestlink } values %renderedfiles) {
 183                 $bestlink=htmlpage($bestlink);
 184         }
 185         if (! grep { $_ eq $bestlink } values %renderedfiles) {
 186                 return "<a href=\"?\">?</a>$link"
 187         }
 188
 189         $bestlink=File::Spec->abs2rel($bestlink, dirname($page));
 190
 191         if (isinlinableimage($bestlink)) {
 192                 return "<img src=\"$bestlink\">";
 193         }
 194         return "<a href=\"$bestlink\">$link</a>";
 195 }
 196
 197 sub linkify ($$) {
 198         my $content=shift;
 199         my $file=shift;
 200
 201         $content =~ s/$wiki_link_regexp/htmllink(pagename($file), $1)/eg;
 202
 203         return $content;
 204 }
 205
 206 sub htmlize ($$) {
 207         my $type=shift;
 208         my $content=shift;
 209
 210         if ($type eq '.mdwn') {
 211                 return Markdown::Markdown($content);
 212         }
 213         else {
 214                 error("htmlization of $type not supported");
 215         }
 216 }
 217
 218 sub linkbacks ($$) {
 219         my $content=shift;
 220         my $page=shift;
 221
 222         my @links;
 223         foreach my $p (keys %links) {
 224                 next if bestlink($page, $p) eq $page;
 225                 if (grep { length $_ && bestlink($p, $_) eq $page } @{$links{$p}}) {
 226                         my $href=File::Spec->abs2rel(htmlpage($p), dirname($page));
 227
 228                         # Trim common dir prefixes from both pages.
 229                         my $p_trimmed=$p;
 230                         my $page_trimmed=$page;
 231                         my $dir;
 232                         1 while (($dir)=$page_trimmed=~m!^([^/]+/)!) &&
 233                                 defined $dir &&
 234                                 $p_trimmed=~s/^\Q$dir\E// &&
 235                                 $page_trimmed=~s/^\Q$dir\E//;
 236
 237                         push @links, "<a href=\"$href\">$p_trimmed</a>";
 238                 }
 239         }
 240
 241         $content.="<hr><p>Links: ".join(" ", sort @links)."</p>\n" if @links;
 242         return $content;
 243 }
 244
 245 sub finalize ($$) {
 246         my $content=shift;
 247         my $page=shift;
 248
 249         my $title=basename($page);
 250         $title=~s/_/ /g;
 251
 252         my $pagelink="";
 253         my $path="";
 254         foreach my $dir (reverse split("/", $page)) {
 255                 if (length($pagelink)) {
 256                         $pagelink="<a href=\"$path$dir.html\">$dir</a>/ $pagelink";
 257                 }
 258                 else {
 259                         $pagelink=$dir;
 260                 }
 261                 $path.="../";
 262         }
 263         $path=~s/\.\.\/$/index.html/;
 264         $pagelink="<a href=\"$path\">$wikiname</a>/ $pagelink";
 265
 266         my @actions;
 267         if (length $cgiurl) {
 268                 push @actions, "<a href=\"$cgiurl?do=edit&page=$page\">Edit</a>";
 269                 push @actions, "<a href=\"$cgiurl?do=recentchanges\">RecentChanges</a>";
 270         }
 271
 272         $content="<html>\n<head><title>$title</title></head>\n<body>\n".
 273                   "<h1>$pagelink</h1>\n".
 274                   "@actions\n<hr>\n".
 275                   $content.
 276                   "</body>\n</html>\n";
 277
 278         return $content;
 279 }
 280
 281 sub render ($) {
 282         my $file=shift;
 283
 284         my $type=pagetype($file);
 285         my $content=readfile("$srcdir/$file");
 286         if ($type ne 'unknown') {
 287                 my $page=pagename($file);
 288
 289                 $links{$page}=[findlinks($content)];
 290
 291                 $content=linkify($content, $file);
 292                 $content=htmlize($type, $content);
 293                 $content=linkbacks($content, $page);
 294                 $content=finalize($content, $page);
 295
 296                 writefile("$destdir/".htmlpage($page), $content);
 297                 $oldpagemtime{$page}=time;
 298                 $renderedfiles{$page}=htmlpage($page);
 299         }
 300         else {
 301                 $links{$file}=[];
 302                 writefile("$destdir/$file", $content);
 303                 $oldpagemtime{$file}=time;
 304                 $renderedfiles{$file}=$file;
 305         }
 306 }
 307
 308 sub loadindex () {
 309         open (IN, "$srcdir/.index") || return;
 310         while (<IN>) {
 311                 $_=possibly_foolish_untaint($_);
 312                 chomp;
 313                 my ($mtime, $file, $rendered, @links)=split(' ', $_);
 314                 my $page=pagename($file);
 315                 $pagesources{$page}=$file;
 316                 $oldpagemtime{$page}=$mtime;
 317                 $oldlinks{$page}=[@links];
 318                 $links{$page}=[@links];
 319                 $renderedfiles{$page}=$rendered;
 320         }
 321         close IN;
 322 }
 323
 324 sub saveindex () {
 325         open (OUT, ">$srcdir/.index") || error("cannot write to .index: $!");
 326         foreach my $page (keys %oldpagemtime) {
 327         print OUT "$oldpagemtime{$page} $pagesources{$page} $renderedfiles{$page} ".
 328                   join(" ", @{$links{$page}})."\n"
 329                         if $oldpagemtime{$page};
 330         }
 331         close OUT;
 332 }
 333
 334 sub rcs_update () {
 335         if (-d "$srcdir/.svn") {
 336                 if (system("svn", "update", "--quiet", $srcdir) != 0) {
 337                         warn("svn update failed\n");
 338                 }
 339         }
 340 }
 341
 342 sub rcs_commit ($) {
 343         my $message=shift;
 344
 345         if (-d "$srcdir/.svn") {
 346                 if (system("svn", "commit", "--quiet", "-m",
 347                            possibly_foolish_untaint($message), $srcdir) != 0) {
 348                         warn("svn commit failed\n");
 349                 }
 350         }
 351 }
 352
 353 sub rcs_ad ($) {
 354         my $file=shift;
 355
 356         if (-d "$srcdir/.svn") {
 357                 if (system("svn", "add", "--quiet", $file) != 0) {
 358                         warn("svn add failed\n");
 359                 }
 360         }
 361 }
 362
 363 sub prune ($) {
 364         my $file=shift;
 365
 366         unlink($file);
 367         my $dir=dirname($file);
 368         while (rmdir($dir)) {
 369                 $dir=dirname($dir);
 370         }
 371 }
 372
 373 sub refresh () {
 374         # Find existing pages.
 375         my %exists;
 376         my @files;
 377         find({
 378                 no_chdir => 1,
 379                 wanted => sub {
 380                         if (/$wiki_file_prune_regexp/) {
 381                                 $File::Find::prune=1;
 382                         }
 383                         elsif (! -d $_ && ! /\.html$/ && ! /\/\./) {
 384                                 my ($f)=/$wiki_file_regexp/; # untaint
 385                                 if (! defined $f) {
 386                                         warn("skipping bad filename $_\n");
 387                                 }
 388                                 else {
 389                                         $f=~s/^\Q$srcdir\E\/?//;
 390                                         push @files, $f;
 391                                         $exists{pagename($f)}=1;
 392                                 }
 393                         }
 394                 },
 395         }, $srcdir);
 396
 397         my %rendered;
 398
 399         # check for added or removed pages
 400         my @add;
 401         foreach my $file (@files) {
 402                 my $page=pagename($file);
 403                 if (! $oldpagemtime{$page}) {
 404                         debug("new page $page");
 405                         push @add, $file;
 406                         $links{$page}=[];
 407                         $pagesources{$page}=$file;
 408                 }
 409         }
 410         my @del;
 411         foreach my $page (keys %oldpagemtime) {
 412                 if (! $exists{$page}) {
 413                         debug("removing old page $page");
 414                         push @del, $renderedfiles{$page};
 415                         prune($destdir."/".$renderedfiles{$page});
 416                         delete $renderedfiles{$page};
 417                         $oldpagemtime{$page}=0;
 418                         delete $pagesources{$page};
 419                 }
 420         }
 421
 422         # render any updated files
 423         foreach my $file (@files) {
 424                 my $page=pagename($file);
 425
 426                 if (! exists $oldpagemtime{$page} ||
 427                     mtime("$srcdir/$file") > $oldpagemtime{$page}) {
 428                         debug("rendering changed file $file");
 429                         render($file);
 430                         $rendered{$file}=1;
 431                 }
 432         }
 433
 434         # if any files were added or removed, check to see if each page
 435         # needs an update due to linking to them
 436         # TODO: inefficient; pages may get rendered above and again here;
 437         # problem is the bestlink may have changed and we won't know until
 438         # now
 439         if (@add || @del) {
 440 FILE:           foreach my $file (@files) {
 441                         my $page=pagename($file);
 442                         foreach my $f (@add, @del) {
 443                                 my $p=pagename($f);
 444                                 foreach my $link (@{$links{$page}}) {
 445                                         if (bestlink($page, $link) eq $p) {
 446                                                 debug("rendering $file, which links to $p");
 447                                                 render($file);
 448                                                 $rendered{$file}=1;
 449                                                 next FILE;
 450                                         }
 451                                 }
 452                         }
 453                 }
 454         }
 455
 456         # handle linkbacks; if a page has added/removed links, update the
 457         # pages it links to
 458         # TODO: inefficient; pages may get rendered above and again here;
 459         # problem is the linkbacks could be wrong in the first pass render
 460         # above
 461         if (%rendered) {
 462                 my %linkchanged;
 463                 foreach my $file (keys %rendered, @del) {
 464                         my $page=pagename($file);
 465                         if (exists $links{$page}) {
 466                                 foreach my $link (@{$links{$page}}) {
 467                                         $link=bestlink($page, $link);
 468                                         if (length $link &&
 469                                             ! exists $oldlinks{$page} ||
 470                                             ! grep { $_ eq $link } @{$oldlinks{$page}}) {
 471                                                 $linkchanged{$link}=1;
 472                                         }
 473                                 }
 474                         }
 475                         if (exists $oldlinks{$page}) {
 476                                 foreach my $link (@{$oldlinks{$page}}) {
 477                                         $link=bestlink($page, $link);
 478                                         if (length $link &&
 479                                             ! exists $links{$page} ||
 480                                             ! grep { $_ eq $link } @{$links{$page}}) {
 481                                                 $linkchanged{$link}=1;
 482                                         }
 483                                 }
 484                         }
 485                 }
 486                 foreach my $link (keys %linkchanged) {
 487                         my $linkfile=$pagesources{$link};
 488                         if (defined $linkfile) {
 489                                 debug("rendering $linkfile, to update its linkbacks");
 490                                 render($linkfile);
 491                         }
 492                 }
 493         }
 494 }
 495
 496 # Generates a C wrapper program for running ikiwiki in a specific way.
 497 # The wrapper may be safely made suid.
 498 sub gen_wrapper ($$) {
 499         my ($svn, $rebuild)=@_;
 500
 501         eval {use Cwd 'abs_path'};
 502         $srcdir=abs_path($srcdir);
 503         $destdir=abs_path($destdir);
 504         my $this=abs_path($0);
 505         if (! -x $this) {
 506                 error("$this doesn't seem to be executable");
 507         }
 508
 509         my @params=($srcdir, $destdir, "--wikiname=$wikiname");
 510         push @params, "--verbose" if $verbose;
 511         push @params, "--rebuild" if $rebuild;
 512         push @params, "--nosvn" if !$svn;
 513         push @params, "--cgi" if $cgi;
 514         push @params, "--url=$url" if $url;
 515         push @params, "--cgiurl=$cgiurl" if $cgiurl;
 516         my $params=join(" ", @params);
 517         my $call='';
 518         foreach my $p ($this, $this, @params) {
 519                 $call.=qq{"$p", };
 520         }
 521         $call.="NULL";
 522
 523         my @envsave;
 524         push @envsave, qw{REMOTE_ADDR QUERY_STRING REQUEST_METHOD REQUEST_URI
 525                        CONTENT_TYPE CONTENT_LENGTH GATEWAY_INTERFACE} if $cgi;
 526         my $envsave="";
 527         foreach my $var (@envsave) {
 528                 $envsave.=<<"EOF"
 529         if ((s=getenv("$var")))
 530                 asprintf(&newenviron[i++], "%s=%s", "$var", s);
 531 EOF
 532         }
 533
 534         open(OUT, ">ikiwiki-wrap.c") || error("failed to write ikiwiki-wrap.c: $!");;
 535         print OUT <<"EOF";
 536 /* A wrapper for ikiwiki, can be safely made suid. */
 537 #define _GNU_SOURCE
 538 #include <stdio.h>
 539 #include <unistd.h>
 540 #include <stdlib.h>
 541 #include <string.h>
 542
 543 extern char **environ;
 544
 545 int main (int argc, char **argv) {
 546         /* Sanitize environment. */
 547         char *s;
 548         char *newenviron[$#envsave+3];
 549         int i=0;
 550 $envsave
 551         newenviron[i++]="HOME=$ENV{HOME}";
 552         newenviron[i]=NULL;
 553         environ=newenviron;
 554
 555         if (argc == 2 && strcmp(argv[1], "--params") == 0) {
 556                 printf("$params\\n");
 557                 exit(0);
 558         }
 559
 560         execl($call);
 561         perror("failed to run $this");
 562         exit(1);
 563 }
 564 EOF
 565         close OUT;
 566         if (system("gcc", "ikiwiki-wrap.c", "-o", "ikiwiki-wrap") != 0) {
 567                 error("failed to compile ikiwiki-wrap.c");
 568         }
 569         unlink("ikiwiki-wrap.c");
 570         print "successfully generated ikiwiki-wrap\n";
 571         exit 0;
 572 }
 573
 574 sub cgi () {
 575         eval q{use CGI};
 576         my $q=CGI->new;
 577
 578         my $do=$q->param('do');
 579         if (! defined $do || ! length $do) {
 580                 error("\"do\" parameter missing");
 581         }
 582
 583         my ($page)=$q->param('page')=~/$wiki_file_regexp/; # untaint
 584         if (! defined $page || ! length $page || $page ne $q->param('page') ||
 585             $page=~/$wiki_file_prune_regexp/ || $page=~/^\//) {
 586                 error("bad page name");
 587         }
 588
 589         my $action=$q->request_uri;
 590         $action=~s/\?.*//;
 591
 592         if ($do eq 'edit') {
 593                 my $content="";
 594                 if (exists $pagesources{lc($page)}) {
 595                         $content=readfile("$srcdir/$pagesources{lc($page)}");
 596                         $content=~s/\n/\r\n/g;
 597                 }
 598                 $q->param("do", "save");
 599                 print $q->header,
 600                       $q->start_html("$wikiname: Editing $page"),
 601                       $q->h1("$wikiname: Editing $page"),
 602                       $q->start_form(-action => $action),
 603                       $q->hidden('do'),
 604                       $q->hidden('page'),
 605                       $q->textarea(-name => 'content',
 606                                -default => $content,
 607                                -rows => 20,
 608                                -columns => 80),
 609                       $q->br,
 610                       "Optional comment about this change",
 611                       $q->br,
 612                       $q->textfield(-name => "comments", -size => 80),
 613                       $q->br,
 614                       $q->submit("Save Changes"),
 615                       $q->end_form,
 616                       $q->end_html;
 617         }
 618         elsif ($do eq 'save') {
 619                 my $file=$page.$default_pagetype;
 620                 my $newfile=1;
 621                 if (exists $pagesources{lc($page)}) {
 622                         $file=$pagesources{lc($page)};
 623                         $newfile=0;
 624                 }
 625
 626                 my $content=$q->param('content');
 627                 $content=~s/\r\n/\n/g;
 628                 $content=~s/\r/\n/g;
 629                 writefile("$srcdir/$file", $content);
 630
 631                 my $message="web commit from $ENV{REMOTE_ADDR}";
 632                 if (defined $q->param('comments')) {
 633                         $message.=": ".$q->param('comments');
 634                 }
 635
 636                 if ($svn) {
 637                         if ($newfile) {
 638                                 rcs_add($file);
 639                         }
 640                         # presumably the commit will trigger an update
 641                         # of the wiki
 642                         rcs_commit($message);
 643                 }
 644                 else {
 645                         refresh();
 646                 }
 647
 648                 print $q->redirect("$url/".htmlpage($page));
 649         }
 650         else {
 651                 error("unknown do parameter");
 652         }
 653 }
 654
 655 my $rebuild=0;
 656 my $wrapper=0;
 657 if (grep /^-/, @ARGV) {
 658         eval {use Getopt::Long};
 659         GetOptions(
 660                 "wikiname=s" => \$wikiname,
 661                 "verbose|v" => \$verbose,
 662                 "rebuild" => \$rebuild,
 663                 "wrapper" => \$wrapper,
 664                 "svn!" => \$svn,
 665                 "cgi" => \$cgi,
 666                 "url=s" => \$url,
 667                 "cgiurl=s" => \$cgiurl,
 668         ) || usage();
 669 }
 670 usage() unless @ARGV == 2;
 671 ($srcdir) = possibly_foolish_untaint(shift);
 672 ($destdir) = possibly_foolish_untaint(shift);
 673
 674 if ($cgi && ! length $url) {
 675         error("Must specify url to wiki with --url when using --cgi");
 676 }
 677
 678 gen_wrapper($svn, $rebuild) if $wrapper;
 679 memoize('pagename');
 680 memoize('bestlink');
 681 loadindex() unless $rebuild;
 682 if ($cgi) {
 683         cgi();
 684 }
 685 else {
 686         rcs_update() if $svn;
 687         refresh();
 688         saveindex();
 689 }