]> git.vanrenterghem.biz Git - git.ikiwiki.info.git/blobdiff - IkiWiki/Plugin/git.pm
Add automated test for using the CGI with git, including CVE-2016-10026
[git.ikiwiki.info.git] / IkiWiki / Plugin / git.pm
index 794afb74065ab919f942a88799a61db24eb1476d..021ee726cb86b171ef686a6c7fe880d517b0c30e 100644 (file)
@@ -5,11 +5,11 @@ use warnings;
 use strict;
 use IkiWiki;
 use Encode;
+use URI::Escape q{uri_escape_utf8};
 use open qw{:utf8 :std};
 
 my $sha1_pattern     = qr/[0-9a-fA-F]{40}/; # pattern to validate Git sha1sums
 my $dummy_commit_msg = 'dummy commit';      # message to skip in recent changes
-my $no_chdir=0;
 
 sub import {
        hook(type => "checkconfig", id => "git", call => \&checkconfig);
@@ -29,7 +29,8 @@ sub import {
        hook(type => "rcs", id => "rcs_receive", call => \&rcs_receive);
        hook(type => "rcs", id => "rcs_preprevert", call => \&rcs_preprevert);
        hook(type => "rcs", id => "rcs_revert", call => \&rcs_revert);
-       hook(type => "rcs", id => "rcs_showpatch", call => \&rcs_showpatch);
+       hook(type => "rcs", id => "rcs_find_changes", call => \&rcs_find_changes);
+       hook(type => "rcs", id => "rcs_get_current_rev", call => \&rcs_get_current_rev);
 }
 
 sub checkconfig () {
@@ -152,11 +153,23 @@ sub genwrapper {
        }
 }
 
+my $git_dir=undef;
+my $prefix=undef;
+
+sub in_git_dir ($$) {
+       $git_dir=shift;
+       my @ret=shift->();
+       $git_dir=undef;
+       $prefix=undef;
+       return @ret;
+}
+
 sub safe_git (&@) {
-       # Start a child process safely without resorting /bin/sh.
-       # Return command output or success state (in scalar context).
+       # Start a child process safely without resorting to /bin/sh.
+       # Returns command output (in list content) or success state
+       # (in scalar context), or runs the specified data handler.
 
-       my ($error_handler, @cmdline) = @_;
+       my ($error_handler, $data_handler, @cmdline) = @_;
 
        my $pid = open my $OUT, "-|";
 
@@ -165,9 +178,13 @@ sub safe_git (&@) {
        if (!$pid) {
                # In child.
                # Git commands want to be in wc.
-               if (! $no_chdir) {
+               if (! defined $git_dir) {
                        chdir $config{srcdir}
-                           or error("Cannot chdir to $config{srcdir}: $!");
+                           or error("cannot chdir to $config{srcdir}: $!");
+               }
+               else {
+                       chdir $git_dir
+                           or error("cannot chdir to $git_dir: $!");
                }
                exec @cmdline or error("Cannot exec '@cmdline': $!");
        }
@@ -184,7 +201,12 @@ sub safe_git (&@) {
 
                chomp;
 
-               push @lines, $_;
+               if (! defined $data_handler) {
+                       push @lines, $_;
+               }
+               else {
+                       last unless $data_handler->($_);
+               }
        }
 
        close $OUT;
@@ -194,10 +216,25 @@ sub safe_git (&@) {
        return wantarray ? @lines : ($? == 0);
 }
 # Convenient wrappers.
-sub run_or_die ($@) { safe_git(\&error, @_) }
-sub run_or_cry ($@) { safe_git(sub { warn @_ },  @_) }
-sub run_or_non ($@) { safe_git(undef,            @_) }
+sub run_or_die ($@) { safe_git(\&error, undef, @_) }
+sub run_or_cry ($@) { safe_git(sub { warn @_ }, undef, @_) }
+sub run_or_non ($@) { safe_git(undef, undef, @_) }
+
+sub ensure_committer {
+       if (! length $ENV{GIT_AUTHOR_NAME} || ! length $ENV{GIT_COMMITTER_NAME}) {
+               my $name = join('', run_or_non("git", "config", "user.name"));
+               if (! length $name) {
+                       run_or_die("git", "config", "user.name", "IkiWiki");
+               }
+       }
 
+       if (! length $ENV{GIT_AUTHOR_EMAIL} || ! length $ENV{GIT_COMMITTER_EMAIL}) {
+               my $email = join('', run_or_non("git", "config", "user.email"));
+               if (! length $email) {
+                       run_or_die("git", "config", "user.email", "ikiwiki.info");
+               }
+       }
+}
 
 sub merge_past ($$$) {
        # Unlike with Subversion, Git cannot make a 'svn merge -rN:M file'.
@@ -236,6 +273,8 @@ sub merge_past ($$$) {
        my @undo;      # undo stack for cleanup in case of an error
        my $conflict;  # file content with conflict markers
 
+       ensure_committer();
+
        eval {
                # Hide local changes from Git by renaming the modified file.
                # Relative paths must be converted to absolute for renaming.
@@ -293,8 +332,6 @@ sub merge_past ($$$) {
        return $conflict;
 }
 
-{
-my $prefix;
 sub decode_git_file ($) {
        my $file=shift;
 
@@ -316,7 +353,6 @@ sub decode_git_file ($) {
 
        return decode("utf8", $file);
 }
-}
 
 sub parse_diff_tree ($) {
        # Parse the raw diff tree chunk and return the info hash.
@@ -324,8 +360,8 @@ sub parse_diff_tree ($) {
        my $dt_ref = shift;
 
        # End of stream?
-       return if !defined @{ $dt_ref } ||
-                 !defined @{ $dt_ref }[0] || !length @{ $dt_ref }[0];
+       return if ! @{ $dt_ref } ||
+                 !defined $dt_ref->[0] || !length $dt_ref->[0];
 
        my %ci;
        # Header line.
@@ -389,6 +425,16 @@ sub parse_diff_tree ($) {
        }
        shift @{ $dt_ref } if $dt_ref->[0] =~ /^$/;
 
+       $ci{details} = [parse_changed_files($dt_ref)];
+
+       return \%ci;
+}
+
+sub parse_changed_files {
+       my $dt_ref = shift;
+
+       my @files;
+
        # Modified files.
        while (my $line = shift @{ $dt_ref }) {
                if ($line =~ m{^
@@ -406,7 +452,7 @@ sub parse_diff_tree ($) {
                        my $status = shift(@tmp);
 
                        if (length $file) {
-                               push @{ $ci{'details'} }, {
+                               push @files, {
                                        'file'      => decode_git_file($file),
                                        'sha1_from' => $sha1_from[0],
                                        'sha1_to'   => $sha1_to,
@@ -420,7 +466,7 @@ sub parse_diff_tree ($) {
                last;
        }
 
-       return \%ci;
+       return @files;
 }
 
 sub git_commit_info ($;$) {
@@ -433,7 +479,7 @@ sub git_commit_info ($;$) {
 
        my @raw_lines = run_or_die('git', 'log', @opts,
                '--pretty=raw', '--raw', '--abbrev=40', '--always', '-c',
-               '-r', $sha1, '--', '.');
+               '-r', $sha1, '--no-renames', '--', '.');
 
        my @ci;
        while (my $parsed = parse_diff_tree(\@raw_lines)) {
@@ -445,25 +491,70 @@ sub git_commit_info ($;$) {
        return wantarray ? @ci : $ci[0];
 }
 
-sub git_sha1 (;$) {
-       # Return head sha1sum (of given file).
-       my $file = shift || q{--};
+sub rcs_find_changes ($) {
+       my $oldrev=shift;
 
+       # Note that git log will sometimes show files being added that
+       # don't exist. Particularly, git merge -s ours can result in a
+       # merge commit where some files were not really added.
+       # This is why the code below verifies that the files really
+       # exist.
+       my @raw_lines = run_or_die('git', 'log',
+               '--pretty=raw', '--raw', '--abbrev=40', '--always', '-c',
+               '--no-renames', , '--reverse',
+               '-r', "$oldrev..HEAD", '--', '.');
+
+       # Due to --reverse, we see changes in chronological order.
+       my %changed;
+       my %deleted;
+       my $nullsha = 0 x 40;
+       my $newrev=$oldrev;
+       while (my $ci = parse_diff_tree(\@raw_lines)) {
+               $newrev=$ci->{sha1};
+               foreach my $i (@{$ci->{details}}) {
+                       my $file=$i->{file};
+                       if ($i->{sha1_to} eq $nullsha) {
+                               if (! -e "$config{srcdir}/$file") {
+                                       delete $changed{$file};
+                                       $deleted{$file}=1;
+                               }
+                       }
+                       else {
+                               if (-e "$config{srcdir}/$file") {
+                                       delete $deleted{$file};
+                                       $changed{$file}=1;
+                               }
+                       }
+               }
+       }
+
+       return (\%changed, \%deleted, $newrev);
+}
+
+sub git_sha1_file ($) {
+       my $file=shift;
+       git_sha1("--", $file);
+}
+
+sub git_sha1 (@) {
        # Ignore error since a non-existing file might be given.
        my ($sha1) = run_or_non('git', 'rev-list', '--max-count=1', 'HEAD',
-               '--', $file);
-       if ($sha1) {
+               '--', @_);
+       if (defined $sha1) {
                ($sha1) = $sha1 =~ m/($sha1_pattern)/; # sha1 is untainted now
        }
-       else {
-               debug("Empty sha1sum for '$file'.");
-       }
-       return defined $sha1 ? $sha1 : q{};
+       return defined $sha1 ? $sha1 : '';
+}
+
+sub rcs_get_current_rev () {
+       git_sha1();
 }
 
 sub rcs_update () {
        # Update working directory.
 
+       ensure_committer();
+
        if (length $config{gitorigin_branch}) {
                run_or_cry('git', 'pull', '--prune', $config{gitorigin_branch});
        }
@@ -474,7 +565,7 @@ sub rcs_prepedit ($) {
        # This will be later used in rcs_commit if a merge is required.
        my ($file) = @_;
 
-       return git_sha1($file);
+       return git_sha1_file($file);
 }
 
 sub rcs_commit (@) {
@@ -485,24 +576,27 @@ sub rcs_commit (@) {
 
        # Check to see if the page has been changed by someone else since
        # rcs_prepedit was called.
-       my $cur    = git_sha1($params{file});
-       my ($prev) = $params{token} =~ /^($sha1_pattern)$/; # untaint
+       my $cur    = git_sha1_file($params{file});
+       my $prev;
+       if (defined $params{token}) {
+               ($prev) = $params{token} =~ /^($sha1_pattern)$/; # untaint
+       }
 
        if (defined $cur && defined $prev && $cur ne $prev) {
                my $conflict = merge_past($prev, $params{file}, $dummy_commit_msg);
                return $conflict if defined $conflict;
        }
 
-       rcs_add($params{file});
-       return rcs_commit_staged(
-               message => $params{message},
-               session => $params{session},
-       );
+       return rcs_commit_helper(@_);
 }
 
 sub rcs_commit_staged (@) {
        # Commits all staged changes. Changes can be staged using rcs_add,
        # rcs_remove, and rcs_rename.
+       return rcs_commit_helper(@_);
+}
+
+sub rcs_commit_helper (@) {
        my %params=@_;
        
        my %env=%ENV;
@@ -516,39 +610,55 @@ sub rcs_commit_staged (@) {
                elsif (defined $params{session}->remote_addr()) {
                        $u=$params{session}->remote_addr();
                }
-               if (defined $u) {
+               if (length $u) {
                        $u=encode_utf8($u);
                        $ENV{GIT_AUTHOR_NAME}=$u;
                }
+               else {
+                       $u = 'anonymous';
+               }
                if (defined $params{session}->param("nickname")) {
                        $u=encode_utf8($params{session}->param("nickname"));
                        $u=~s/\s+/_/g;
                        $u=~s/[^-_0-9[:alnum:]]+//g;
                }
-               if (defined $u) {
+               if (length $u) {
                        $ENV{GIT_AUTHOR_EMAIL}="$u\@web";
                }
+               else {
+                       $ENV{GIT_AUTHOR_EMAIL}='anonymous@web';
+               }
        }
 
+       ensure_committer();
+
        $params{message} = IkiWiki::possibly_foolish_untaint($params{message});
        my @opts;
        if ($params{message} !~ /\S/) {
                # Force git to allow empty commit messages.
                # (If this version of git supports it.)
                my ($version)=`git --version` =~ /git version (.*)/;
-               if ($version ge "1.5.4") {
+               if ($version ge "1.7.8") {
+                       push @opts, "--allow-empty-message", "--no-edit";
+               }
+               if ($version ge "1.7.2") {
+                       push @opts, "--allow-empty-message";
+               }
+               elsif ($version ge "1.5.4") {
                        push @opts, '--cleanup=verbatim';
                }
                else {
                        $params{message}.=".";
                }
        }
-       push @opts, '-q';
-       # git commit returns non-zero if file has not been really changed.
-       # so we should ignore its exit status (hence run_or_non).
-       if (run_or_non('git', 'commit', @opts, '-m', $params{message})) {
+       if (exists $params{file}) {
+               push @opts, '--', $params{file};
+       }
+       # git commit returns non-zero if nothing really changed.
+       # So we should ignore its exit status (hence run_or_non).
+       if (run_or_non('git', 'commit', '-m', $params{message}, '-q', @opts)) {
                if (length $config{gitorigin_branch}) {
-                       run_or_cry('git', 'push', $config{gitorigin_branch});
+                       run_or_cry('git', 'push', $config{gitorigin_branch}, $config{gitmaster_branch});
                }
        }
        
@@ -561,7 +671,9 @@ sub rcs_add ($) {
 
        my ($file) = @_;
 
-       run_or_cry('git', 'add', $file);
+       ensure_committer();
+
+       run_or_cry('git', 'add', '--', $file);
 }
 
 sub rcs_remove ($) {
@@ -569,13 +681,17 @@ sub rcs_remove ($) {
 
        my ($file) = @_;
 
-       run_or_cry('git', 'rm', '-f', $file);
+       ensure_committer();
+
+       run_or_cry('git', 'rm', '-f', '--', $file);
 }
 
 sub rcs_rename ($$) {
        my ($src, $dest) = @_;
 
-       run_or_cry('git', 'mv', '-f', $src, $dest);
+       ensure_committer();
+
+       run_or_cry('git', 'mv', '-f', '--', $src, $dest);
 }
 
 sub rcs_recentchanges ($) {
@@ -599,9 +715,12 @@ sub rcs_recentchanges ($) {
                my @pages;
                foreach my $detail (@{ $ci->{'details'} }) {
                        my $file = $detail->{'file'};
+                       my $efile = join('/',
+                               map { uri_escape_utf8($_) } split('/', $file)
+                       );
 
                        my $diffurl = defined $config{'diffurl'} ? $config{'diffurl'} : "";
-                       $diffurl =~ s/\[\[file\]\]/$file/go;
+                       $diffurl =~ s/\[\[file\]\]/$efile/go;
                        $diffurl =~ s/\[\[sha1_parent\]\]/$ci->{'parent'}/go;
                        $diffurl =~ s/\[\[sha1_from\]\]/$detail->{'sha1_from'}/go;
                        $diffurl =~ s/\[\[sha1_to\]\]/$detail->{'sha1_to'}/go;
@@ -658,15 +777,19 @@ sub rcs_recentchanges ($) {
        return @rets;
 }
 
-sub rcs_diff ($) {
+sub rcs_diff ($;$) {
        my $rev=shift;
+       my $maxlines=shift;
        my ($sha1) = $rev =~ /^($sha1_pattern)$/; # untaint
        my @lines;
-       foreach my $line (run_or_non("git", "show", $sha1)) {
-               if (@lines || $line=~/^diff --git/) {
-                       push @lines, $line."\n";
-               }
-       }
+       my $addlines=sub {
+               my $line=shift;
+               return if defined $maxlines && @lines == $maxlines;
+               push @lines, $line."\n"
+                       if (@lines || $line=~/^diff --git/);
+               return 1;
+       };
+       safe_git(undef, $addlines, "git", "show", $sha1);
        if (wantarray) {
                return @lines;
        }
@@ -685,7 +808,7 @@ sub findtimes ($$) {
        if (! keys %time_cache) {
                my $date;
                foreach my $line (run_or_die('git', 'log',
-                               '--pretty=format:%ct',
+                               '--pretty=format:%at',
                                '--name-only', '--relative')) {
                        if (! defined $date && $line =~ /^(\d+)$/) {
                                $date=$line;
@@ -722,14 +845,13 @@ sub rcs_getmtime ($) {
 }
 
 {
-my $git_root;
-
+my $ret;
 sub git_find_root {
        # The wiki may not be the only thing in the git repo.
        # Determine if it is in a subdirectory by examining the srcdir,
        # and its parents, looking for the .git directory.
 
-       return $git_root if defined $git_root;
+       return @$ret if defined $ret;
        
        my $subdir="";
        my $dir=$config{srcdir};
@@ -741,15 +863,17 @@ sub git_find_root {
                }
        }
 
-       return $subdir;
+       $ret=[$subdir, $dir];
+       return @$ret;
 }
 
 }
 
 sub git_parse_changes {
+       my $reverted = shift;
        my @changes = @_;
 
-       my $subdir = git_find_root();
+       my ($subdir, $rootdir) = git_find_root();
        my @rets;
        foreach my $ci (@changes) {
                foreach my $detail (@{ $ci->{'details'} }) {
@@ -767,11 +891,11 @@ sub git_parse_changes {
                                $mode=$detail->{'mode_to'};
                        }
                        elsif ($detail->{'status'} =~ /^[AM]+\d*$/) {
-                               $action="add";
+                               $action= $reverted ? "remove" : "add";
                                $mode=$detail->{'mode_to'};
                        }
                        elsif ($detail->{'status'} =~ /^[DAM]+\d*/) {
-                               $action="remove";
+                               $action= $reverted ? "add" : "remove";
                                $mode=$detail->{'mode_from'};
                        }
                        else {
@@ -794,11 +918,9 @@ sub git_parse_changes {
                                eval q{use File::Temp};
                                die $@ if $@;
                                my $fh;
-                               ($fh, $path)=File::Temp::tempfile("XXXXXXXXXX", UNLINK => 1);
-                               # Ensure we run this in the right place,
-                               # see comments in rcs_receive.
-                               my $cmd = ($no_chdir ? '' : "cd $config{srcdir} && ")
-                                       . "git show $detail->{sha1_to} > '$path'";
+                               ($fh, $path)=File::Temp::tempfile(undef, UNLINK => 1);
+                               my $cmd = "cd $git_dir && ".
+                                         "git show $detail->{sha1_to} > '$path'";
                                if (system($cmd) != 0) {
                                        error("failed writing temp file '$path'.");
                                }
@@ -828,49 +950,120 @@ sub rcs_receive () {
 
                # Avoid chdir when running git here, because the changes
                # are in the master git repo, not the srcdir repo.
+               # (Also, if a subdir is involved, we don't want to chdir to
+               # it and only see changes in it.)
                # The pre-receive hook already puts us in the right place.
-               $no_chdir=1;
-               push @rets, git_parse_changes(git_commit_info($oldrev."..".$newrev));
-               $no_chdir=0;
+               in_git_dir(".", sub {
+                       push @rets, git_parse_changes(0, git_commit_info($oldrev."..".$newrev));
+               });
        }
 
        return reverse @rets;
 }
 
-sub rcs_preprevert (@) {
-       my %params = @_;
-       my $rev = $params{rev};
+sub rcs_preprevert ($) {
+       my $rev=shift;
+       my ($sha1) = $rev =~ /^($sha1_pattern)$/; # untaint
+
+       my @undo;      # undo stack for cleanup in case of an error
+
+       ensure_committer();
 
-       # Note test_changes expects 'cgi' and 'session' parameters.
-       require IkiWiki::Receive;
-       IkiWiki::Receive::test_changes(%params, changes =>
-               [git_parse_changes(git_commit_info($rev, 1))]);
+       # Examine changes from root of git repo, not from any subdir,
+       # in order to see all changes.
+       my ($subdir, $rootdir) = git_find_root();
+       return in_git_dir($rootdir, sub {
+               my @commits=git_commit_info($sha1, 1);
+       
+               if (! @commits) {
+                       error "unknown commit"; # just in case
+               }
+
+               # git revert will fail on merge commits. Add a nice message.
+               if (exists $commits[0]->{parents} &&
+                   @{$commits[0]->{parents}} > 1) {
+                       error gettext("you are not allowed to revert a merge");
+               }
+
+               # Due to the presence of rename-detection, we cannot actually
+               # see what will happen in a revert without trying it.
+               # But we can guess, which is enough to rule out most changes
+               # that we won't allow reverting.
+               git_parse_changes(1, @commits);
+
+               my $failure;
+               my @ret;
+               # If it looks OK, do it for real, on a branch.
+               eval {
+                       IkiWiki::disable_commit_hook();
+                       push @undo, sub {
+                               IkiWiki::enable_commit_hook();
+                       };
+                       my $branch = "ikiwiki_revert_${sha1}"; # supposed to be unique
+
+                       push @undo, sub {
+                               run_or_cry('git', 'branch', '-D', $branch) if $failure;
+                       };
+                       if (run_or_non('git', 'rev-parse', '--quiet', '--verify', $branch)) {
+                               run_or_non('git', 'branch', '-D', $branch);
+                       }
+                       run_or_die('git', 'branch', $branch, $config{gitmaster_branch});
+
+                       push @undo, sub {
+                               if (!run_or_cry('git', 'checkout', '--quiet', $config{gitmaster_branch})) {
+                                       run_or_cry('git', 'checkout','-f', '--quiet', $config{gitmaster_branch});
+                               }
+                       };
+                       run_or_die('git', 'checkout', '--quiet', $branch);
+
+                       run_or_die('git', 'revert', '--no-commit', $sha1);
+                       run_or_non('git', 'commit', '-m', "revert $sha1", '-a');
+
+                       # Re-switch to master.
+                       run_or_die('git', 'checkout', '--quiet', $config{gitmaster_branch});
+
+                       my @raw_lines;
+                       @raw_lines = run_or_die('git', 'diff', '--pretty=raw',
+                               '--raw', '--abbrev=40', '--always', '--no-renames',
+                               "ikiwiki_revert_${sha1}..");
+
+                       my $ci = {
+                               details => [parse_changed_files(\@raw_lines)],
+                       };
+
+                       @ret = git_parse_changes(0, $ci);
+               };
+               $failure = $@;
+
+               # Process undo stack (in reverse order).  By policy cleanup
+               # actions should normally print a warning on failure.
+               while (my $handle = pop @undo) {
+                       $handle->();
+               }
+
+               if ($failure) {
+                       my $message = sprintf(gettext("Failed to revert commit %s"), $sha1);
+                       error("$message\n$failure\n");
+               }
+
+               return @ret;
+       });
 }
 
-sub rcs_revert (@) {
-       # Try to revert the given patch; returns undef on _success_.
-       my %params = @_;
-       my $rev = $params{rev};
+sub rcs_revert ($) {
+       # Try to revert the given rev; returns undef on _success_.
+       my $rev = shift;
+       my ($sha1) = $rev =~ /^($sha1_pattern)$/; # untaint
+
+       ensure_committer();
 
-       if (run_or_non('git', 'revert', '--no-commit', $rev)) {
-               debug "Committing revert for patch '$rev'.";
-               rcs_commit_staged(message => 
-                       sprintf(gettext("This reverts commit %s"), $rev), @_);
+       if (run_or_non('git', 'merge', '--ff-only', "ikiwiki_revert_$sha1")) {
+               return undef;
        }
        else {
-               # No idea what is actually getting reverted, so all we can
-               # do is say we failed.
-               run_or_die('git', 'reset', '--hard');
-               return sprintf(gettext("Failed to revert commit %s"), $rev);
+               run_or_non('git', 'branch', '-D', "ikiwiki_revert_$sha1");
+               return sprintf(gettext("Failed to revert commit %s"), $sha1);
        }
 }
 
-sub rcs_showpatch (@) {
-       # Show the patch with the given revision id.
-       my %params = @_;
-       my $rev = $params{rev};
-
-       return join "\n", run_or_die('git', 'show', $rev);
-}
-
 1