]> git.vanrenterghem.biz Git - git.ikiwiki.info.git/blobdiff - doc/todo/allow_site-wide_meta_definitions.mdwn
some details about past security hole
[git.ikiwiki.info.git] / doc / todo / allow_site-wide_meta_definitions.mdwn
index e4638f94b49ef758b67d1d23cd34a5996906700b..f548f1a5b45c2dc4d8c809efc921eb1e641b5131 100644 (file)
@@ -60,75 +60,7 @@ definitions essentially.
 >>> I'm not necessarily saying that's a good idea. Indeed, my memory
 >>> concerns below invalidate this idea pretty well. --[[Joey]] 
 
 >>> I'm not necessarily saying that's a good idea. Indeed, my memory
 >>> concerns below invalidate this idea pretty well. --[[Joey]] 
 
-    diff --git a/IkiWiki/Plugin/meta.pm b/IkiWiki/Plugin/meta.pm
-    index 6fe9cda..2f8c098 100644
-    --- a/IkiWiki/Plugin/meta.pm
-    +++ b/IkiWiki/Plugin/meta.pm
-    @@ -13,6 +13,8 @@ sub import {
-       hook(type => "needsbuild", id => "meta", call => \&needsbuild);
-       hook(type => "preprocess", id => "meta", call => \&preprocess, scan => 1);
-       hook(type => "pagetemplate", id => "meta", call => \&pagetemplate);
-    +  hook(type => "scan", id => "meta", call => \&scan)
-    +          if $config{"meta_defaults"};
-     }
-     
-     sub getsetup () {
-    @@ -305,6 +307,15 @@ sub match {
-       }
-     }
-     
-    +sub scan() {
-    +  my %params = @_;
-    +  my $page = $params{page};
-    +  foreach my $default (@{$config{"meta_defaults"}}) {
-    +          preprocess(%$default, page => $page,
-    +                  destpage => $page, preview => 0);
-    +  }
-    +}
-    +
-     package IkiWiki::PageSpec;
-     
-     sub match_title ($$;@) {
-    diff --git a/IkiWiki/Setup.pm b/IkiWiki/Setup.pm
-    index 8a25ecc..e4d50c9 100644
-    --- a/IkiWiki/Setup.pm
-    +++ b/IkiWiki/Setup.pm
-    @@ -51,7 +51,13 @@ sub merge ($) {
-                                       $config{$c}=$setup{$c};
-                               }
-                               else {
-    -                                  $config{$c}=[map { IkiWiki::possibly_foolish_untaint($_) } @{$setup{$c}}]
-    +                                  $config{$c}=[map {
-    +                                          if(ref $_ eq 'HASH') {
-    +                                                  $_
-    +                                          } else {
-    +                                                  IkiWiki::possibly_foolish_untaint($_)
-    +                                          }
-    +                                  } @{$setup{$c}}];
-                               }
-                       }
-                       elsif (ref $setup{$c} eq 'HASH') {
-    diff --git a/doc/ikiwiki/directive/meta.mdwn b/doc/ikiwiki/directive/meta.mdwn
-    index 000f461..8d34ee4 100644
-    --- a/doc/ikiwiki/directive/meta.mdwn
-    +++ b/doc/ikiwiki/directive/meta.mdwn
-    @@ -12,6 +12,16 @@ also specifies some additional sub-parameters.
-     The field values are treated as HTML entity-escaped text, so you can include
-     a quote in the text by writing `"` and so on.
-     
-    +You can also define site-wide defaults for meta values by including them
-    +in your setup file. The key used is `meta_defaults` and the value is a list
-    +of hashes, one per meta directive. e.g.:
-    +
-    +  meta_defaults = [
-    +          { copyright => "Copyright 2007 by Joey Hess" },
-    +          { license   => "GPL v2+" },
-    +          { link => "somepage", rel => "site entrypoint", },
-    +  ],
-    +
-     Supported fields:
-     
-     * title
+    <snip old patch>
 
 -- [[Jon]]
 
 
 -- [[Jon]]
 
@@ -151,6 +83,8 @@ definitions essentially.
 >>
 >>> I generally agree with this. It is *possible* that meta would have a new
 >>> field added, that takes parameters and make sense to use globally.
 >>
 >>> I generally agree with this. It is *possible* that meta would have a new
 >>> field added, that takes parameters and make sense to use globally.
+>>> (Indeed, this later happened to some extent with the sortas parameters
+>>> being added to some metas.)
 >>> --[[Joey]] 
 >>
 >> Due to this, and the added complexity of the second patch (having to adjust
 >>> --[[Joey]] 
 >>
 >> Due to this, and the added complexity of the second patch (having to adjust
@@ -159,51 +93,7 @@ definitions essentially.
 >>
 >> Is this merge-worthy?
 
 >>
 >> Is this merge-worthy?
 
-    diff --git a/IkiWiki/Plugin/meta.pm b/IkiWiki/Plugin/meta.pm
-    index b229592..3132257 100644
-    --- a/IkiWiki/Plugin/meta.pm
-    +++ b/IkiWiki/Plugin/meta.pm
-    @@ -13,6 +13,7 @@ sub import {
-       hook(type => "needsbuild", id => "meta", call => \&needsbuild);
-       hook(type => "preprocess", id => "meta", call => \&preprocess, scan => 1);
-       hook(type => "pagetemplate", id => "meta", call => \&pagetemplate);
-    +  hook(type => "scan", id => "meta", call => \&scan);
-     }
-     
-     sub getsetup () {
-    @@ -302,6 +303,15 @@ sub match {
-       }
-     }
-     
-    +sub scan() {
-    +  my %params = @_;
-    +  my $page = $params{page};
-    +    foreach my $type (map { s/^meta_//; $_ } grep /^meta_/, keys %config) {
-    +          $pagestate{$page}{meta}{$type} = $config{"meta_$type"}
-    +                  unless defined $pagestate{$page}{meta}{$type};
-    +  }
-    +}
-    +
-     package IkiWiki::PageSpec;
-     
-     sub match_title ($$;@) {
-    diff --git a/doc/ikiwiki/directive/meta.mdwn b/doc/ikiwiki/directive/meta.mdwn
-    index 000f461..200c4b2 100644
-    --- a/doc/ikiwiki/directive/meta.mdwn
-    +++ b/doc/ikiwiki/directive/meta.mdwn
-    @@ -12,6 +12,12 @@ also specifies some additional sub-parameters.
-     The field values are treated as HTML entity-escaped text, so you can include
-     a quote in the text by writing `&quot;` and so on.
-     
-    +You can also define site-wide defaults for meta values by including them
-    +in your setup file, e.g.
-    +
-    +  meta_copyright => "Copyright 2007 by Joey Hess",
-    +  meta_license   => "GPL v2+",
-    +
-     Supported fields:
-     
-     * title
+    <snip old patch>
 
 -- [[Jon]]
 
 
 -- [[Jon]]
 
@@ -212,14 +102,27 @@ definitions essentially.
 >>> Hopefully I'll be back in the mix soon, too. In the meantime, Joey, have
 >>> you had a chance to look at this yet? -- [[Jon]]
 
 >>> Hopefully I'll be back in the mix soon, too. In the meantime, Joey, have
 >>> you had a chance to look at this yet? -- [[Jon]]
 
+>>>> Ping :) Hi.  [[Joey]], would you consider this patch for the next
+>>>> ikiwiki release? -- [[Jon]]
+
 >>> For this to work with websetup and --dumpsetup, it needs to define the
 >>> `meta_*` settings in the getsetup function.
 >>> For this to work with websetup and --dumpsetup, it needs to define the
 >>> `meta_*` settings in the getsetup function.
+>>>> 
+>>>> I think this will be problematic with the current implementation of this
+>>>> patch. The datatype here is an array of hash references, with each hash
+>>>> having a variable (and arbitrary) number of key/value pairs.  I can't
+>>>> think of an intuitive way of implementing a way of editing such a
+>>>> datatype in the web interface, let alone registering the option in
+>>>> getsetup.
+>>>> 
+>>>> Perhaps a limited set of defined meta values could be exposed via
+>>>> websetup (the obvious ones: author, copyright, license, etc.) -- [[Jon]]
 >>>
 >>> I also have some concerns about both these patches, since both throw
 >>> a lot of redundant data at meta, which then stores it in a very redundant
 >>> way. Specifically, meta populates a per-page `%metaheaders` hash
 >>> as well as storing per-page metadata in `%pagestate`. So, if you have
 >>>
 >>> I also have some concerns about both these patches, since both throw
 >>> a lot of redundant data at meta, which then stores it in a very redundant
 >>> way. Specifically, meta populates a per-page `%metaheaders` hash
 >>> as well as storing per-page metadata in `%pagestate`. So, if you have
->>> a wiki with a thousand pages, and you add a 1k site-wide license text,
+>>> a wiki with 10 thousand pages, and you add a 1k site-wide license text,
 >>> that will bloat the memory usage of ikiwiki by in excess of 2
 >>> megabytes. It will also cause ikiwiki to write a similar amount more data
 >>> to its state file which has to be loaded back in each
 >>> that will bloat the memory usage of ikiwiki by in excess of 2
 >>> megabytes. It will also cause ikiwiki to write a similar amount more data
 >>> to its state file which has to be loaded back in each
@@ -229,3 +132,38 @@ definitions essentially.
 >>> meta special-case the site-wide settings, not store them in these
 >>> per-page data structures, and just make them be used if no per-page
 >>> metadata of the given type is present. --[[Joey]]
 >>> meta special-case the site-wide settings, not store them in these
 >>> per-page data structures, and just make them be used if no per-page
 >>> metadata of the given type is present. --[[Joey]]
+>>>> 
+>>>> that should be easy enough to do. I will work on a patch. -- [[Jon]]
+>>>>> Hi — I've written a new patch which I hope addresses the concerns raised
+>>>>> with the previous ones. The new approach is to hard-code in `scan()`
+>>>>> which of the meta types are supported in the setup file.  If one is
+>>>>> defined, then `scan()` calls `preprocess()`, as [[smcv]] suggested,
+>>>>> rather than stuffing redundant data into ikiwiki's data structures.
+>>>>> 
+>>>>> Two types supported in the setup file have optional arguments: `author`
+>>>>> and `title`.  These are supported by having special-cased setup keys
+>>>>> `meta_author_sortas` and `meta_title_sortas`.  Future expansion of the
+>>>>> number of supported types, or addition of arguments to existing ones,
+>>>>> can similarly be special-cased.
+>>>>> 
+>>>>> The setup data structure is no longer complicated with an
+>>>>> array-of-hashes, which means this is suitable for exposing via websetup.
+>>>>> `getsetup()` has been adjusted accordingly.
+>>>>> 
+>>>>> The patch can be found at the git branch described above.
+>>>>>  — [[Jon]]
+
+>>>>>> I wish I could take pity on you and just merge this, but 
+>>>>>> AFAICS it still suffers from the memory bloat described above.
+>>>>>> Specifically, when `scan` calls `preprocess`, it
+>>>>>> stores the metadata in `%pagestate` etc. --[[Joey]]
+
+>>>>>>> No pity required — but whoops, yes, that was a bit of a mistake
+>>>>>>> ☺ I guess I'll have to split the current `preprocess` in half.
+>>>>>>> — [[Jon]]
+
+>>>>>>>> I've been taking another look at this today, as I'm very keen to
+>>>>>>>> close various open loops of mine in IkiWiki to move on and do some
+>>>>>>>> other stuff.  However, I'm not actually *using* this at the moment,
+>>>>>>>> so whilst I think it's a good idea, I can't really motivate myself
+>>>>>>>> to fix it anymore. I guess for now, this should just rot. — [[Jon]]