doc/plugins/aggregate.mdwn

   1 [[!template id=plugin name=aggregate author="[[Joey]]"]]
   2 [[!tag type/special-purpose]]
   3
   4 This plugin allows content from other feeds to be aggregated into the
   5 wiki. To specify feeds to aggregate, use the
   6 [[ikiwiki/directive/aggregate]] [[ikiwiki/directive]].
   7
   8 ## requirements
   9
  10 The [[meta]] and [[tag]] plugins are also recommended to be used with this
  11 one. Either the [[htmltidy]] or [[htmlbalance]] plugin is suggested, since
  12 feeds can easily contain html problems, some of which these plugins can fix.
  13
  14 Installing the [[!cpan LWPx::ParanoidAgent]] Perl module is strongly
  15 recommended. The [[!cpan LWP]] module can also be used, but is susceptible
  16 to server-side request forgery.
  17
  18 ## triggering aggregation
  19
  20 You will need to run ikiwiki periodically from a cron job, passing it the
  21 --aggregate parameter, to make it check for new posts. Here's an example
  22 crontab entry:
  23
  24         */15 * * * * ikiwiki --setup my.wiki --aggregate --refresh
  25
  26 The plugin updates a file `.ikiwiki/aggregatetime` with the unix time stamp
  27 when the next aggregation run could occur. (The file may be empty, if no
  28 aggregation is required.) This can be integrated into more complex cron
  29 jobs or systems to trigger aggregation only when needed.
  30
  31 Alternatively, you can allow `ikiwiki.cgi` to trigger the aggregation. You
  32 should only need this if for some reason you cannot use cron, and instead
  33 want to use a service such as [WebCron](http://webcron.org). To enable
  34 this, turn on `aggregate_webtrigger` in your setup file. The url to
  35 visit is `http://whatever/ikiwiki.cgi?do=aggregate_webtrigger`. Anyone
  36 can visit the url to trigger an aggregation run, but it will only check
  37 each feed if its `updateinterval` has passed.
  38
  39 ## aggregated pages
  40
  41 This plugin creates a page for each aggregated item.
  42
  43 If the `aggregateinternal` option is enabled in the setup file (which is
  44 the default), aggregated pages are stored in the source directory with a
  45 "._aggregated" extension. These pages cannot be edited by web users, and
  46 do not generate first-class wiki pages. They can still be inlined into a
  47 blog, but you have to use `internal` in [[PageSpecs|IkiWiki/PageSpec]],
  48 like `internal(blog/*)`.
  49
  50 If `aggregateinternal` is disabled, you will need to enable the [[html]]
  51 plugin as well as aggregate itself, since feed entries will be stored as
  52 HTML, and as first-class wiki pages -- each one generates
  53 a separate HTML page in the output, and they can even be edited. This
  54 option is provided only for backwards compatability.
  55
  56 ## cookies
  57
  58 The `cookiejar` option can be used to configure how [[!cpan LWP::UserAgent]]
  59 handles cookies. The default is to read them from a file
  60 `~/.ikiwiki/cookies`, which can be populated using standard perl cookie
  61 tools like [[!cpan HTTP::Cookies]].