doc/plugins/po.mdwn

   1 [[!template id=plugin name=po core=0 author="[[intrigeri]]"]]
   2 [[!tag type/format]]
   3
   4 This plugin adds support for multi-lingual wikis, translated with
   5 gettext, using [po4a](http://po4a.alioth.debian.org/).
   6
   7 It depends on the Perl `Locale::Po4a::Po` library (`apt-get install po4a`).
   8 As detailed bellow in the security section, `po4a` is subject to
   9 denial-of-service attacks before version 0.35.
  10
  11 [[!toc levels=2]]
  12
  13 Introduction
  14 ============
  15
  16 A language is chosen as the "master" one, and any other supported
  17 language is a "slave" one.
  18
  19 A page written in the "master" language is a "master" page. It can be
  20 of any page type supported by ikiwiki, except `po`. It does not have to be
  21 named a special way: migration to this plugin does not imply any page
  22 renaming work.
  23
  24 Example: `bla/page.mdwn` is a "master" Markdown page written in
  25 English; if `usedirs` is enabled, it is rendered as
  26 `bla/page/index.en.html`, else as `bla/page.en.html`.
  27
  28 Any translation of a "master" page into a "slave" language is called
  29 a "slave" page; it is written in the gettext PO format. `po` is now
  30 a page type supported by ikiwiki.
  31
  32 Example: `bla/page.fr.po` is the PO "message catalog" used to
  33 translate `bla/page.mdwn` into French; if `usedirs` is enabled, it is
  34 rendered as `bla/page/index.fr.html`, else as `bla/page.fr.html`
  35
  36 (In)Compatibility
  37 =================
  38
  39 This plugin does not support the `indexpages` mode. If you don't know
  40 what it is, you probably don't care.
  41
  42
  43 Configuration
  44 =============
  45
  46 Supported languages
  47 -------------------
  48
  49 `po_master_language` is used to set the "master" language in
  50 `ikiwiki.setup`, such as:
  51
  52         po_master_language => { 'code' => 'en', 'name' => 'English' }
  53
  54 `po_slave_languages` is used to set the list of supported "slave"
  55 languages, such as:
  56
  57         po_slave_languages => { 'fr' => 'Français',
  58                                 'es' => 'Español',
  59                                 'de' => 'Deutsch',
  60         }
  61
  62 Decide which pages are translatable
  63 -----------------------------------
  64
  65 The `po_translatable_pages` setting configures what pages are
  66 translatable. It is a [[ikiwiki/PageSpec]], so you have lots of
  67 control over what kind of pages are translatable.
  68
  69 The `.po` files are not considered as being translatable, so you don't need to
  70 worry about excluding them explicitly from this [[ikiwiki/PageSpec]].
  71
  72 Internal links
  73 --------------
  74
  75 ### Links targets
  76
  77 The `po_link_to` option in `ikiwiki.setup` is used to decide how
  78 internal links should be generated, depending on web server features
  79 and site-specific preferences.
  80
  81 #### Default linking behavior
  82
  83 If `po_link_to` is unset, or set to `default`, ikiwiki's default
  84 linking behavior is preserved: `\[[destpage]]` links to the master
  85 language's page.
  86
  87 #### Link to current language
  88
  89 If `po_link_to` is set to `current`, `\[[destpage]]` links to the
  90 `destpage`'s version written in the current page's language, if
  91 available, *i.e.*:
  92
  93 * `foo/destpage/index.LL.html` if `usedirs` is enabled
  94 * `foo/destpage.LL.html` if `usedirs` is disabled
  95
  96 #### Link to negotiated language
  97
  98 If `po_link_to` is set to `negotiated`, `\[[page]]` links to the
  99 negotiated preferred language, *i.e.* `foo/page/`.
 100
 101 (In)compatibility notes:
 102
 103 * if `usedirs` is disabled, it does not make sense to set `po_link_to`
 104   to `negotiated`; this option combination is neither implemented
 105   nor allowed.
 106 * if the web server does not support Content Negotiation, setting
 107   `po_link_to` to `negotiated` will produce a unusable website.
 108
 109 Server support
 110 ==============
 111
 112 Apache
 113 ------
 114
 115 Using Apache `mod_negotiation` makes it really easy to have Apache
 116 serve any page in the client's preferred language, if available.
 117
 118 Add 'Options MultiViews' to the wiki directory's configuration in Apache.
 119
 120 When `usedirs` is enabled, one has to set `DirectoryIndex index` for
 121 the wiki context.
 122
 123 Setting `DefaultLanguage LL` (replace `LL` with your default MIME
 124 language code) for the wiki context can help to ensure
 125 `bla/page/index.en.html` is served as `Content-Language: LL`.
 126
 127 For details, see [Apache's documentation](http://httpd.apache.org/docs/2.2/content-negotiation.html).
 128
 129 lighttpd
 130 --------
 131
 132 Recent versions of lighttpd should be able to use
 133 `$HTTP["language"]` to configure the translatted pages to be served.
 134
 135 TODO: Example
 136
 137 Usage
 138 =====
 139
 140 Templates
 141 ---------
 142
 143 When `po_link_to` is not set to `negotiated`, one should replace some
 144 occurrences of `BASEURL` with `HOMEPAGEURL` to get correct links to
 145 the wiki homepage.
 146
 147 The `ISTRANSLATION` and `ISTRANSLATABLE` variables can be used to
 148 display things only on translatable or translation pages.
 149
 150 ### Display page's versions in other languages
 151
 152 The `OTHERLANGUAGES` loop provides ways to display other languages'
 153 versions of the same page, and the translations' status.
 154
 155 An example of its use can be found in the default
 156 `templates/page.tmpl`. In case you want to customize it, the following
 157 variables are available inside the loop (for every page in):
 158
 159 * `URL` - url to the page
 160 * `CODE` - two-letters language code
 161 * `LANGUAGE` - language name (as defined in `po_slave_languages`)
 162 * `MASTER` - is true (1) if, and only if the page is a "master" page
 163 * `PERCENT` - for "slave" pages, is set to the translation completeness, in percents
 164
 165 ### Display the current translation status
 166
 167 The `PERCENTTRANSLATED` variable is set to the translation
 168 completeness, expressed in percent, on "slave" pages. It is used by
 169 the default `templates/page.tmpl`.
 170
 171 Additional PageSpec tests
 172 -------------------------
 173
 174 This plugin enhances the regular [[ikiwiki/PageSpec]] syntax with some
 175 additional tests that are documented [[here|ikiwiki/pagespec/po]].
 176
 177 Automatic PO file update
 178 ------------------------
 179
 180 Committing changes to a "master" page:
 181
 182 1. updates the POT file and the PO files for the "slave" languages;
 183    the updated PO files are then put under version control;
 184 2. triggers a refresh of the corresponding HTML slave pages.
 185
 186 Also, when the plugin has just been enabled, or when a page has just
 187 been declared as being translatable, the needed POT and PO files are
 188 created, and the PO files are checked into version control.
 189
 190 Discussion pages and other sub-pages
 191 ------------------------------------
 192
 193 Discussion should happen in the language in which the pages are
 194 written for real, *i.e.* the "master" one. If discussion pages are
 195 enabled, "slave" pages therefore link to the "master" page's
 196 discussion page.
 197
 198 Likewise, "slave" pages are not supposed to have sub-pages;
 199 [[WikiLinks|wikilink]] that appear on a "slave" page therefore link to
 200 the master page's sub-pages.
 201
 202 Translating
 203 -----------
 204
 205 One can edit the PO files using ikiwiki's CGI (a message-by-message
 206 interface could also be implemented at some point).
 207
 208 If [[tips/untrusted_git_push]] is setup, one can edit the PO files in one's
 209 preferred `$EDITOR`, without needing to be online.
 210
 211 Markup languages support
 212 ------------------------
 213
 214 [[Markdown|mdwn]] is well supported. Some other markup languages supported
 215 by ikiwiki mostly work, but some pieces of syntax are not rendered
 216 correctly on the slave pages:
 217
 218 * [[reStructuredText|rst]]: anonymous hyperlinks and internal
 219   cross-references
 220 * [[wikitext]]: conversion of newlines to paragraphs
 221 * [[creole]]: verbatim text is wrapped, tables are broken
 222 * [[html]] and LaTeX: not supported yet; the dedicated po4a modules
 223   could be used to support them, but they would need a security audit
 224 * other markup languages have not been tested.
 225
 226 Security
 227 ========
 228
 229 [[po/discussion]] contains a detailed security analysis of this plugin
 230 and its dependencies.
 231
 232 When using po4a older than 0.35, it is recommended to uninstall
 233 `Text::WrapI18N` (Debian package `libtext-wrapi18n-perl`), in order to
 234 avoid a potential denial of service.
 235
 236 TODO
 237 ====
 238
 239 Better links
 240 ------------
 241
 242 Once the fix to
 243 [[bugs/pagetitle_function_does_not_respect_meta_titles]] from
 244 [[intrigeri]]'s `meta` branch is merged into ikiwiki upstream, the
 245 generated links' text will be optionally based on the page titles set
 246 with the [[meta|plugins/meta]] plugin, and will thus be translatable.
 247 It will also allow displaying the translation status in links to slave
 248 pages. Both were implemented, and reverted in commit
 249 ea753782b222bf4ba2fb4683b6363afdd9055b64, which should be reverted
 250 once [[intrigeri]]'s `meta` branch is merged.
 251
 252 An integration branch, called `meta-po`, merges [[intrigeri]]'s `po`
 253 and `meta` branches, and thus has this additional features.
 254
 255 Language display order
 256 ----------------------
 257
 258 Jonas pointed out that one might want to control the order that links to
 259 other languages are listed, for various reasons. Currently, there is no
 260 order, as `po_slave_languages` is a hash. It would need to be converted
 261 to an array to support this. (If twere done, twere best done quickly.)
 262 --[[Joey]]
 263
 264 Pagespecs
 265 ---------
 266
 267 I was suprised that, when using the map directive, a pagespec of "*"
 268 listed all the translated pages as well as regular pages. That can
 269 make a big difference to an existing wiki when po is turned on,
 270 and seems generally not wanted.
 271 (OTOH, you do want to match translated pages by
 272 default when locking pages.) --[[Joey]]
 273
 274 Edit links on untranslated pages
 275 --------------------------------
 276
 277 If a page is not translated yet, the "translated" version of it
 278 displays wikilinks to other, existing (but not yet translated?)
 279 pages as edit links, as if those pages do not exist.
 280
 281 That's really confusing, especially as clicking such a link
 282 brings up an edit form to create a new, english page.
 283
 284 This is with po_link_to=current or negotiated. With default, it doesn't
 285 happen..
 286
 287 Also, this may only happen if the page being linked to is coming from an
 288 underlay, and the underlays lack translation to a given language.
 289 --[[Joey]]
 290
 291 Double commits of po files
 292 --------------------------
 293
 294 When adding a new english page, the po files are created, committed,
 295 and then committed again. The second commit makes this change:
 296
 297         -"Content-Type: text/plain; charset=utf-8\n"
 298         -"Content-Transfer-Encoding: ENCODING"
 299         +"Content-Type: text/plain; charset=UTF-8\n"
 300         +"Content-Transfer-Encoding: ENCODING\n"
 301
 302 Same thing happens when a change to an existing page triggers a po file
 303 update. --[[Joey]]
 304
 305 Ugly messages with empty files
 306 ------------------------------
 307
 308 If there are empty .mdwn files, the po plugin displays some ugly messages.
 309
 310 Translation of directives
 311 -------------------------
 312
 313 If a translated page contains a directive, it may expand to some english
 314 text, or text in whatever single language ikiwiki is configured to "speak".
 315
 316 Maybe there could be a way to switch ikiwiki to speaking another language
 317 when building a non-english page? Then the directives would get translated.
 318
 319 (We also will need this in order to use translated templates, when they are
 320 available.)
 321
 322 Documentation
 323 -------------
 324
 325 Maybe write separate documentation depending on the people it targets:
 326 translators, wiki administrators, hackers. This plugin may be complex
 327 enough to deserve this.