doc/plugins/po.mdwn

   1 [[!template id=plugin name=po core=0 author="[[intrigeri]]"]]
   2 [[!tag type/format]]
   3
   4 This plugin adds support for multi-lingual wikis, translated with
   5 gettext, using [po4a](http://po4a.alioth.debian.org/).
   6
   7 It depends on the Perl `Locale::Po4a::Po` library (`apt-get install po4a`).
   8 As detailed bellow in the security section, `po4a` is subject to
   9 denial-of-service attacks before version 0.35.
  10
  11 [[!toc levels=2]]
  12
  13 Introduction
  14 ============
  15
  16 A language is chosen as the "master" one, and any other supported
  17 language is a "slave" one.
  18
  19 A page written in the "master" language is a "master" page. It can be
  20 of any page type supported by ikiwiki, except `po`. It does not have to be
  21 named a special way: migration to this plugin does not imply any page
  22 renaming work.
  23
  24 Example: `bla/page.mdwn` is a "master" Markdown page written in
  25 English; if `usedirs` is enabled, it is rendered as
  26 `bla/page/index.en.html`, else as `bla/page.en.html`.
  27
  28 Any translation of a "master" page into a "slave" language is called
  29 a "slave" page; it is written in the gettext PO format. `po` is now
  30 a page type supported by ikiwiki.
  31
  32 Example: `bla/page.fr.po` is the PO "message catalog" used to
  33 translate `bla/page.mdwn` into French; if `usedirs` is enabled, it is
  34 rendered as `bla/page/index.fr.html`, else as `bla/page.fr.html`
  35
  36 (In)Compatibility
  37 =================
  38
  39 This plugin does not support the `indexpages` mode. If you don't know
  40 what it is, you probably don't care.
  41
  42
  43 Configuration
  44 =============
  45
  46 Supported languages
  47 -------------------
  48
  49 `po_master_language` is used to set the "master" language in
  50 `ikiwiki.setup`, such as:
  51
  52         po_master_language => { 'code' => 'en', 'name' => 'English' }
  53
  54 `po_slave_languages` is used to set the list of supported "slave"
  55 languages, such as:
  56
  57         po_slave_languages => { 'fr' => 'Français',
  58                                 'es' => 'Castellano',
  59                                 'de' => 'Deutsch',
  60         }
  61
  62 Decide which pages are translatable
  63 -----------------------------------
  64
  65 The `po_translatable_pages` setting configures what pages are
  66 translatable. It is a [[ikiwiki/PageSpec]], so you have lots of
  67 control over what kind of pages are translatable.
  68
  69 The `.po` files are not considered as being translatable, so you don't need to
  70 worry about excluding them explicitly from this [[ikiwiki/PageSpec]].
  71
  72 Internal links
  73 --------------
  74
  75 ### Links targets
  76
  77 The `po_link_to` option in `ikiwiki.setup` is used to decide how
  78 internal links should be generated, depending on web server features
  79 and site-specific preferences.
  80
  81 #### Default linking behavior
  82
  83 If `po_link_to` is unset, or set to `default`, ikiwiki's default
  84 linking behavior is preserved: `\[[destpage]]` links to the master
  85 language's page.
  86
  87 #### Link to current language
  88
  89 If `po_link_to` is set to `current`, `\[[destpage]]` links to the
  90 `destpage`'s version written in the current page's language, if
  91 available, *i.e.*:
  92
  93 * `foo/destpage/index.LL.html` if `usedirs` is enabled
  94 * `foo/destpage.LL.html` if `usedirs` is disabled
  95
  96 #### Link to negotiated language
  97
  98 If `po_link_to` is set to `negotiated`, `\[[page]]` links to the
  99 negotiated preferred language, *i.e.* `foo/page/`.
 100
 101 (In)compatibility notes:
 102
 103 * if `usedirs` is disabled, it does not make sense to set `po_link_to`
 104   to `negotiated`; this option combination is neither implemented
 105   nor allowed.
 106 * if the web server does not support Content Negotiation, setting
 107   `po_link_to` to `negotiated` will produce a unusable website.
 108
 109 Server support
 110 ==============
 111
 112 Apache
 113 ------
 114
 115 Using Apache `mod_negotiation` makes it really easy to have Apache
 116 serve any page in the client's preferred language, if available.
 117 This is the default Debian Apache configuration.
 118
 119 When `usedirs` is enabled, one has to set `DirectoryIndex index` for
 120 the wiki context.
 121
 122 Setting `DefaultLanguage LL` (replace `LL` with your default MIME
 123 language code) for the wiki context can help to ensure
 124 `bla/page/index.en.html` is served as `Content-Language: LL`.
 125
 126 lighttpd
 127 --------
 128
 129 lighttpd unfortunately does not support content negotiation.
 130
 131 **FIXME**: does `mod_magnet` provide the functionality needed to
 132  emulate this?
 133
 134
 135 Usage
 136 =====
 137
 138 Templates
 139 ---------
 140
 141 When `po_link_to` is not set to `negotiated`, one should replace some
 142 occurrences of `BASEURL` with `HOMEPAGEURL` to get correct links to
 143 the wiki homepage.
 144
 145 The `ISTRANSLATION` and `ISTRANSLATABLE` variables can be used to
 146 display things only on translatable or translation pages.
 147
 148 ### Display page's versions in other languages
 149
 150 The `OTHERLANGUAGES` loop provides ways to display other languages'
 151 versions of the same page, and the translations' status.
 152
 153 One typically adds the following code to `templates/page.tmpl`:
 154
 155         <TMPL_IF NAME="OTHERLANGUAGES">
 156         <div id="otherlanguages">
 157           <ul>
 158           <TMPL_LOOP NAME="OTHERLANGUAGES">
 159             <li>
 160               <a href="<TMPL_VAR NAME="URL">"><TMPL_VAR NAME="LANGUAGE"></a>
 161               <TMPL_UNLESS NAME="MASTER">
 162                 (<TMPL_VAR NAME="PERCENT">&nbsp;%)
 163               </TMPL_UNLESS>
 164             </li>
 165           </TMPL_LOOP>
 166           </ul>
 167         </div>
 168         </TMPL_IF>
 169
 170 The following variables are available inside the loop (for every page in):
 171
 172 * `URL` - url to the page
 173 * `CODE` - two-letters language code
 174 * `LANGUAGE` - language name (as defined in `po_slave_languages`)
 175 * `MASTER` - is true (1) if, and only if the page is a "master" page
 176 * `PERCENT` - for "slave" pages, is set to the translation completeness, in percents
 177
 178 ### Display the current translation status
 179
 180 The `PERCENTTRANSLATED` variable is set to the translation
 181 completeness, expressed in percent, on "slave" pages.
 182
 183 One can use it this way:
 184
 185         <TMPL_IF NAME="ISTRANSLATION">
 186         <div id="percenttranslated">
 187           <TMPL_VAR NAME="PERCENTTRANSLATED">
 188         </div>
 189         </TMPL_IF>
 190
 191 Additional PageSpec tests
 192 -------------------------
 193
 194 This plugin enhances the regular [[ikiwiki/PageSpec]] syntax with some
 195 additional tests that are documented [[here|ikiwiki/pagespec/po]].
 196
 197 Automatic PO file update
 198 ------------------------
 199
 200 Committing changes to a "master" page:
 201
 202 1. updates the POT file and the PO files for the "slave" languages;
 203    the updated PO files are then put under version control;
 204 2. triggers a refresh of the corresponding HTML slave pages.
 205
 206 Also, when the plugin has just been enabled, or when a page has just
 207 been declared as being translatable, the needed POT and PO files are
 208 created, and the PO files are checked into version control.
 209
 210 Discussion pages and other sub-pages
 211 ------------------------------------
 212
 213 Discussion should happen in the language in which the pages are
 214 written for real, *i.e.* the "master" one. If discussion pages are
 215 enabled, "slave" pages therefore link to the "master" page's
 216 discussion page.
 217
 218 Likewise, "slave" pages are not supposed to have sub-pages;
 219 [[WikiLinks|wikilink]] that appear on a "slave" page therefore link to
 220 the master page's sub-pages.
 221
 222 Translating
 223 -----------
 224
 225 One can edit the PO files using ikiwiki's CGI (a message-by-message
 226 interface could also be implemented at some point).
 227
 228 If [[tips/untrusted_git_push]] is setup, one can edit the PO files in one's
 229 preferred `$EDITOR`, without needing to be online.
 230
 231 Markup languages support
 232 ------------------------
 233
 234 Markdown is well supported. Some other markup languages supported by
 235 ikiwiki mostly work, but some pieces of syntax are not rendered
 236 correctly on the slave pages:
 237
 238 * [[reStructuredText|rst]]: anonymous hyperlinks and internal
 239   cross-references
 240 * [[wikitext]]: conversion of newlines to paragraphs
 241 * [[creole]]: verbatim text is wrapped, tables are broken
 242 * [[html]] and LaTeX: not supported yet; the dedicated po4a modules
 243   could be used to support them, but they would need a security audit
 244 * other markup languages have not been tested.
 245
 246 Security
 247 ========
 248
 249 [[./security]] contains a detailed security analysis of this plugin
 250 and its dependencies.
 251
 252 When using po4a older than 0.35, it is recommended to uninstall
 253 `Text::WrapI18N` (Debian package `libtext-wrapi18n-perl`), in order to
 254 avoid a potential denial of service.
 255
 256 TODO
 257 ====
 258
 259 Better links
 260 ------------
 261
 262 Once the fix to
 263 [[bugs/pagetitle_function_does_not_respect_meta_titles]] from
 264 [[intrigeri]]'s `meta` branch is merged into ikiwiki upstream, the
 265 generated links' text will be optionally based on the page titles set
 266 with the [[meta|plugins/meta]] plugin, and will thus be translatable.
 267 It will also allow displaying the translation status in links to slave
 268 pages. Both were implemented, and reverted in commit
 269 ea753782b222bf4ba2fb4683b6363afdd9055b64, which should be reverted
 270 once [[intrigeri]]'s `meta` branch is merged.
 271
 272 An integration branch, called `meta-po`, merges [[intrigeri]]'s `po`
 273 and `meta` branches, and thus has thise additional features.
 274
 275 Robustness tests
 276 ----------------
 277
 278 ### Enabling/disabling the plugin
 279
 280 * enabling the plugin with `po_translatable_pages` set to blacklist: **OK**
 281 * enabling the plugin with `po_translatable_pages` set to whitelist: **OK**
 282 * enabling the plugin without `po_translatable_pages` set: **OK**
 283 * disabling the plugin: **OK**
 284
 285 ### Changing the plugin config
 286
 287 * adding existing pages to `po_translatable_pages`: **OK**
 288 * removing existing pages from `po_translatable_pages`: **OK**
 289 * adding a language to `po_slave_languages`: **OK**
 290 * removing a language from `po_slave_languages`: **OK**
 291 * changing `po_master_language`: **OK**
 292 * replacing `po_master_language` with a language previously part of
 293   `po_slave_languages`: needs two rebuilds, but **OK** (this is quite
 294   a perverse test actually)
 295
 296 ### Creating/deleting/renaming pages
 297
 298 All cases of master/slave page creation/deletion/rename, both via RCS
 299 and via CGI, have been tested.
 300
 301 ### Misc
 302
 303 * general test with `usedirs` disabled: **OK**
 304 * general test with `indexpages` enabled: **not OK**
 305 * general test with `po_link_to=default` with `userdirs` enabled: **OK**
 306 * general test with `po_link_to=default` with `userdirs` disabled: **OK**
 307
 308 Misc. bugs
 309 ----------
 310
 311 Documentation
 312 -------------
 313
 314 Maybe write separate documentation depending on the people it targets:
 315 translators, wiki administrators, hackers. This plugin may be complex
 316 enough to deserve this.