po: initial infrastructure to deal with renamed master page

This is a skeleton that does nothing yet.
See the comments in the code for an overview of the issue that arises, due to
the renamepage hook never being called globally.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(delete): added hook, and function skeleton

Not implemented yet, 'cos the renamepage hook has to come first.
Else translations would be deleted on rename, what a shame.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(change): avoid losing information before guessing the same...

Signed-off-by: intrigeri <intrigeri@boum.org>

po(istranslatablefile): extracted this from istranslatable

... will need this soon to deal with master file deletion.

Signed-off-by: intrigeri <intrigeri@boum.org>

po.t: cleanup

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: added test results

Signed-off-by: intrigeri <intrigeri@boum.org>

po(otherlanguages): return pages that should exist

... instead of already existing ones.
This fixes the "missing otherlanguages links on master pages just created via
the CGI" bug.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: memoized istranslatable, eventually

And enjoy a 10% rebuild time enhancement on a complex wiki full of maps and
other pseudo-dynamic content, with some other costly plugins enabled. So it
could well mean 20% on a more usual wiki.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(change): flush Memoize cache, to fix bug after rename/remove

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: first pass of robustness tests, added todo for remove/rename

Signed-off-by: intrigeri <intrigeri@boum.org>

po(htmlize): ignore PO files not managed by this plugin

This way, the po plugin will not appropriate PO files it is not responsible for,
and PO files existing before this plugin was enabled can coexist peacefully with
our own ones.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: ooops, fixed just introduced bug

(I just removed in istranslation and _istranslation the dependency on
istranslatable... which broke things in a subtle way, hard to see at the first
glance.)

Signed-off-by: intrigeri <intrigeri@boum.org>

parentlinks: fixed links when po plugin is enabled

(and usedirs is disabled)

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fix istranslation/istranslatable for pages starting with /

Signed-off-by: intrigeri <intrigeri@boum.org>

po(mybestlink): fixed when fed with path beginning with /

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: added robustness tests that have to be done

Signed-off-by: intrigeri <intrigeri@boum.org>

po: compute internal links from a slave page relative to its master page

e.g. a link appearing on a slave page links to its masterpage's subpages.

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/po' into prv/po

patch and a few comments

Merge commit 'intrigeri/po' into po

Merge branch 'master' into po

po/todo: bug report about linking to subpages from translation pages

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fixed bug when a new translatable page is created

Signed-off-by: intrigeri <intrigeri@boum.org>

po: change a bit the way links are generated

This will soon enable usage of translated page titles in link.

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: fixed internal links

Signed-off-by: intrigeri <intrigeri@boum.org>

lockwiki changes

* Stop busy-waiting in lockwiki, as this could delay ikiwiki from waking up
  for up to one second. The bailout code is no longer needed.
* Remove support for unused optional wait parameter from lockwiki.

O_CREATE needs mode

avoid multiple ikiwiki cgi processes piling up, eating all memory, and thrashing

Fixed by making the cgi wrapper wait on a cgilock.
If you had to set apache's MaxClients low to avoid ikiwiki thrashing
your server, you can now turn it up to a high value.

The downside to this is that a cgi call that doesn't need to call lockwiki
will be serialised by this so only one can run at a time. (For example,
do=search.) There are few such calls, and all of them call loadindex,
so each still eats gobs of memory, so serialising them still seems ok.

po/todo: added note about backlinks not being updated

Signed-off-by: intrigeri <intrigeri@boum.org>

bzr: Fix dates for recentchanges.

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

let's stop sucking :-)

po: fixed link to home page when po_link_to=negotiated, added testcase

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: update

Signed-off-by: intrigeri <intrigeri@boum.org>

po: answered Joey's "create a new translation" question

... that I previously completely missed.

Signed-off-by: intrigeri <intrigeri@boum.org>

po(change): fix uninitialized variables when running IkiWiki::refresh()

Signed-off-by: intrigeri <intrigeri@boum.org>

po: added HOMEPAGEURL template variable, documented when to use it

Hopefully all links should now be consistent with the chosen linking behavior,
but who knows...

Signed-off-by: intrigeri <intrigeri@boum.org>

po/todo: added bug report for weird Perl warnings

Signed-off-by: intrigeri <intrigeri@boum.org>

po: fixed link to homepage from non-translation page

Added testcases for this bug.
It remains broken when generated from <TMPL_VAR BASEURL>, though.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: some code simplification/clarification

Signed-off-by: intrigeri <intrigeri@boum.org>

add item to watch list

po/todo: updated page formats, broken links, documentation

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/master' into prv/po

po: help request

Signed-off-by: intrigeri <intrigeri@boum.org>

po(scan): make more clear what's being done

Mostly comments, and also a small code change: simplification and implementation
details hiding.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: reorder nearly all of the module code

It has grown up incrementally and new helper functions were added right in the
middle of the hooks, most often near the place they were used, which is
practical when doing initial development, but quite ugly afterwards, when helper
functions are useful to separate logic and implementation details.

Today's refactoring commits have brought the code to a much more maintainable
state, IMHO.

Signed-off-by: intrigeri <intrigeri@boum.org>

remove redundant link munge

This is not needed now that tagpage returns a page name starting with a
slash.

(Also fixes a minor bug that the edit links started with double slashes due
to the hack.)

typo

po/doc: first fuzzy-testing results for po4a and msgmerge

Chapter #1, in which we learn po4a could help to DoS ikiwiki + po,
whereas msgmerge seems reluctant to cooperate.

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

tag: Normalize tagbase so leading/trailing slashes in it don't break things.

reply

Merge branch 'master' of git://git.ikiwiki.info

response

add discussion on this tip

specifying the user in recentchanges for anon git pushes

update my userpage (and try out git pushes)

add a robots.txt

Yahoo! has been pounding on ikiwiki.cgi again. While I'd prefer ikiwiki to
generate sites that avoided robots hitting it in other ways, I'm adding a
robots.txt, at least temporarily.

Add rel=nofollow to recentchanges_links for the same (weak) reasons it was earlier added to edit links.

po/doc: more security research results

Apart of the fuzzying part, I'm done with what I can do without help.

The "Running po4a on untrusted content" section needs at least a quick glance
from an experimented Perl programmer.

Signed-off-by: intrigeri <intrigeri@boum.org>

reorg to avoid broken link in basewiki

ikiwiki/markdown is a basewiki page and shouldn't link to pages in tips.

Instead, make the tips link to it, so backlinks will point back to them.
While I'm at it, move the info about the emacs mode to a tip.

po(match_lang, match_currentlang): use the lang() function

... now that it exists, instead of duplicating it.

Signed-off-by: intrigeri <intrigeri@boum.org>

po: rewrote otherlanguagesloop()

It is now more elegant IMHO, and the output is now sorted according to the
language name (instead of code).

Signed-off-by: intrigeri <intrigeri@boum.org>

po: factorize extraction of a slave page's masterpage and lang

The very same code was repeated at dozens of places.

NB: the real work is now done is _istranslation(), which is memoized,
so the additional function calls overhead should be compensated.

Signed-off-by: intrigeri <intrigeri@boum.org>

t/po.t: removed debug lines

Signed-off-by: intrigeri <intrigeri@boum.org>

response

reorganize vim syntax highlighting info

There was already a tip about it; move the plasticboy version to there.

po(otherlanguagesloop): start factorizing

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/master' into prv/po

po: finish abstracting %filtered by putting it into a blackbox

i.e. it is invisible for everyone but its accessors/mutators

Signed-off-by: intrigeri <intrigeri@boum.org>

po: actually use pofiles() function, to enhance code clarity

Signed-off-by: intrigeri <intrigeri@boum.org>

po: abstract "doing something for the same page in every other language"

Signed-off-by: intrigeri <intrigeri@boum.org>

po: abstract implementation details for %translations building and resetting

Signed-off-by: intrigeri <intrigeri@boum.org>

po: abstract %filtered implementation details

Signed-off-by: intrigeri <intrigeri@boum.org>

po: clarify error messages

Signed-off-by: intrigeri <intrigeri@boum.org>

po: clarify code with some comments

Signed-off-by: intrigeri <intrigeri@boum.org>

po: prevent a slave page to depend on itself

It has never caused harm yet, but it might in the future.

Signed-off-by: intrigeri <intrigeri@boum.org>

vim syntax file linked

Fix the link() pagespec to match links that are internally recorded as absolute.

This fixes a problem exposed by the recent change to tags
(a2839de9362187b67b0e3a564461e272e64fd9b4). That recorded tag links as
absolute by including a leading slash in the link. The same could also be
done with an absolute wikilink.

In either case, link() would not match such links, unless the leading slash
was included in the link to match. But that's not right, because pagespecs
match absolute by default. So strip the leading slash.

Note that to keep any existing `link(/foo)` pagespecs working after this
change, the leading slash is removed from there, too.

po/todo(security): many research results

... and some questions to Joey (hint: look for your name)

Signed-off-by: intrigeri <intrigeri@boum.org>

po(refreshpot): define the input charset before read()'ing

... to prevent the use of Encode::Guess::guess_encoding() in
Locale::Po4a::Transtractor (just a minor security measure, dependent on po4a
internals, but we have no reason to think Encode::Guess is not safe).

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'master' of ssh://git.ikiwiki.info/srv/git/ikiwiki.info

fix link to Jason Blevins user page

Merge branch 'prv/po' into pub/po

question about the format directive and relation with htmlize hooks

po/todo++: support other file formats than markdown

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'prv/po' into pub/po

po/todo: mostly security research

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'prv/po' into pub/po

po: started research on gettext/po4a security

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'prv/po' into pub/po

fixed link

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge branch 'prv/po' into pub/po

added symlink to pagespec/po in basewiki to fix the build

else basewiki_brokenlinks.t fails.

Signed-off-by: intrigeri <intrigeri@boum.org>

Merge commit 'upstream/master' into pub/po

Merge commit 'upstream/master' into prv/po

po: finished backlinks implementation

Signed-off-by: intrigeri <intrigeri@boum.org>

po: oops, removed debug output from testsuit

Signed-off-by: intrigeri <intrigeri@boum.org>

po: implemented linking/backlinks specification for po_link_to=negotiated

Signed-off-by: intrigeri <intrigeri@boum.org>