<div dir="ltr">On Sun, Apr 28, 2013 at 7:28 AM, Tim Landscheidt <span dir="ltr"><<a href="mailto:tim@tim-landscheidt.de" target="_blank">tim@tim-landscheidt.de</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">"Marc A. Pelletier" <<a href="mailto:marc@uberbox.org">marc@uberbox.org</a>> wrote:<br>


<br>
>> I'm all for the "lazy sysadmin" paradigm, but I think that<br>
>> shouldn't preclude usable databases.  River's trainwreck is<br>
>> freely available<br>
>> (<a href="https://svn.wikimedia.org/svnroot/mediawiki/trunk/tools/trainwreck" target="_blank">https://svn.wikimedia.org/svnroot/mediawiki/trunk/tools/trainwreck</a>)<br>
>> and open source, and the effort to port it to Ubuntu and set<br>
>> it up is a valuable investment (or the setup of any other<br>
>> replication engine that provides the *needed* functionality;<br>
>> many-to-one/many isn't something only Tool Labs requires).<br>
<br>
> There's no reason that can't be looked into, and it seems like a good<br>
> idea if we can swing it.<br>
<br>
> Another possibility, given suitably designed queries, would be to add<br>
> federated tables to the appropriate places.<br>
<br>
</div>I don't know how they are implemented in MySQL, but commonly<br>
there is no real caching which means that not only likely<br>
millions of rows have to be passed through the network per<br>
query, but that this is repeated again and again for every<br>
query.  It's not a question whether "you" can swing it - the<br>
Toolserver (and other DBs) demonstrates that it can be done.<br>
<div class="im"><br>
> That said, the priority is to first get sanitized replication /up/, in a<br>
> form that is suitable for extant tools.  Having iterative improvements<br>
> after that is definitely a Good Thing.<br>
<br>
</div>The problem there is the snail's speed at which this trek is<br>
moving.  Replicated databases were originally scheduled for<br>
February/March, and the allocated time for that project was<br>
*very* generous (several months IIRC).  If we need to wait<br>
another, say, six months till we have a working environment<br>
for non-trivial stuff, it'll kill any excitement there might<br>
be about Tool Labs.  Having the financial and organizational<br>
force of WMF behind it should have accelerated the process.<br>
<span class="HOEnZb"><font color="#888888"><br></font></span></blockquote><div><br></div><div style>Things take time. Having the WMF behind Labs doesn't mean things will happen faster, but that it'll be properly resourced from a hardware perspective, will have adequate levels of funded staff and will fit into our infrastructure in a way that's manageable. It also means things will be puppetized, documented, and open to be run by the community.</div>

<div style><br></div><div style>Our current goal is to have the replicated databases completely ready for the tools labs project by the Amsterdam hackathon. Ideally it'll be accessible by all projects by that time.</div>

<div style><br></div><div style>If folks work with us rather than fight with us, we'll get things done faster, together.</div><div style><br></div><div style>- Ryan</div></div></div></div>