<div dir="ltr"><div><div><div><div><div>Hi!<br><br></div>The labs db replicas run MariaDB 5.5 and currently suffer in a few ways:<br><br></div>- FEDERATED tables are not suited to some of our traffic.<br></div>- Load is unevenly distributed across mysqld instances.<br>
</div>- Issues with disk IO, mainly write spikes.<br><br></div><div>Probably people have other difficulties and pet hates :) but from Ops' perspective these are some core problems requiring immediate attention.<br><br>
</div><div>After speaking with Coren, we've decided to go ahead and upgrade the labsdb instances to MariaDB 10 asap. This is something we've done on the production Analytics slaves with great success, and we think it will help labsdb too.<br>
<br></div><div>We will gain:<br></div><div><br></div><div>- Multisource replication. Each labsdb instance will gain local copies of the wikis currently using federated tables. Commons, wikidata, etc.<br><br><div>- Multithreaded replication. A pool of threads will be used for replication in place of the old single SQL thread, to reduce lag.<br>
</div><br></div><div>- TokuDB. This storage engine complements InnoDB and is particularly good for write-heavy environments, on-disk compression, and datasets larger than available memory. The wikis will use it by default.<br>
<br></div><div>- A bunch of other stuff [1].<br></div><div><br></div><div>The time frame for the upgrade is not yet finalized except to say "real soon now" :) There is some preparation to be done, which would place the first labsdb instance upgrade around the end of July. More information to follow.<br>
</div><div><br></div>BR<br>Sean<br><br>[1] <a href="https://mariadb.com/kb/en/mariadb/what-is-in-the-different-mariadb-releases/what-is-mariadb-100/">https://mariadb.com/kb/en/mariadb/what-is-in-the-different-mariadb-releases/what-is-mariadb-100/</a><br>
<div><div><br></div><div><div><div><div><div><div><div><div><div>-- <br><div dir="ltr">DBA @ WMF<br></div>
</div></div></div></div></div></div></div></div></div></div></div>