<div dir="ltr">Federico,<div><br></div><div>Francium is meant as a processing and storage server. The HTML dump part is relatively light on CPU and naturally heavy on storage. ZIM based on this will be more CPU-consuming, but should still be doable with a single hardware node.</div><div><br></div><div>The current status is that the hardware is up, but we don't have shell access to the server yet. I hope that this can be resolved soon.</div><div><br></div><div>Gabriel</div></div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Mar 31, 2015 at 12:05 AM, Federico Leva (Nemo) <span dir="ltr"><<a href="mailto:nemowiki@gmail.com" target="_blank">nemowiki@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Any news on this?<span class=""><br>
<br>
> == Next steps ==<br>
><br>
> We want to complete our effort and mirror the biggest Wikipedia<br>
> projects. Unfortunately, we have reached the limits of a traditional<br>
> usage of wmflabs. We need more quota and to experiment with the NFS<br>
> storage because an x-large instance in not able to mirror more than<br>
> 1.5 millions of articles at a time. How might that be made possible?<br>
<br></span>
Per <a href="https://phabricator.wikimedia.org/T91853#1113701" target="_blank">https://phabricator.wikimedia.<u></u>org/T91853#1113701</a> and <a href="https://phabricator.wikimedia.org/T91853#1129560" target="_blank">https://phabricator.wikimedia.<u></u>org/T91853#1129560</a> , francium seems a storage server rather than a processing server: it can't be used for mwoffliner tasks. <a href="https://phabricator.wikimedia.org/T57503" target="_blank">https://phabricator.wikimedia.<u></u>org/T57503</a> is a separate task.<br>
        Emmanuel, I think the Labs instances are only meant to store the data they're currently processing, while the ZIM files as such keep ending up on <a href="http://download.kiwix.org/" target="_blank">http://download.kiwix.org/</a> + mirrors: right?<br>
        Andrew, if so the best option IMHO is to increase the local disk quota of (at least) one of the instances from 160 to 500 GB. Then Emmanuel can start testing an en.wiki run and see how it goes. virt1011, currently used by mwoffliner2, seems to afford it. <a href="https://ganglia.wikimedia.org/latest/graph_all_periods.php?c=Virtualization%20cluster%20eqiad&h=virt1011.eqiad.wmnet&r=hour&z=default&jr=&js=&st=1427785147&v=1188.316&m=disk_free&vl=GB&ti=Disk%20Space%20Available&z=large" target="_blank">https://ganglia.wikimedia.org/<u></u>latest/graph_all_periods.php?<u></u>c=Virtualization%20cluster%<u></u>20eqiad&h=virt1011.eqiad.<u></u>wmnet&r=hour&z=default&jr=&js=<u></u>&st=1427785147&v=1188.316&m=<u></u>disk_free&vl=GB&ti=Disk%<u></u>20Space%20Available&z=large</a><span class="HOEnZb"><font color="#888888"><br>
<br>
Nemo</font></span><div class="HOEnZb"><div class="h5"><br>
<br>
______________________________<u></u>_________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/<u></u>mailman/listinfo/labs-l</a><br>
</div></div></blockquote></div><br></div>