Hi Ryan!<br><br>The ultimate goal is to combine three geo data related projects that are currently supported by Wikimedia Germany and are in different stages of development:<br>- WIWOSM (Wikipedia where in OSM) [0]<br>- Multilingual Wikipedia Maps [1]<br>

- OpenGeoServer.org<br><br>Kolossos from WIWOSM made a rough sketch how such a combination could look like: <a href="https://toolserver.org/~kolossos/openlayers/kml-on-ol-json3.php?lang=de&title=Donau&layers=00000B0FTTTT">https://toolserver.org/~kolossos/openlayers/kml-on-ol-json3.php?lang=de&title=Donau&layers=00000B0FTTTT</a><br>

<br>WIWOSM &  Multilingual Maps runs fine using the current toolserver infrastructure. But with OpenGeoServer.org I'm currently doing a lot of low level stuff like tile cache performance optimization that would be difficult to do on <a href="http://toolserver.org">toolserver.org</a>. The next step on my side is be to get a full Landsat [2] layer with about 3TB of data up and running and see how to scale it well across multiple servers. <br>

<br>Thanks for the documentation and I will take a look at saltstack too.<br><br>cu andreas<br><br>[0] <a href="https://wiki.openstreetmap.org/wiki/WIWOSM">https://wiki.openstreetmap.org/wiki/WIWOSM</a><br>[1] <a href="https://wiki.openstreetmap.org/wiki/Multilingual_maps_Wikipedia_project">https://wiki.openstreetmap.org/wiki/Multilingual_maps_Wikipedia_project</a><br>

[2] <a href="https://en.wikipedia.org/wiki/Landsat">https://en.wikipedia.org/wiki/Landsat</a><br><br><div class="gmail_quote"><br>2012/10/4 Ryan Lane <span dir="ltr"><<a href="mailto:rlane32@gmail.com" target="_blank">rlane32@gmail.com</a>></span><br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On Thu, Oct 4, 2012 at 4:13 AM, Andreas Trawoeger<br>
<<a href="mailto:atrawog@kartenwerkstatt.at">atrawog@kartenwerkstatt.at</a>> wrote:<br>
> Hi everybody!<br>
><br>
<br>
Hi!<br>
<div class="im"><br>
> I'm currently running a project called <a href="http://opengeoserver.org" target="_blank">opengeoserver.org</a> that collects and<br>
> redistributes freely available Open Geodata (at the moment I'm at 1.3 TB of<br>
> data) . The project is currently receiving some funding from Wikimedia<br>
> Germany and is a likely candidate to be migrated to the Wikimedia Labs<br>
> sometime in the near future.<br>
><br>
<br>
</div>Do you mean that your test and development will move to Labs, or that<br>
your production site will? The former is ok, the latter is not. Labs<br>
is not meant for production services. If the production service is to<br>
be moved, then we should be getting it going in a test and development<br>
mode in Labs, then move it to production.<br>
<div class="im"><br>
> But being a sysadmin that neither wants to replace his fine tuned XFS<br>
> storage with Gluster nor his Fabric [0] deployment scripts with Puppet<br>
> without a lot of testing. I would actually prefer to set up my own OpenStack<br>
> instance on my existing systems, test different configurations options and<br>
> then migrate the services to Wikimedia Labs.<br>
><br>
<br>
</div>That's a decent amount of data. We have about 40TB of gluster space<br>
available in the pmtpa cluster and will have another 40+TB in eqiad.<br>
It'll be slower than direct XFS access, but we don't really have a<br>
means of providing that much space in a direct access mode.<br>
<br>
We'll be using saltstack for deployment soon, which works in a very<br>
fabric-like way. It's a little more flexible than fabric, in fact.<br>
Puppet really shouldn't be used for deployment, just configuration and<br>
dependency management.<br>
<div class="im"><br>
> It's easy to figure out that Wikimedia Labs is using Ubuntu, OpenStack &<br>
> Gluster, but I couldn't find any detailed information about what versions<br>
> are currently used and how the current hardware & storage configuration<br>
> actually looks like.<br>
><br>
<br>
</div>We have some slightly outdated docs here:<br>
<br>
<a href="http://wikitech.wikimedia.org/view/OpenStack" target="_blank">http://wikitech.wikimedia.org/view/OpenStack</a><br>
<br>
- Ryan<br>
<br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</blockquote></div><br>