<div dir="ltr"><div><div>brewster's squid instance was dead because / was at 100%. Like most of our infrastructure, we're missing some critical and necessary checks on brewster. This service being down affects labs more dramatically than it does the rest of the infrastructure.<br>

<br></div>I've brought the service back up. I also added an rt ticket for monitoring of this service. Past monitoring, we should likely ensure it has a backup, since it's critical for labs.<br></div></div><div class="gmail_extra">

<br><br><div class="gmail_quote">On Sun, Mar 3, 2013 at 12:21 AM, Matthew Walker <span dir="ltr"><<a href="mailto:mwalker@wikimedia.org" target="_blank">mwalker@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

It seems like brewster might be in some trouble? Either that or my security rules are a bit wonky (though they don't seem like they are.)<div><br></div><div>In any case -- I cannot create a new labs instance: I get a whole bunch of errors that look like:</div>


<div><pre style="font-family:monospace,Courier;padding:1em;border:1px dashed rgb(47,111,171);background-color:rgb(249,249,249);line-height:1.3em;font-size:13px">Err <a href="http://apt.wikimedia.org" target="_blank">http://apt.wikimedia.org</a> precise-wikimedia Release.gpg
  Unable to connect to <a href="http://brewster.wikimedia.org:8080" target="_blank">brewster.wikimedia.org:8080</a>:</pre></div><div><br></div><div>And... when I attempt to wget <a href="http://brewster.wikimedia.org:8080" target="_blank">http://brewster.wikimedia.org:8080</a> from an already working instance I get a 'cannot connect to remote server' error. Ganglia shows that it's still up, but that it's had unusually little network activity (ie: close to none) since ~07:20 UTC.</div>


<div><br></div><div>So! Is this just me, or did brewster actually wander off the grid?</div><div><br clear="all"><div>~Matt Walker<br><div><div>Wikimedia Foundation</div><div>Fundraising Technology Team</div></div></div>


</div>
<br>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br></div>