Just to follow up, there's obvious issues being reported in #wikimedia-operations:<div><br></div><div><div>17:22 < aude> 15:15 <+nagios-wm> PROBLEM - LDAP on virt0 is CRITICAL: Connection refused</div><div>

17:22 < aude> from #wikimedia-operations</div><div>17:22 < aude> 15:59 <+nagios-wm> PROBLEM - Puppetmaster HTTPS on stafford is CRITICAL: CRITICAL - Socket timeout after 10 seconds</div><div>17:22 < aude> 16:12 <+nagios-wm> RECOVERY - Puppetmaster HTTPS on stafford is OK: HTTP OK HTTP/1.1 400 Bad Request - 336 bytes in 7.002 seconds</div>

<div><br></div><div>Cheers,</div><div>Katie</div><div><br></div><br><div class="gmail_quote">On Sat, Jul 28, 2012 at 7:19 PM, aude <span dir="ltr"><<a href="mailto:aude.wiki@gmail.com" target="_blank">aude.wiki@gmail.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div>I am getting failures in creating new instances on labs today.</div><div><br></div><div><pre style="font-family:monospace,Courier;padding:1em;border:1px dashed rgb(47,111,171);background-color:rgb(249,249,249);line-height:1.3em;font-size:13px">

Jul 28 16:54:24 i-00000371 puppet-agent[3950]: Starting Puppet client version 2.7.11
Jul 28 16:54:25 i-00000371 puppet-agent[3950]: Could not retrieve catalog from remote server: Error 400 on SERVER: Failed when searching for node i-00000371.pmtpa.wmflabs: LDAP Search failed
Jul 28 16:54:25 i-00000371 puppet-agent[3950]: Using cached catalog
Jul 28 16:54:25 i-00000371 puppet-agent[3950]: Could not retrieve catalog; skipping run
Jul 28 16:55:06 i-00000371 dhclient: DHCPREQUEST of 10.4.0.229 on eth0 to 10.4.0.1 port 67
Jul 28 16:55:06 i-00000371 dhclient: DHCPACK of 10.4.0.229 from 10.4.0.1
Jul 28 16:55:06 i-00000371 dhclient: bound to 10.4.0.229 -- renewal in 53 seconds.</pre></div><div><br></div><div>dhclient repeatedly retries and fails</div><div><br></div><a href="https://labsconsole.wikimedia.org/w/index.php?title=Special:NovaInstance&action=consoleoutput&project=maps&instanceid=i-00000371" target="_blank">https://labsconsole.wikimedia.org/w/index.php?title=Special:NovaInstance&action=consoleoutput&project=maps&instanceid=i-00000371</a><div>


<br></div><div>Any ideas what the problem is? probably nothing I can do but wait for Ryan or someone?</div><div><br></div><div>Cheers,</div><div>Katie<span class="HOEnZb"><font color="#888888"><br clear="all"><div><br></div>

-- <br><div dir="ltr">
Board member, Wikimedia District of Columbia<br>
<a href="http://wikimediadc.org" target="_blank">http://wikimediadc.org</a><br>
@wikimediadc / @wikimania2012</div><br>
</font></span></div>
</blockquote></div><br><br clear="all"><div><br></div>-- <br><div dir="ltr">
Board member, Wikimedia District of Columbia<br>
<a href="http://wikimediadc.org" target="_blank">http://wikimediadc.org</a><br>
@wikimediadc / @wikimania2012</div><br>
</div>