<div dir="ltr"><div>There was an LDAP issue. The LDAP server on virt0 was accepting requests, but wasn't properly returning entries. It was instead hanging on calls, which means the clients also weren't properly failing over. I've restarted the service on virt0 and virt1000.<br>

<br>This usually happens after a reboot, and someone did indeed reboot virt0 a little while ago. I'll update the procedures for rebooting this server soon. I'm jetlagged right now though ;).<br><br></div>- Ryan<br>

</div><div class="gmail_extra"><br><br><div class="gmail_quote">On Thu, Jan 31, 2013 at 9:05 PM, Jeremy Baron <span dir="ltr"><<a href="mailto:jeremy@tuxmachine.com" target="_blank">jeremy@tuxmachine.com</a>></span> wrote:<br>

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Fri, Feb 1, 2013 at 4:57 AM, [[w:en:User:Madman]]<br>
<<a href="mailto:madman.enwiki@gmail.com">madman.enwiki@gmail.com</a>> wrote:<br>
> Anyone else having trouble or is it just me? I was able to log in<br>
> earlier today, my private key is in Pageant's list, and attempt<br>
> authentication using Pageant is enabled (I also tried selecting the<br>
> private key file directly but with a recently failed login, the<br>
> instant failure may have been due to caching).<br>
<br>
</div>$ ssh bastion1.pmtpa.wmflabs<br>
<div class="im"><br>
If you are having access problems, please see:<br>
<a href="https://labsconsole.wikimedia.org/wiki/Access#Accessing_public_and_private_instances" target="_blank">https://labsconsole.wikimedia.org/wiki/Access#Accessing_public_and_private_instances</a><br>
</div>Permission denied (publickey).<br>
<br>
It's not you, bastion's broken. (heading to #wikimedia-operations to<br>
report that now)<br>
<span class="HOEnZb"><font color="#888888"><br>
-Jeremy<br>
</font></span><div class="HOEnZb"><div class="h5"><br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</div></div></blockquote></div><br></div>