<div dir="ltr">Seems I'm now also getting reports that some instances are showing as down. It looks like DHCP on instances isn't acting properly and has made them inaccessible. Rebooting the instances does bring them back up. So, you can reboot if you are having this issue. I'll be changing the network driver now, and rebooting any non-responsive instances.</div>

<div class="gmail_extra"><br><br><div class="gmail_quote">On Mon, Mar 4, 2013 at 4:52 PM, Ryan Lane <span dir="ltr"><<a href="mailto:rlane@wikimedia.org" target="_blank">rlane@wikimedia.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">

<div dir="ltr">Today we bonded three NICs on the network node to increase network capacity between instances and resources outside of Labs (including glusterfs). This resulted in a short network outage while the router was reconfigured and again when we restarted the network services on the network node.<div>


<br></div><div>If you had any bots that have issues with lost network connections, you'll need to restart them.</div><div><br></div><div>We've made these changes for a couple reasons:</div><div>
<br></div><div>1. We were occasionally (but rarely) saturating the current link</div><div>2. This allows us to change the network driver we use on the virtual machines to the virtio driver, which changes the NICs from 100Mb to 1Gb.</div>


<div><br></div><div>I've set virtio as the default for all new instance creations, and am in the process of changing the driver for existing instances. After I've changed the driver, instances will need to be rebooted for this to take affect. I'll send out another mail when this has occurred.</div>

<span class="HOEnZb"><font color="#888888">
<div><br></div><div>- Ryan</div></font></span></div>
</blockquote></div><br></div>