<div dir="ltr">On Tue, Nov 12, 2013 at 10:33 AM, Andrew Bogott <span dir="ltr"><<a href="mailto:abogott@wikimedia.org" target="_blank">abogott@wikimedia.org</a>></span> wrote:<br><div class="gmail_extra"><div class="gmail_quote">

<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On 11/12/13 8:27 AM, Marc-André Pelletier wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
On 11/12/2013 03:48 AM, Ryan Lane wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
If so, who's been running apt-get install manually on any of them? If<br>
the instances were configured with puppet and nothing manual was ever<br>
installed they should all look 100% the same.<br>
</blockquote>
To a point; I've noticed some amount of drift over time as images get<br>
built, dependencies vary, and the exact list of package changes (puppet<br>
never removes unless asked explicitly).<br>
<br>
</blockquote></div>
It's no surprise to anyone who has shared a project with me that I'm a big fan of frequent rebuilds of scratch instances.  If there's package drift between exec nodes, then that suggests that we should periodically kill aged nodes and rebuild fresh ones so that we always know what we've got.  Other than being tedious to implement, are there downsides to this?<div class="HOEnZb">

<div class="h5"><br></div></div></blockquote><div><br></div><div>I'm very in favor of this. It ensures we can easily and quickly add new nodes and it tests our puppet manifests.</div><div><br></div><div>- Ryan</div></div>

</div></div>