<div dir="ltr">My understanding (Yuvi would know better):<br><div><br>Anything that currently relies on labmon1001 will likely be experiencing decreased performance over the last few weeks.  First the old server was very heavily overloaded, as it only used two of the four SATA disks installed.  We attempted to migrate it to use all 4 disks, but the chassis used at that time started to throw errors, so we migrated to another system with the 4 disks from the old system.  That is what is now running labmon1001, but its still overloaded on I/O.<br><br></div><div>The existing system will have its essential data backed up, and then restored to the new array of 4 SSDs (versus 4 sata).  As this setup will then mirror our graphite systems in production, we expect to eliminate the IO bottleneck.<br><br></div><div>If you have a service that is experiencing slowdowns and is not tied to labmon1001, then it should be independently investigated, as its unlikely to be related to this proposed work.<br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Wed, Jun 22, 2016 at 9:11 AM, Maximilian Doerr <span dir="ltr"><<a href="mailto:maximilian.doerr@gmail.com" target="_blank">maximilian.doerr@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="auto"><div>Is this the primary reason grafana is throwing up on me when trying to view the Cyberbot project?<br><br>Cyberpower678<div>English Wikipedia Account Creation Team</div><div>ACC Mailing List Moderator</div><div>Global User Renamer</div></div><div><div class="h5"><div><br>On Jun 22, 2016, at 11:26, Rob Halsell <<a href="mailto:rhalsell@wikimedia.org" target="_blank">rhalsell@wikimedia.org</a>> wrote:<br><br></div><blockquote type="cite"><div><div dir="ltr"><div>Labs users,<br><br>As many of you may recall, (mostly) Yuvi and (slightly) myself worked on labmon1001 a couple of weeks back.  Unfortunately, the work performed wasn't enough (as it still left the host with spinning disks) and the graphite service hammering them bogs down the server.  As a solution, we will be reinstalling the system on 2016-06-23 from 15:00 GMT to 23:00 GMT.  I don't expect to use the majority of this window, since much of the data was migrated backup previously.  However, it is a possibility if we have to re-sync all the data (without differential).<br><br>Details of this work can be viewed on <a href="https://phabricator.wikimedia.org/T137924" target="_blank">https://phabricator.wikimedia.org/T137924</a>.<br><br>Once the SSDs are installed, their ability to handle the iops generated from graphite is expected to bring load levels on labmon1001 down to sane levels.<br><br>Please let me know if there are any questions or concerns.  They can be raised via this email thread, or by comment on the linked phabricator task.<br><br></div>Thanks,<br clear="all"><div><br>-- <br><div data-smartmail="gmail_signature"><div dir="ltr"><div>Rob Halsell<br>Operations Engineer<br>Wikimedia Foundation, Inc.<br>E-Mail: <a href="mailto:rhalsell@wikimedia.org" target="_blank">rhalsell@wikimedia.org</a><br>Key fingerprint = CB1F C7E7 0FF8 5DB2 6820  9C7E 75ED 14C7 <i>0245 D22A<br></i>Office: 415.839.6885 x6620<br>Fax: 415.882.0495<br><br></div></div></div>
</div></div>
</div></blockquote></div></div><blockquote type="cite"><div><span>_______________________________________________</span><br><span>Labs-l mailing list</span><br><span><a href="mailto:Labs-l@lists.wikimedia.org" target="_blank">Labs-l@lists.wikimedia.org</a></span><br><span><a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a></span><br></div></blockquote></div><br>_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" rel="noreferrer" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
<br></blockquote></div><br><br clear="all"><br>-- <br><div class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Rob Halsell<br>Operations Engineer<br>Wikimedia Foundation, Inc.<br>E-Mail: <a href="mailto:rhalsell@wikimedia.org" target="_blank">rhalsell@wikimedia.org</a><br>Key fingerprint = CB1F C7E7 0FF8 5DB2 6820  9C7E 75ED 14C7 <i>0245 D22A<br></i>Office: 415.839.6885 x6620<br>Fax: 415.882.0495<br><br></div></div></div>
</div>