<div dir="ltr">Hi all,<div><br></div><div>There was some unexpected data deletion that happened during this space conservation that deleted files over 100M even though they weren't log/err/out files, caused by me mistakenly truncating files from a list that was broader than intended.</div><div><br></div><div>Almost all of this tools data(except for the originally indented to be truncated log/err/out files) has been restored in place at this point from our backups from the secondary datacenter. The backup was 1 day (~23 hours) old, so new data that was written in the time is lost.</div><div><br></div><div>There is an incident report here that has all details - <a href="https://wikitech.wikimedia.org/wiki/Incident_documentation/20170308-Labstore">https://wikitech.wikimedia.org/wiki/Incident_documentation/20170308-Labstore</a>.</div><div>Few files that were generated in the 23 hour period between the last backup and the deletion that couldn't be restored are here - <a href="https://phabricator.wikimedia.org/P5030#26817">https://phabricator.wikimedia.org/P5030#26817</a>.</div><div><br></div><div>Apologies for the inconvenience, we are working on making this process more <a href="https://wikitech.wikimedia.org/wiki/Incident_documentation/20170308-Labstore#Actionables">automated</a> so we can avoid incidents such as these due to manual error. Feel free to reach out to us at #wikimedia-labs for questions/concerns.</div><div><br></div><div><br><div class="gmail_quote">---------- Forwarded message ----------<br>From: <b class="gmail_sendername">Madhumitha Viswanathan</b> <span dir="ltr"><<a href="mailto:mviswanathan@wikimedia.org">mviswanathan@wikimedia.org</a>></span><br>Date: Tue, Mar 7, 2017 at 1:11 PM<br>Subject: [Labs-l] [Labs-announce] Tools NFS space conservation (round 4)<br>To: <a href="mailto:labs-announce@lists.wikimedia.org">labs-announce@lists.wikimedia.org</a><br><br><br><div dir="ltr"><div id="gmail-m_9030005052813356092gmail-m_2118801597007759148gmail-m_-2638883965496675445magicdomid3"><span style="font-size:12.8px;color:rgb(68,68,68)">The last Tools NFS storage cleanup was in October 2016 and we are there again. I am going to empty log, err, and out files greater than 100M, and will start the cleanup tomorrow  - </span><font color="#444444"><span style="font-size:12.8px">Wednesday, March 8, 2017.</span></font></div><div id="gmail-m_9030005052813356092gmail-m_2118801597007759148gmail-m_-2638883965496675445magicdomid4" style="font-size:12.8px"><br></div><div id="gmail-m_9030005052813356092gmail-m_2118801597007759148gmail-m_-2638883965496675445magicdomid5" style="font-size:12.8px"><span style="color:rgb(68,68,68)">Feel free to reach out to us on #wikimedia-labs for questions or concerns.</span></div><div id="gmail-m_9030005052813356092gmail-m_2118801597007759148gmail-m_-2638883965496675445magicdomid5" style="font-size:12.8px"><span style="color:rgb(68,68,68)"><br></span></div><div id="gmail-m_9030005052813356092gmail-m_2118801597007759148gmail-m_-2638883965496675445magicdomid5" style="font-size:12.8px"><span style="color:rgb(68,68,68)">Thanks,</span></div><span class="gmail-HOEnZb"><font color="#888888"><div><br></div><div><br></div>-- <br><div class="gmail-m_9030005052813356092gmail_signature"><div dir="ltr">Madhu Viswanathan,</div><div>Operations Engineer, Wikimedia Labs</div></div>
</font></span></div>
</div><br><br>
</div></div>