<div dir="ltr">><span style="font-size:12.8000001907349px">Which recent restart?  The GHOST restarts in late January, or the labsdb restarts last week? Something else?</span><div style="font-size:12.8000001907349px">The labs restart last week.</div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">><span style="font-size:12.8000001907349px">Is there any pattern? Eg, time of day, specific queries, etc</span></div><div style="font-size:12.8000001907349px"><span style="font-size:12.8000001907349px">We do not have enough usage sin labs such we would see daily patterns or such but several queries were getting errors like </span><span style="font-size:12.8000001907349px"> </span><span style="font-size:12.8000001907349px">"MySQL server has gone away." Not all. Please see below.</span></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px">><span style="font-size:12.8000001907349px">What lead you to look at the problem? Is it definite that connections started dropping at a known point in time?</span></div><div style="font-size:12.8000001907349px"><span style="font-size:12.8000001907349px">Users complaining and us looking at logs. </span></div><div style="font-size:12.8000001907349px"><span style="font-size:12.8000001907349px"><br></span></div><div style="font-size:12.8000001907349px"><span style="font-size:12.8000001907349px"><br></span></div><div style="font-size:12.8000001907349px"><span style="font-size:12.8000001907349px">Some queries an errors:</span></div><div style="font-size:12.8000001907349px"><span style="font-size:12.8000001907349px"><br></span></div><div style><span style="font-size:12.8000001907349px">OperationalError: (OperationalError) (2013, 'Lost connection to MySQL server during query') 'SELECT anon_1.user_id AS anon_1_user_id \nFROM (SELECT anon_2.user_id AS user_id, anon_2.count AS count \nFROM (SELECT revision_userindex.rev_user AS user_id, count(*) AS count \nFROM revision_userindex \nWHERE revision_userindex.rev_timestamp BETWEEN %s AND %s AND revision_userindex.rev_user IN (SELECT logging.log_user \nFROM logging \nWHERE logging.log_type = %s AND logging.log_action = %s AND logging.log_timestamp BETWEEN %s AND %s) GROUP BY revision_userindex.rev_user UNION ALL SELECT archive_userindex.ar_user AS user_id, count(*) AS count \nFROM archive_userindex \nWHERE archive_userindex.ar_timestamp BETWEEN %s AND %s AND archive_userindex.ar_user IN (SELECT logging.log_user \nFROM logging \nWHERE logging.log_type = %s AND logging.log_action = %s AND logging.log_timestamp BETWEEN %s AND %s) GROUP BY archive_userindex.ar_user) AS anon_2) AS anon_1 \nWHERE anon_1.user_id NOT IN (SELECT user_groups.ug_user \nFROM user_groups \nWHERE user_groups.ug_group = %s) GROUP BY anon_1.user_id \nHAVING SUM(anon_1.count) >= %s' ('20150115000000', '20150214000000', 'newusers', 'create', '20150115000000', '20150214000000', '20150115000000', '20150214000000', 'newusers', 'create', '20150115000000', '20150214000000', 'bot', 5)</span><br></div><div style><span style="font-size:12.8000001907349px"><br></span></div><div style><span style="font-size:12.8000001907349px"><br></span></div><div style><span style="font-size:12.8000001907349px"><br></span></div><div style><div style="font-size:12.8000001907349px">OperationalError: (OperationalError) (2006, 'MySQL server has gone away') 'SELECT user.user_id AS user_user_id, user.user_name AS user_user_name, user.user_real_name AS user_user_real_name, u</div><div style="font-size:12.8000001907349px">ser.user_password AS user_user_password, user.user_newpassword AS user_user_newpassword, user.user_newpass_time AS user_user_newpass_time, user.user_email AS user_user_email, user.user_touche<span style="font-size:12.8000001907349px">d AS user_user_touched, user.user_token AS user_user_token, user.user_email_authenticated AS user_user_email_authenticated, user.user_email_token AS user_user_email_token, user.user_email_tok</span></div><div style="font-size:12.8000001907349px">en_expires AS user_user_email_token_expires, user.user_registration AS user_user_registration, user.user_editcount AS user_user_editcount \nFROM user \nWHERE user.user_name IN (%s, %s)' ('<span style="font-size:12.8000001907349px">SOME', 'SOME')</span></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div></div><div style="font-size:12.8000001907349px"><br></div><div style="font-size:12.8000001907349px"><br></div></div><div class="gmail_extra"><br><div class="gmail_quote">On Sun, Feb 15, 2015 at 7:25 AM, Russell Blau <span dir="ltr"><<a href="mailto:russblau@imapmail.org" target="_blank">russblau@imapmail.org</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">Sean Pringle <springle <at> <a href="http://wikimedia.org" target="_blank">wikimedia.org</a>> writes:<br>
<br>
> Which recent restart?  The GHOST restarts in late January, or the labsdb<br>
restarts last week? Something else?<br>
><br>
><br>
> What error codes and messages are you seeing client side?<br>
><br>
> Is there any pattern? Eg, time of day, specific queries, etc<br>
> What lead you to look at the problem? Is it definite that connections<br>
started dropping at a known point in time?<br>
><br>
</span>I can give you some answers for a different project. Tool Labs project<br>
'dplbot' has a database job that runs twice a day. Starting after 18:00<br>
UTC on 8 Feb 2015, a particular PHP script that involves a lot of writes<br>
to a project database (p50380g50692__DPL_p) on enwiki.labsdb started to<br>
fail consistently with the error message "MySQL server has gone away." The<br>
script had not changed, and this error had not occurred before this time,<br>
but it now occurs every time we attempt to run this particular script.<br>
<br>
Russ<br>
_______________________________________________<br>
Labs-l mailing list<br>
<a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
<a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
</blockquote></div><br></div>