<div dir="ltr">Understood, thanks for the prompt response. </div><div class="gmail_extra"><br><div class="gmail_quote">On Tue, Jan 27, 2015 at 11:55 AM, Yuvi Panda <span dir="ltr"><<a href="mailto:yuvipanda@gmail.com" target="_blank">yuvipanda@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Labs-wide restarts are happening today due to security issues, so<br>
expect some instabilities as we work things through.<br>
<div class="HOEnZb"><div class="h5"><br>
On Tue, Jan 27, 2015 at 11:53 AM, Nuria Ruiz <<a href="mailto:nuria@wikimedia.org">nuria@wikimedia.org</a>> wrote:<br>
> Also  we get "too many connections".<br>
><br>
> Yuvi: (or anyone) what are appropriate settings for pool size for db<br>
> connections for these hosts?<br>
><br>
> Thanks again,<br>
><br>
> Nuria<br>
><br>
> On Tue, Jan 27, 2015 at 11:21 AM, Nuria Ruiz <<a href="mailto:nuria@wikimedia.org">nuria@wikimedia.org</a>> wrote:<br>
>><br>
>> Seems like something is missing cause despite having changed the config<br>
>> our wikimetrics1 instance is still throwing a bunch of errors like:<br>
>><br>
>><br>
>>  File "/usr/local/lib/python2.7/dist-packages/sqlalchemy/engine/base.py",<br>
>> line 238, in _revalidate_connection<br>
>>     "Can't reconnect until invalid "<br>
>> StatementError: Can't reconnect until invalid transaction is rolled back<br>
>> (original cause: InvalidRequestError: Can't reconnect until invalid<br>
>> transaction is rolled back) u'SELECT user.user_id AS user_u<br>
>><br>
>><br>
>> Restating the instance fixes things but somehow it gets "blocked" again.<br>
>> Is there something special about how these connections need to be managed?<br>
>><br>
>><br>
>> Config is set up as follows (user removed)<br>
>><br>
>> SQL_ECHO                        : False<br>
>> WIKIMETRICS_ENGINE_URL          : 'mysql://<******>@localhost/wikimetrics'<br>
>> WIKIMETRICS_POOL_SIZE           : 100<br>
>> MEDIAWIKI_ENGINE_URL_TEMPLATE   :<br>
>> 'mysql://<****>.@labsdb1002.eqiad.wmnet/{0}_p'<br>
>> MEDIAWIKI_POOL_SIZE             : 200<br>
>> CENTRALAUTH_ENGINE_URL          :<br>
>> 'mysql://<*****>@labsdb1002.eqiad.wmnet/centralauth_p'<br>
>> REPLICATION_LAG_MW_PROJECTS     : [ 'enwiki', 'eowiki', 'elwiki',<br>
>> 'commonswiki', 'dewiki', 'frwiki', 'eswiki' ]<br>
>> REPLICATION_LAG_THRESHOLD       : 3 # (measured in hours)<br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>><br>
>> On Mon, Jan 26, 2015 at 5:09 PM, Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>> wrote:<br>
>>><br>
>>> Yes they should!<br>
>>><br>
>>> On Jan 26, 2015 5:04 PM, "Nuria" <<a href="mailto:nuria@wikimedia.org">nuria@wikimedia.org</a>> wrote:<br>
>>>><br>
>>>> Do these hosts also workfor the centralauth<br>
>>>> database?<br>
>>>><br>
>>>><br>
>>>><br>
>>>> > On Jan 21, 2015, at 8:20 PM, Yuvi Panda <<a href="mailto:yuvipanda@gmail.com">yuvipanda@gmail.com</a>> wrote:<br>
>>>> ><br>
>>>> > the DNAT rules are no longer required. Just connect directly to one of<br>
>>>> > labsdb1001.eqiad.wmnet, labsdb1002.eqiad.wmnet, or<br>
>>>> > labsdb1003.eqiad.wmnet. That should work.<br>
>>>> ><br>
>>>> > I tried this out on wikimetrics1 instance and that seems to work...<br>
>>>> > --<br>
>>>> > Yuvi Panda T<br>
>>>> > <a href="http://yuvi.in/blog" target="_blank">http://yuvi.in/blog</a><br>
>>>> ><br>
>>>> > _______________________________________________<br>
>>>> > Labs-l mailing list<br>
>>>> > <a href="mailto:Labs-l@lists.wikimedia.org">Labs-l@lists.wikimedia.org</a><br>
>>>> > <a href="https://lists.wikimedia.org/mailman/listinfo/labs-l" target="_blank">https://lists.wikimedia.org/mailman/listinfo/labs-l</a><br>
>><br>
>><br>
><br>
<br>
<br>
<br>
--<br>
Yuvi Panda T<br>
<a href="http://yuvi.in/blog" target="_blank">http://yuvi.in/blog</a><br>
</div></div></blockquote></div><br></div>