Awesome news, Amir,

You made some function calls one million times faster, making contributors happier and making available resources that can now be used for other mission-related tasks. That also made, at least, WMF DBAs very happy!

Cheers,

On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani <amir.sarabadani@wikimedia.de> wrote:
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794373712&to=1532967173714&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13317

You can see similar drops on other sections from exactly the moment it got
deployed:
s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104
s2
:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1532794561870&to=1532967361872&var-dc=eqiad%20prometheus%2Fops&var-server=db1090&var-port=13312

Best

On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani <amir.sarabadani@wikimedia.de>
wrote:

> Hey,
> Using the new table as backend of Special:Tags (and similar APIs) is now
> enabled everywhere. Contact me if there's any issues with that.
>
> Best
>
> On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani <
> amir.sarabadani@wikimedia.de> wrote:
>
>> Hello,
>> One update regarding this.
>> We enabled using the new table for Special:Tags in several large wikis
>> which caused a massive improvement in the performance of the page. For
>> example loading Special:Tags on Wikidata used to take around a minute and
>> now it takes less than a second. English Wikipedia is down from ten seconds
>> to less than one and so on.
>>
>> There is a lot of work needs to be done and maintenance scripts is being
>> ran to backpopulate the ct_tag_id column in change_tag table (If you want
>> to follow the progress, see https://phabricator.wikimedia.org/T193873)
>> and then we need start reading from the new table in mediawiki and finally
>> we can drop ct_tag column entirely. If you want to help in review, writing
>> code or anything, just let me know.
>>
>> Best
>>
>> On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <lea.lacroix@wikimedia.de>
>> wrote:
>>
>>> Hello all,
>>>
>>> Our team is refactoring some code around the change tags on Recent
>>> Changes. This can impact people using the database on ToolForge.
>>>
>>> Currently, the tags are stored in the table change_tag in the column
>>> ct_tag.
>>>
>>> In the next days, we will add a column ct_tag_id with a unique
>>> identifier for these tags. A new table change_tag_def that will store
>>> the tag id, the message, and more information like how many times this tag
>>> is used on the local wiki.
>>>
>>> On the long term, we plan to drop the column ct_tag since the tag will
>>> be identified with ct_tag_id.
>>>
>>> This change will happen on:
>>> - French Wikipedia: Monday July 2nd
>>> - All other wikis: from July 9th
>>>
>>> If there is any problem (trouble with saving edits, slow down of recent
>>> changes…) please  create a subtask of T185355
>>> <https://phabricator.wikimedia.org/T185355> or contact Ladsgroup
>>> <https://www.wikidata.org/wiki/User:Ladsgroup>.
>>>
>>> Cheers,
>>> --
>>> Léa Lacroix
>>> Project Manager Community Communication for Wikidata
>>>
>>> Wikimedia Deutschland e.V.
>>> Tempelhofer Ufer 23-24
>>> 10963 Berlin
>>> www.wikimedia.de
>>>
>>> Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
>>>
>>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
>>> unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt
>>> für Körperschaften I Berlin, Steuernummer 27/029/42207.
>>> _______________________________________________
>>> Wikidata-tech mailing list
>>> Wikidata-tech@lists.wikimedia.org
>>> https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
>>>
>>
>>
>> --
>> Amir Sarabadani
>> Software Engineer
>>
>> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
>> Tel. (030) 219 158 26-0
>> http://wikimedia.de
>>
>> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
>> Wissens frei teilhaben kann. Helfen Sie uns dabei!
>> http://spenden.wikimedia.de/
>>
>> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
>> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
>> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
>> Körperschaften I Berlin, Steuernummer 27/029/42207.
>>
>
>
> --
> Amir Sarabadani
> Software Engineer
>
> Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
> Tel. (030) 219 158 26-0
> http://wikimedia.de
>
> Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
> Wissens frei teilhaben kann. Helfen Sie uns dabei!
> http://spenden.wikimedia.de/
>
> Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
> Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
> der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
> Körperschaften I Berlin, Steuernummer 27/029/42207.
>


--
Amir Sarabadani
Software Engineer

Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin
Tel. (030) 219 158 26-0
http://wikimedia.de

Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei!
http://spenden.wikimedia.de/

Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für
Körperschaften I Berlin, Steuernummer 27/029/42207.
_______________________________________________
Wikitech-l mailing list
Wikitech-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikitech-l


--
Jaime Crespo
<http://wikimedia.org>