Hello, One update regarding this. We enabled using the new table for Special:Tags in several large wikis which caused a massive improvement in the performance of the page. For example loading Special:Tags on Wikidata used to take around a minute and now it takes less than a second. English Wikipedia is down from ten seconds to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is being ran to backpopulate the ct_tag_id column in change_tag table (If you want to follow the progress, see https://phabricator.wikimedia.org/T193873) and then we need start reading from the new table in mediawiki and finally we can drop ct_tag column entirely. If you want to help in review, writing code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix lea.lacroix@wikimedia.de wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the column ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will store the tag id, the message, and more information like how many times this tag is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag will be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of recent changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
Hey, Using the new table as backend of Special:Tags (and similar APIs) is now enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani amir.sarabadani@wikimedia.de wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large wikis which caused a massive improvement in the performance of the page. For example loading Special:Tags on Wikidata used to take around a minute and now it takes less than a second. English Wikipedia is down from ten seconds to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is being ran to backpopulate the ct_tag_id column in change_tag table (If you want to follow the progress, see https://phabricator.wikimedia.org/T193873) and then we need start reading from the new table in mediawiki and finally we can drop ct_tag column entirely. If you want to help in review, writing code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix lea.lacroix@wikimedia.de wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the column ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will store the tag id, the message, and more information like how many times this tag is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag will be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of recent changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
And this is the load on vslow database nodes on s7: https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
You can see similar drops on other sections from exactly the moment it got deployed: s1: https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am... s2: https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
Best
On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani amir.sarabadani@wikimedia.de wrote:
Hey, Using the new table as backend of Special:Tags (and similar APIs) is now enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large wikis which caused a massive improvement in the performance of the page. For example loading Special:Tags on Wikidata used to take around a minute and now it takes less than a second. English Wikipedia is down from ten seconds to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is being ran to backpopulate the ct_tag_id column in change_tag table (If you want to follow the progress, see https://phabricator.wikimedia.org/T193873) and then we need start reading from the new table in mediawiki and finally we can drop ct_tag column entirely. If you want to help in review, writing code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix lea.lacroix@wikimedia.de wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the column ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will store the tag id, the message, and more information like how many times this tag is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag will be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of recent changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
Awesome news, Amir,
You made some function calls one million times faster, making contributors happier and making available resources that can now be used for other mission-related tasks. That also made, at least, WMF DBAs very happy!
Cheers,
On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
You can see similar drops on other sections from exactly the moment it got deployed: s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am... s2 https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104s2 :
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
Best
On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hey, Using the new table as backend of Special:Tags (and similar APIs) is now enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large wikis which caused a massive improvement in the performance of the page. For example loading Special:Tags on Wikidata used to take around a minute
and
now it takes less than a second. English Wikipedia is down from ten
seconds
to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is being ran to backpopulate the ct_tag_id column in change_tag table (If you
want
to follow the progress, see https://phabricator.wikimedia.org/T193873) and then we need start reading from the new table in mediawiki and
finally
we can drop ct_tag column entirely. If you want to help in review,
writing
code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix lea.lacroix@wikimedia.de wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the column ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will store the tag id, the message, and more information like how many times this
tag
is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag will be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of recent changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das
Finanzamt
für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
That is an impressive difference !
On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
You can see similar drops on other sections from exactly the moment it got deployed: s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am... s2 https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&orgId=1&from=1531757700702&to=1532967300702&var-dc=eqiad%20prometheus%2Fops&var-server=db1106&var-port=9104s2 :
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
Best
On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hey, Using the new table as backend of Special:Tags (and similar APIs) is now enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large wikis which caused a massive improvement in the performance of the page. For example loading Special:Tags on Wikidata used to take around a minute
and
now it takes less than a second. English Wikipedia is down from ten
seconds
to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is being ran to backpopulate the ct_tag_id column in change_tag table (If you
want
to follow the progress, see https://phabricator.wikimedia.org/T193873) and then we need start reading from the new table in mediawiki and
finally
we can drop ct_tag column entirely. If you want to help in review,
writing
code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix lea.lacroix@wikimedia.de wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the column ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will store the tag id, the message, and more information like how many times this
tag
is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag will be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of recent changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e. V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 Nz. Als gemeinnützig anerkannt durch das
Finanzamt
für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
👏👏👏👏👏
On Tue, Jul 31, 2018, 3:42 AM Derk-Jan Hartman d.j.hartman+wmf_ml@gmail.com wrote:
That is an impressive difference !
On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
You can see similar drops on other sections from exactly the moment it
got
deployed: s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
s2 <
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
Best
On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hey, Using the new table as backend of Special:Tags (and similar APIs) is
now
enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large wikis which caused a massive improvement in the performance of the page. For example loading Special:Tags on Wikidata used to take around a minute
and
now it takes less than a second. English Wikipedia is down from ten
seconds
to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is
being
ran to backpopulate the ct_tag_id column in change_tag table (If you
want
to follow the progress, see https://phabricator.wikimedia.org/T193873
)
and then we need start reading from the new table in mediawiki and
finally
we can drop ct_tag column entirely. If you want to help in review,
writing
code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix lea.lacroix@wikimedia.de wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the column ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will store the tag id, the message, and more information like how many times
this
tag
is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag
will
be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of
recent
changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens e.
V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 Nz. Als gemeinnützig ane
https://maps.google.com/?q=s+gemeinn%C3%BCtzig+ane&entry=gmail&source=grkannt durch das
Finanzamt
für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhabe
https://maps.google.com/?q=ssens+frei+teilhabe&entry=gmail&source=gn kann. Helfen Sie uns dabei!
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine W
https://maps.google.com/?q=len+Sie+sich+eine+W&entry=gmail&source=gelt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Hello, One other update regarding this: We just set reading to use the new change tag backend (and stop writing to ct_tag column) in mediawiki.org, test wikis and several other small wikis. This means if you are depending on ct_tag column, your tool/service will be broken soon.
Also, since this changes queries of recentChanges, watchlist, User contributions, history action, a handful of API modules and some other special pages, let us know if anything in that regard doesn't look right to you. Dear developers, keep this in mind if something pops up in logs or tendril.
We are planning to move forward on bigger wikis next week.
Best
On Tue, 31 Jul 2018 at 09:19, Jon Robson jrobson@wikimedia.org wrote:
👏👏👏👏👏
On Tue, Jul 31, 2018, 3:42 AM Derk-Jan Hartman < d.j.hartman+wmf_ml@gmail.com> wrote:
That is an impressive difference !
On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
You can see similar drops on other sections from exactly the moment it
got
deployed: s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
s2 <
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
Best
On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hey, Using the new table as backend of Special:Tags (and similar APIs) is
now
enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large
wikis
which caused a massive improvement in the performance of the page.
For
example loading Special:Tags on Wikidata used to take around a
minute
and
now it takes less than a second. English Wikipedia is down from ten
seconds
to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is
being
ran to backpopulate the ct_tag_id column in change_tag table (If you
want
to follow the progress, see
https://phabricator.wikimedia.org/T193873
)
and then we need start reading from the new table in mediawiki and
finally
we can drop ct_tag column entirely. If you want to help in review,
writing
code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <lea.lacroix@wikimedia.de
wrote:
Hello all,
Our team is refactoring some code around the change tags on Recent Changes. This can impact people using the database on ToolForge.
Currently, the tags are stored in the table change_tag in the
column
ct_tag.
In the next days, we will add a column ct_tag_id with a unique identifier for these tags. A new table change_tag_def that will
store
the tag id, the message, and more information like how many times
this
tag
is used on the local wiki.
On the long term, we plan to drop the column ct_tag since the tag
will
be identified with ct_tag_id.
This change will happen on:
- French Wikipedia: Monday July 2nd
- All other wikis: from July 9th
If there is any problem (trouble with saving edits, slow down of
recent
changes…) please create a subtask of T185355 https://phabricator.wikimedia.org/T185355 or contact Ladsgroup https://www.wikidata.org/wiki/User:Ladsgroup.
Cheers,
Léa Lacroix Project Manager Community Communication for Wikidata
Wikimedia Deutschland e.V. Tempelhofer Ufer 23-24 10963 Berlin www.wikimedia.de
Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens
e.
V.
Eingetragen im Vereinsregister des Amtsgerichts
Berlin-Charlottenburg
unter der Nummer 23855 Nz. Als gemeinnützig ane
<https://maps.google.com/?q=s+gemeinn%C3%BCtzig+ane&entry=gmail&sourc... rkannt durch das
Finanzamt
für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikidata-tech mailing list Wikidata-tech@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikidata-tech
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge
allen
Wissens frei teilhabe
https://maps.google.com/?q=ssens+frei+teilhabe&entry=gmail&source=gn kann. Helfen Sie uns dabei!
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
V.
Eingetragen im Vereinsregister des Amtsgerichts
Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt
für
Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine W
https://maps.google.com/?q=len+Sie+sich+eine+W&entry=gmail&source=gelt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt
für
Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Hey, The last update on this thread.
The day has finally come, there is no part of mediawiki that points out to ct_tag column. This column will be dropped in the next couple of weeks. It had only empty value for a several weeks already.
Best
On Thu, 11 Oct 2018 at 13:47, Amir Sarabadani amir.sarabadani@wikimedia.de wrote:
Hello, One other update regarding this: We just set reading to use the new change tag backend (and stop writing to ct_tag column) in mediawiki.org, test wikis and several other small wikis. This means if you are depending on ct_tag column, your tool/service will be broken soon.
Also, since this changes queries of recentChanges, watchlist, User contributions, history action, a handful of API modules and some other special pages, let us know if anything in that regard doesn't look right to you. Dear developers, keep this in mind if something pops up in logs or tendril.
We are planning to move forward on bigger wikis next week.
Best
On Tue, 31 Jul 2018 at 09:19, Jon Robson jrobson@wikimedia.org wrote:
👏👏👏👏👏
On Tue, Jul 31, 2018, 3:42 AM Derk-Jan Hartman < d.j.hartman+wmf_ml@gmail.com> wrote:
That is an impressive difference !
On Mon, Jul 30, 2018 at 6:22 PM Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
And this is the load on vslow database nodes on s7:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
You can see similar drops on other sections from exactly the moment it
got
deployed: s1:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
s2 <
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
:
https://grafana.wikimedia.org/dashboard/db/mysql?panelId=3&fullscreen&am...
Best
On Mon, 30 Jul 2018 at 13:13, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hey, Using the new table as backend of Special:Tags (and similar APIs) is
now
enabled everywhere. Contact me if there's any issues with that.
Best
On Wed, 25 Jul 2018 at 19:17, Amir Sarabadani < amir.sarabadani@wikimedia.de> wrote:
Hello, One update regarding this. We enabled using the new table for Special:Tags in several large
wikis
which caused a massive improvement in the performance of the page.
For
example loading Special:Tags on Wikidata used to take around a
minute
and
now it takes less than a second. English Wikipedia is down from ten
seconds
to less than one and so on.
There is a lot of work needs to be done and maintenance scripts is
being
ran to backpopulate the ct_tag_id column in change_tag table (If
you
want
to follow the progress, see
https://phabricator.wikimedia.org/T193873
)
and then we need start reading from the new table in mediawiki and
finally
we can drop ct_tag column entirely. If you want to help in review,
writing
code or anything, just let me know.
Best
On Wed, 27 Jun 2018 at 15:15, Léa Lacroix <
lea.lacroix@wikimedia.de>
wrote:
> Hello all, > > Our team is refactoring some code around the change tags on Recent > Changes. This can impact people using the database on ToolForge. > > Currently, the tags are stored in the table change_tag in the
column
> ct_tag. > > In the next days, we will add a column ct_tag_id with a unique > identifier for these tags. A new table change_tag_def that will
store
> the tag id, the message, and more information like how many times
this
tag
> is used on the local wiki. > > On the long term, we plan to drop the column ct_tag since the tag
will
> be identified with ct_tag_id. > > This change will happen on: > - French Wikipedia: Monday July 2nd > - All other wikis: from July 9th > > If there is any problem (trouble with saving edits, slow down of
recent
> changes…) please create a subtask of T185355 > https://phabricator.wikimedia.org/T185355 or contact Ladsgroup > https://www.wikidata.org/wiki/User:Ladsgroup. > > Cheers, > -- > Léa Lacroix > Project Manager Community Communication for Wikidata > > Wikimedia Deutschland e.V. > Tempelhofer Ufer 23-24 > 10963 Berlin > www.wikimedia.de > > Wikimedia Deutschland - Gesellschaft zur Förderung Freien Wissens
e.
V.
> > Eingetragen im Vereinsregister des Amtsgerichts
Berlin-Charlottenburg
> unter der Nummer 23855 Nz. Als gemeinnützig ane
<
https://maps.google.com/?q=s+gemeinn%C3%BCtzig+ane&entry=gmail&sourc...
rkannt durch das
Finanzamt
> für Körperschaften I Berlin, Steuernummer 27/029/42207. > _______________________________________________ > Wikidata-tech mailing list > Wikidata-tech@lists.wikimedia.org > https://lists.wikimedia.org/mailman/listinfo/wikidata-tech >
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge
allen
Wissens frei teilhabe
https://maps.google.com/?q=ssens+frei+teilhabe&entry=gmail&source=gn kann. Helfen Sie uns dabei!
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens
e.
V.
Eingetragen im Vereinsregister des Amtsgerichts
Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt
für
Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine W
<https://maps.google.com/?q=len+Sie+sich+eine+W&entry=gmail&source=g elt vor, in der jeder Mensch an der Menge allen
Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens
e. V.
Eingetragen im Vereinsregister des Amtsgerichts
Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt
für
Körperschaften I Berlin, Steuernummer 27/029/42207.
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e.
V.
Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg
unter
der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207. _______________________________________________ Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
-- Amir Sarabadani Software Engineer
Wikimedia Deutschland e. V. | Tempelhofer Ufer 23-24 | 10963 Berlin Tel. (030) 219 158 26-0 http://wikimedia.de
Stellen Sie sich eine Welt vor, in der jeder Mensch an der Menge allen Wissens frei teilhaben kann. Helfen Sie uns dabei! http://spenden.wikimedia.de/
Wikimedia Deutschland – Gesellschaft zur Förderung Freien Wissens e. V. Eingetragen im Vereinsregister des Amtsgerichts Berlin-Charlottenburg unter der Nummer 23855 B. Als gemeinnützig anerkannt durch das Finanzamt für Körperschaften I Berlin, Steuernummer 27/029/42207.
wikitech-l@lists.wikimedia.org