jenkins-bot has submitted this change. ( https://gerrit.wikimedia.org/r/c/pywikibot/core/+/862265 )

Change subject: [IMPR] use pathlib instead of codecs for wikimedia_sites.py ......................................................................

[IMPR] use pathlib instead of codecs for wikimedia_sites.py

Also update languages_by_size

Change-Id: Id15d5440df5143ee12f283d2f18d0be7897da5df --- M pywikibot/families/wikisource_family.py M pywikibot/families/wikibooks_family.py M pywikibot/families/wikiquote_family.py M pywikibot/families/wiktionary_family.py M scripts/maintenance/wikimedia_sites.py M pywikibot/families/wikipedia_family.py 6 files changed, 55 insertions(+), 45 deletions(-)

Approvals: D3r1ck01: Looks good to me, approved Xqt: Looks good to me, approved jenkins-bot: Verified

diff --git a/pywikibot/families/wikibooks_family.py b/pywikibot/families/wikibooks_family.py index 0fdc1f2..5f230d2 100644 --- a/pywikibot/families/wikibooks_family.py +++ b/pywikibot/families/wikibooks_family.py @@ -30,7 +30,7 @@

languages_by_size = [ 'en', 'hu', 'de', 'vi', 'fr', 'it', 'ja', 'pt', 'es', 'nl', 'pl', 'id', - 'he', 'fi', 'zh', 'sq', 'az', 'fa', 'ru', 'ca', 'eu', 'th', 'da', 'cs', + 'he', 'fi', 'zh', 'fa', 'sq', 'az', 'ru', 'ca', 'eu', 'th', 'cs', 'da', 'ko', 'ba', 'sv', 'gl', 'hi', 'sr', 'uk', 'hr', 'no', 'tr', 'sa', 'ar', 'ta', 'bn', 'eo', 'sk', 'is', 'ro', 'si', 'bg', 'ms', 'ka', 'mk', 'tt', 'lt', 'el', 'li', 'sl', 'tl', 'ur', 'km', 'la', 'mr', 'kk', 'te', 'et', diff --git a/pywikibot/families/wikipedia_family.py b/pywikibot/families/wikipedia_family.py index 411cbb1..010ffc8 100644 --- a/pywikibot/families/wikipedia_family.py +++ b/pywikibot/families/wikipedia_family.py @@ -29,34 +29,34 @@ 'en', 'ceb', 'de', 'sv', 'fr', 'nl', 'ru', 'es', 'it', 'arz', 'pl', 'ja', 'zh', 'vi', 'war', 'uk', 'ar', 'pt', 'fa', 'ca', 'sr', 'id', 'ko', 'no', 'fi', 'tr', 'hu', 'cs', 'ce', 'sh', 'tt', 'ro', - 'zh-min-nan', 'eu', 'ms', 'eo', 'he', 'hy', 'da', 'bg', 'cy', 'azb', - 'sk', 'kk', 'et', 'min', 'be', 'simple', 'el', 'hr', 'lt', 'gl', 'az', - 'uz', 'ur', 'sl', 'ka', 'nn', 'hi', 'th', 'ta', 'la', 'mk', 'ast', - 'bn', 'zh-yue', 'lv', 'tg', 'af', 'my', 'mg', 'bs', 'mr', 'oc', 'sq', + 'zh-min-nan', 'eu', 'ms', 'eo', 'he', 'hy', 'da', 'bg', 'cy', 'sk', + 'azb', 'kk', 'et', 'min', 'be', 'simple', 'el', 'hr', 'uz', 'lt', 'gl', + 'az', 'ur', 'sl', 'ka', 'nn', 'hi', 'th', 'ta', 'la', 'mk', 'bn', + 'ast', 'zh-yue', 'lv', 'tg', 'af', 'my', 'mg', 'bs', 'mr', 'oc', 'sq', 'nds', 'ky', 'be-tarask', 'ml', 'te', 'br', 'sw', 'new', 'jv', 'lld', - 'vec', 'ht', 'pms', 'pnb', 'su', 'lb', 'ba', 'ku', 'ga', 'lmo', 'szl', + 'vec', 'ht', 'pnb', 'pms', 'su', 'lb', 'ba', 'ku', 'ga', 'lmo', 'szl', 'is', 'cv', 'fy', 'ckb', 'tl', 'an', 'wuu', 'diq', 'sco', 'pa', 'io', - 'vo', 'yo', 'ne', 'gu', 'als', 'kn', 'bar', 'scn', 'avk', 'bpy', 'ia', - 'qu', 'mn', 'crh', 'nv', 'xmf', 'ha', 'si', 'bat-smg', 'ps', 'ban', - 'os', 'frr', 'or', 'gd', 'sah', 'cdo', 'bug', 'yi', 'ilo', 'sd', 'am', - 'nap', 'li', 'hsb', 'fo', 'map-bms', 'mai', 'gor', 'mzn', 'ig', 'eml', - 'bcl', 'ace', 'shn', 'sa', 'zh-classical', 'wa', 'ie', 'lij', 'as', - 'zu', 'mhr', 'mrj', 'hyw', 'hif', 'mni', 'km', 'hak', 'roa-tara', 'sn', - 'bjn', 'pam', 'so', 'nso', 'rue', 'bh', 'tum', 'se', 'myv', 'vls', - 'mi', 'sat', 'nds-nl', 'sc', 'nah', 'vep', 'tk', 'kab', 'gan', 'glk', - 'co', 'fiu-vro', 'kw', 'ab', 'bo', 'ary', 'gv', 'frp', 'skr', 'kv', - 'ug', 'pcd', 'csb', 'udm', 'zea', 'ay', 'mt', 'gn', 'nrm', 'smn', - 'dag', 'lez', 'lfn', 'stq', 'olo', 'lo', 'mwl', 'rw', 'ang', 'fur', - 'rm', 'lad', 'gom', 'koi', 'ext', 'tyv', 'dsb', 'dty', 'ln', 'av', - 'cbk-zam', 'dv', 'ksh', 'pap', 'gag', 'bxr', 'pfl', 'pag', 'pi', 'szy', - 'haw', 'ks', 'awa', 'tay', 'kaa', 'mdf', 'tw', 'za', 'inh', 'krc', - 'xal', 'blk', 'pdc', 'atj', 'to', 'arc', 'tcy', 'kbp', 'mnw', 'jam', - 'na', 'wo', 'kbd', 'nia', 'nov', 'ki', 'lg', 'bi', 'nqo', 'tpi', 'tet', + 'vo', 'yo', 'ne', 'gu', 'als', 'kn', 'ia', 'bar', 'scn', 'avk', 'bpy', + 'qu', 'crh', 'mn', 'nv', 'xmf', 'ha', 'si', 'bat-smg', 'ban', 'ps', + 'os', 'frr', 'or', 'sah', 'gd', 'bug', 'cdo', 'yi', 'ilo', 'sd', 'am', + 'nap', 'li', 'hsb', 'fo', 'map-bms', 'gor', 'mai', 'mzn', 'ig', 'eml', + 'bcl', 'ace', 'shn', 'zh-classical', 'sa', 'wa', 'ie', 'lij', 'as', + 'zu', 'mhr', 'mrj', 'hyw', 'hif', 'mni', 'bjn', 'hak', 'km', 'sn', + 'roa-tara', 'pam', 'so', 'nso', 'rue', 'bh', 'tum', 'se', 'myv', 'vls', + 'sat', 'mi', 'nds-nl', 'sc', 'nah', 'vep', 'tk', 'kab', 'gan', 'glk', + 'co', 'fiu-vro', 'kw', 'ary', 'ab', 'bo', 'gv', 'frp', 'skr', 'dag', + 'ug', 'kv', 'pcd', 'zea', 'udm', 'csb', 'ay', 'mt', 'gn', 'nrm', 'smn', + 'lez', 'lfn', 'stq', 'olo', 'rw', 'lo', 'mwl', 'ang', 'fur', 'rm', + 'lad', 'gom', 'koi', 'ext', 'tyv', 'dsb', 'dty', 'ln', 'av', 'cbk-zam', + 'dv', 'pap', 'ksh', 'gag', 'bxr', 'kaa', 'pfl', 'pag', 'pi', 'ks', + 'szy', 'haw', 'awa', 'tay', 'za', 'mdf', 'tw', 'inh', 'blk', 'krc', + 'xal', 'pdc', 'atj', 'to', 'arc', 'tcy', 'kbp', 'mnw', 'jam', 'na', + 'wo', 'kbd', 'lg', 'nia', 'nov', 'ki', 'bi', 'nqo', 'tpi', 'tet', 'shi', 'jbo', 'roa-rup', 'fj', 'lbe', 'kg', 'xh', 'ty', 'cu', 'guw', - 'srn', 'trv', 'om', 'sm', 'alt', 'gcr', 'chr', 'ltg', 'tn', 'ny', - 'pih', 'mad', 'st', 'got', 'ami', 'bm', 'rmy', 've', 'ts', 'chy', 'rn', - 'ff', 'ak', 'ss', 'iu', 'kcg', 'ch', 'pnt', 'ee', 'ady', 'ik', 'pcm', - 'sg', 'din', 'pwn', 'kl', 'ti', 'dz', 'cr', + 'srn', 'trv', 'om', 'sm', 'alt', 'gcr', 'chr', 'ltg', 'tn', 'ny', 'st', + 'pih', 'mad', 'got', 'ami', 'bm', 'rmy', 've', 'ts', 'chy', 'ff', 'rn', + 'ss', 'ak', 'kcg', 'iu', 'ch', 'pnt', 'ee', 'ady', 'ik', 'pcm', 'sg', + 'din', 'pwn', 'kl', 'ti', 'dz', 'cr', ]

# Sites we want to edit but not count as real languages diff --git a/pywikibot/families/wikiquote_family.py b/pywikibot/families/wikiquote_family.py index ad32bfc..db85f3f 100644 --- a/pywikibot/families/wikiquote_family.py +++ b/pywikibot/families/wikiquote_family.py @@ -27,12 +27,12 @@ ]

languages_by_size = [ - 'it', 'en', 'pl', 'ru', 'cs', 'et', 'pt', 'fa', 'uk', 'de', 'fr', 'he', + 'it', 'en', 'pl', 'ru', 'cs', 'et', 'pt', 'fa', 'uk', 'de', 'he', 'fr', 'es', 'eo', 'tr', 'sk', 'bs', 'ca', 'az', 'fi', 'sl', 'zh', 'lt', 'ar', 'sr', 'bg', 'hy', 'hr', 'el', 'su', 'nn', 'id', 'sv', 'li', 'hu', 'ko', - 'nl', 'sah', 'ja', 'la', 'ta', 'gl', 'gu', 'ur', 'be', 'te', 'hi', - 'ig', 'vi', 'cy', 'no', 'tl', 'ml', 'sq', 'kn', 'ro', 'eu', 'ku', 'uz', - 'bn', 'ka', 'da', 'sa', 'is', 'bcl', 'br', 'mr', 'af', 'th', 'wo', + 'nl', 'sah', 'ja', 'la', 'ta', 'gl', 'gu', 'ur', 'ig', 'hi', 'be', + 'te', 'vi', 'tl', 'cy', 'no', 'ml', 'sq', 'kn', 'bn', 'ro', 'eu', 'ku', + 'uz', 'ka', 'da', 'sa', 'is', 'bcl', 'br', 'mr', 'af', 'th', 'wo', 'ky', ]

diff --git a/pywikibot/families/wikisource_family.py b/pywikibot/families/wikisource_family.py index ed111fa..388e2a3 100644 --- a/pywikibot/families/wikisource_family.py +++ b/pywikibot/families/wikisource_family.py @@ -25,10 +25,10 @@ ]

languages_by_size = [ - 'pl', 'en', 'ru', 'de', 'fr', 'zh', 'he', 'it', 'es', 'uk', 'ar', 'cs', + 'pl', 'en', 'ru', 'de', 'fr', 'zh', 'he', 'it', 'uk', 'es', 'ar', 'cs', 'mul', 'gu', 'sr', 'pt', 'fa', 'sv', 'bn', 'hu', 'ko', 'ta', 'ml', 'sa', 'te', 'sl', 'tr', 'la', 'hy', 'el', 'vi', 'ja', 'ro', 'fi', - 'nap', 'nl', 'az', 'ca', 'be', 'br', 'kn', 'no', 'hr', 'th', 'id', + 'nap', 'nl', 'be', 'az', 'ca', 'br', 'kn', 'no', 'hr', 'id', 'th', 'eo', 'hi', 'is', 'vec', 'pms', 'ban', 'mr', 'cy', 'da', 'lij', 'et', 'mk', 'as', 'yi', 'bg', 'li', 'wa', 'jv', 'lt', 'pa', 'eu', 'or', 'gl', 'bs', 'sah', 'sk', 'zh-min-nan', 'fo', diff --git a/pywikibot/families/wiktionary_family.py b/pywikibot/families/wiktionary_family.py index 200f761..7977678 100644 --- a/pywikibot/families/wiktionary_family.py +++ b/pywikibot/families/wiktionary_family.py @@ -30,16 +30,16 @@ 'en', 'fr', 'mg', 'zh', 'ru', 'de', 'es', 'sh', 'sv', 'nl', 'el', 'pl', 'ku', 'lt', 'ca', 'it', 'fi', 'ta', 'hu', 'tr', 'ja', 'io', 'hy', 'ko', 'pt', 'kn', 'vi', 'sr', 'th', 'hi', 'ro', 'no', 'id', 'et', 'cs', 'ml', - 'my', 'uz', 'li', 'or', 'skr', 'eo', 'te', 'fa', 'gl', 'ar', 'oc', - 'jv', 'az', 'eu', 'uk', 'br', 'ast', 'is', 'da', 'sg', 'lo', 'simple', - 'bn', 'la', 'hr', 'fj', 'mnw', 'sk', 'tg', 'shn', 'ky', 'bg', 'wa', + 'my', 'uz', 'li', 'skr', 'or', 'eo', 'te', 'fa', 'gl', 'ar', 'oc', + 'jv', 'az', 'eu', 'uk', 'br', 'ast', 'is', 'sg', 'bn', 'da', 'lo', + 'simple', 'la', 'hr', 'mnw', 'fj', 'sk', 'tg', 'shn', 'ky', 'bg', 'wa', 'ur', 'ps', 'cy', 'vo', 'he', 'om', 'sl', 'af', 'zh-min-nan', 'lmo', - 'scn', 'tl', 'pa', 'sw', 'fy', 'ms', 'nn', 'ka', 'lv', 'min', 'sq', + 'scn', 'tl', 'pa', 'ms', 'sw', 'fy', 'nn', 'ka', 'lv', 'min', 'sq', 'nds', 'lb', 'co', 'mn', 'pnb', 'bs', 'nah', 'yue', 'sa', 'kk', 'km', 'vec', 'be', 'diq', 'tk', 'mk', 'nia', 'sm', 'hsb', 'ks', 'shy', 'su', 'gd', 'ga', 'bcl', 'an', 'gom', 'mr', 'wo', 'mni', 'ia', 'ang', 'mt', - 'sd', 'fo', 'tt', 'gn', 'so', 'ie', 'mi', 'csb', 'bjn', 'ug', 'si', - 'st', 'roa-rup', 'ha', 'tpi', 'hif', 'kl', 'guw', 'zu', 'ay', 'jbo', + 'fo', 'sd', 'tt', 'gn', 'bjn', 'so', 'ie', 'mi', 'csb', 'ug', 'si', + 'st', 'ha', 'roa-rup', 'tpi', 'hif', 'guw', 'kl', 'zu', 'ay', 'jbo', 'yi', 'ln', 'gu', 'na', 'gv', 'kw', 'am', 'ne', 'rw', 'ts', 'ig', 'qu', 'ss', 'iu', 'chr', 'dv', 'ti', 'tn', ] diff --git a/scripts/maintenance/wikimedia_sites.py b/scripts/maintenance/wikimedia_sites.py index e12005a..56a37b5 100755 --- a/scripts/maintenance/wikimedia_sites.py +++ b/scripts/maintenance/wikimedia_sites.py @@ -7,12 +7,12 @@

""" # -# (C) Pywikibot team, 2008-2021 +# (C) Pywikibot team, 2008-2022 # # Distributed under the terms of the MIT license. # -import codecs import re +from pathlib import Path

import pywikibot from pywikibot.data import wikistats @@ -82,13 +82,12 @@ text += line + '\n' text += ' ]' pywikibot.info(text) - family_file_name = f'pywikibot/families/{family}_family.py' - with codecs.open(family_file_name, 'r', 'utf8') as family_file: - family_text = family_file.read() + + filepath = Path(f'pywikibot/families/{family}_family.py') + family_text = filepath.read_text(encoding='utf8') family_text = re.sub(r'(?ms)^ {4}languages_by_size.+?]', text, family_text, 1) - with codecs.open(family_file_name, 'w', 'utf8') as family_file: - family_file.write(family_text) + filepath.write_text(family_text, encoding='utf8')

if __name__ == '__main__':