Hello,
That might not be the most appropriate canal for this question, but I didn't have a better idea, so please let me know if you have better suggestion for my future demands.
So, if you read French you can read the thread bellow, but basically to give some context to my question, we are looking at possible partnership with spatial agencies to feed the Wikimedia world with data. Depending on what we ask and achieve to make as agreement, the volume they could provide would be possibly really huge, with a given example of 1Go/minute for a single satellite.
So my question is how much data should we aim at collecting, and depending on the volume, what transfer process should we use?
Cheers
-------- Message transféré -------- Sujet : Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES Date : Sun, 8 Apr 2018 13:06:00 +0200 De : Sébastien Dinot sebastien.dinot@free.fr Répondre à : Sébastien Dinot sebastien.dinot@free.fr Pour : Xavier Cailleau xavier.cailleau@wikimedia.fr Copie à : glam@lists.wikimedia.fr, toulouse@lists.wikimedia.fr, Liste OSM Toulouse local-toulouse@listes.openstreetmap.fr, ca@listes.openstreetmap.fr, wikidata@lists.wikimedia.fr, paris@lists.wikimedia.fr
Sébastien Dinot a écrit :
Je dois pouvoir me libérer une demi-journée :
Il est sans doute utile de préciser que je connais le projet Wikipédia depuis fort longtemps mais que mes contributions y sont fort modestes (quelques corrections d'articles et quelques photos) car on ne peut pas être sur tous les fronts à la fois (je suis un militant du logiciel libre depuis 1998 et un militant de l'open data depuis 2009, mais essentiellement dans le périmètre utile à la cartographie).
En outre, je ne connais pas grand chose au climat et je peux manquer de pertinence sur le sujet.
Par conséquent, je peux rencontrer vos interlocuteurs et sans doute être utile par ma connaissance du CNES et des licences, mais il me semble nécessaire d'être accompagné par quelqu'un qui connait bien mieux que moi Wikipédia et les projets connexes.
Quels sont les objectifs de la fondation ? Obtenir des échantillons de données permettant d'illustrer des articles, des couvertures globales de l'Europe ou des terres émergées, de longues séries temporelles ? Quel volume de données est-il raisonnable d'envisager (dans le spatial, les volumes de données produits sont impressionnants : à ma connaissance, un seul satellite sentinel 2 transmet 12 Go de données brutes toutes les 12 minutes).
Sébastien
I'm not sure Wikidata/Wikibase is the right platform for real-time/near real time data or such raw data from sensors.
Dependening on the usage I think the following should be considered: * What resultion (time resolution/spatial resolution) is really needed for readers? (Probably averaging/down sampling is required anyway) * Consider whether Wikibase is the right platform for it, or maybe Commons (see Help:Map_Data https://www.mediawiki.org/wiki/Help:Map_Data?rdfrom=commons:Help:Map_Data and Help:Tabular_Data https://www.mediawiki.org/wiki/Help:Tabular_Data?rdfrom=commons:Help:Tabular_Data )
Regards, Eran
On Mon, Oct 15, 2018 at 12:21 PM Mathieu Lovato Stumpf Guntz < psychoslave@culture-libre.org> wrote:
Hello,
That might not be the most appropriate canal for this question, but I didn't have a better idea, so please let me know if you have better suggestion for my future demands.
So, if you read French you can read the thread bellow, but basically to give some context to my question, we are looking at possible partnership with spatial agencies to feed the Wikimedia world with data. Depending on what we ask and achieve to make as agreement, the volume they could provide would be possibly really huge, with a given example of 1Go/minute for a single satellite.
So my question is how much data should we aim at collecting, and depending on the volume, what transfer process should we use?
Cheers
-------- Message transféré -------- Sujet : Re: [wikidata] [glam] [Toulouse] Projet de partenariat CNES Date : Sun, 8 Apr 2018 13:06:00 +0200 De : Sébastien Dinot sebastien.dinot@free.fr Répondre à : Sébastien Dinot sebastien.dinot@free.fr Pour : Xavier Cailleau xavier.cailleau@wikimedia.fr Copie à : glam@lists.wikimedia.fr, toulouse@lists.wikimedia.fr, Liste OSM Toulouse local-toulouse@listes.openstreetmap.fr, ca@listes.openstreetmap.fr, wikidata@lists.wikimedia.fr, paris@lists.wikimedia.fr
Sébastien Dinot a écrit :
Je dois pouvoir me libérer une demi-journée :
Il est sans doute utile de préciser que je connais le projet Wikipédia depuis fort longtemps mais que mes contributions y sont fort modestes (quelques corrections d'articles et quelques photos) car on ne peut pas être sur tous les fronts à la fois (je suis un militant du logiciel libre depuis 1998 et un militant de l'open data depuis 2009, mais essentiellement dans le périmètre utile à la cartographie).
En outre, je ne connais pas grand chose au climat et je peux manquer de pertinence sur le sujet.
Par conséquent, je peux rencontrer vos interlocuteurs et sans doute être utile par ma connaissance du CNES et des licences, mais il me semble nécessaire d'être accompagné par quelqu'un qui connait bien mieux que moi Wikipédia et les projets connexes.
Quels sont les objectifs de la fondation ? Obtenir des échantillons de données permettant d'illustrer des articles, des couvertures globales de l'Europe ou des terres émergées, de longues séries temporelles ? Quel volume de données est-il raisonnable d'envisager (dans le spatial, les volumes de données produits sont impressionnants : à ma connaissance, un seul satellite sentinel 2 transmet 12 Go de données brutes toutes les 12 minutes).
Sébastien
-- Sébastien Dinot, sebastien.dinot@free.fr http://sebastien.dinot.free.fr/ Ne goûtez pas au logiciel libre, vous ne pourriez plus vous en passer !
Wikitech-l mailing list Wikitech-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikitech-l
On Mon, Oct 15, 2018 at 12:46 PM Eran Rosenthal eranroz89@gmail.com wrote:
I'm not sure Wikidata/Wikibase is the right platform for real-time/near real time data or such raw data from sensors.
Dependening on the usage I think the following should be considered:
- What resultion (time resolution/spatial resolution) is really needed for
readers? (Probably averaging/down sampling is required anyway)
- Consider whether Wikibase is the right platform for it, or maybe Commons
(see Help:Map_Data https://www.mediawiki.org/wiki/Help:Map_Data?rdfrom=commons:Help:Map_Data and Help:Tabular_Data https://www.mediawiki.org/wiki/Help:Tabular_Data?rdfrom=commons:Help:Tabular_Data )
Yes. I agree with what Eran said. This seems like a case where you'd not be very happy with Wikibase for all the data - but maybe a meaningful subset of it.
Cheers Lydia
Am 15.10.2018 um 12:45 schrieb Eran Rosenthal:
I'm not sure Wikidata/Wikibase is the right platform for real-time/near real time data or such raw data from sensors.
Indeed. This is a very common misunderstanding. I wonder how it can be avoided.
Perhaps it would help to present Wikidata more directly as a collaborative semantic modeling tool, rather than a data collection.
In my mind, the collaborative modeling is the important and novel thing in Wikidata. There are better tools for collecting bulk data.
wikitech-l@lists.wikimedia.org