Pois comigo da o mesmo erro... na hora de filtrar o AWB dá o pineu :S

Vou tentar com o python.
_____
Béria Lima
(351) 925 171 484

Imagine um mundo onde é dada a qualquer pessoa a possibilidade de ter livre acesso ao somatório de todo o conhecimento humano. É isso o que estamos a fazer.


2011/9/28 Mateus Nobre <mateus.nobre@live.co.uk>
refiz a lista agora, deu 270k de artigos. Salvei tambem agora. Só que na hora de fitrar, o AWB travou. Acho que vou filtrar manualmente só as Categorias, os duplicados vou tirar quando for uma listinha menor. Porque 270K nem 4GB de Ram aguenta...


_____________________
M
ateusNobre
MetalBrasil on Wikimedia projects
(+55) 85 88393509
              30440865



From: rjclaudio@gmail.com
Date: Wed, 28 Sep 2011 10:30:32 -0300

To: wikimediabr-l@lists.wikimedia.org
Subject: Re: [Wikimedia Brasil] WP Offline - Lista pronta

Sim, é melhor.

Claudio Barbosa

Em 28 de setembro de 2011 10:25, Béria Lima <berialima@gmail.com> escreveu:
Filtro pra tirar os duplicados? É melhor não?
_____
Béria Lima
(351) 925 171 484

Imagine um mundo onde é dada a qualquer pessoa a possibilidade de ter livre acesso ao somatório de todo o conhecimento humano. É isso o que estamos a fazer.


2011/9/28 Mateus Nobre <mateus.nobre@live.co.uk>
Pode colocar em txt (Unicode pra aparecer os acentos) e mandar por anexo :P


_____________________
M
ateusNobre
MetalBrasil on Wikimedia projects
(+55) 85 88393509
              30440865



Date: Wed, 28 Sep 2011 14:18:29 +0100
From: berialima@gmail.com
To: wikimediabr-l@lists.wikimedia.org

Subject: Re: [Wikimedia Brasil] WP Offline - Lista pronta

Onde queres que coloque a lista pronta da Cat Brasil, Mateus?
_____
Béria Lima
(351) 925 171 484

Imagine um mundo onde é dada a qualquer pessoa a possibilidade de ter livre acesso ao somatório de todo o conhecimento humano. É isso o que estamos a fazer.


2011/9/28 Mateus Nobre <mateus.nobre@live.co.uk>
Tenta pegar a lista recursiva da Categoria:Brasil aí, to tentando por aqui. Já ajuda. Aqui na hora que eu consegui, ai fui inventar e filtrar antes de salvar e perdi :x


_____________________
M
ateusNobre
MetalBrasil on Wikimedia projects
(+55) 85 88393509
              30440865



From: jonas.agx@gmail.com
Date: Wed, 28 Sep 2011 10:10:29 -0300

To: wikimediabr-l@lists.wikimedia.org
Subject: [Wikimedia Brasil] WP Offline - Lista pronta

Se precisa de ajuda com o AWB, posso deixar rodando em algum dos computadores aqui do laboratório.
Essa lista que eu submeti, deve ter umas pequenas alterações/correções ainda, mas já pode usa-la.

[ ]'s
Jonas

2011/9/28 <wikimediabr-l-request@lists.wikimedia.org>
Enviar submissões para a lista de discussão WikimediaBR-l para
       wikimediabr-l@lists.wikimedia.org

Para se cadastrar ou descadastrar via WWW, visite o endereço
       https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l
ou, via email, envie uma mensagem com a palavra 'help' no assunto ou
corpo da mensagem para
       wikimediabr-l-request@lists.wikimedia.org

Você poderá entrar em contato com a pessoa que gerencia a lista pelo
endereço
       wikimediabr-l-owner@lists.wikimedia.org

Quando responder, por favor edite sua linha Assunto assim ela será
mais específica que "Re: Contents of WikimediaBR-l digest..."


Tópicos de Hoje:

  1. Re: WP Offline - Lista pronta (Mateus Nobre)


----------------------------------------------------------------------

Message: 1
Date: Wed, 28 Sep 2011 16:00:56 +0300
From: Mateus Nobre <mateus.nobre@live.co.uk>
Subject: Re: [Wikimedia Brasil] WP Offline - Lista pronta
To: <wikimediabr-l@lists.wikimedia.org>
Message-ID: <SNT121-W654F70BFF0648682D7868BBFF10@phx.gbl>
Content-Type: text/plain; charset="iso-8859-1"


Excelente Jonas! Agora tô catando (tentando denovo, depois de conseguir e perder a maldita pelo AWB travar) pegar a lista recursiva da Categoria:Brasil, aí e só meter intereseção e a gente termina 40% de toda a Wikipedia Offline :D

Maldito AWB, travando aqui so porque a lista tem 270k de artigos, haha.

_____________________
MateusNobre
MetalBrasil on Wikimedia projects
(+55) 85 88393509
             30440865


From: jonas.agx@gmail.com
Date: Wed, 28 Sep 2011 09:58:15 -0300
To: wikimediabr-l@lists.wikimedia.org
Subject: [Wikimedia Brasil] WP Offline - Lista pronta

Concordo com o CB :) +1
Por falar nisso, acabei de publicar a lista dos 5k artigos mais visitados, da WP:PT.Esse ranking deve esclarecer algumas coisas sobre "prioridades" de conteúdo :)



http://br.wikimedia.org/wiki/Wikip%C3%A9dia_Offline#Top_5k

Gostaram?[ ]'sJonas


2011/9/28  <wikimediabr-l-request@lists.wikimedia.org>


Enviar submissões para a lista de discussão WikimediaBR-l para

       wikimediabr-l@lists.wikimedia.org



Para se cadastrar ou descadastrar via WWW, visite o endereço

       https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

ou, via email, envie uma mensagem com a palavra 'help' no assunto ou

corpo da mensagem para

       wikimediabr-l-request@lists.wikimedia.org



Você poderá entrar em contato com a pessoa que gerencia a lista pelo

endereço

       wikimediabr-l-owner@lists.wikimedia.org



Quando responder, por favor edite sua linha Assunto assim ela será

mais específica que "Re: Contents of WikimediaBR-l digest..."





Tópicos de Hoje:



  1. Re: WP Offline, precisamos dar uma abrasileirada na lista de

     essências (Claudio Barbosa)

  2. Re: WP Offline, precisamos dar uma abrasileirada na lista de

     essências (Rodrigo Tetsuo Argenton)

  3. Fusão de Wikipédia:Embaixadores e Wikipédia:Tutoria

     (Otavio Louvem)

  4. Re: WP Offline, precisamos dar uma abrasileirada na lista de

     essências (CasteloBranco)

  5. Re: WP Offline, precisamos dar uma abrasileirada na lista de

     essências (Béria Lima)





----------------------------------------------------------------------



Message: 1

Date: Tue, 27 Sep 2011 16:43:43 -0300

From: Claudio Barbosa <rjclaudio@gmail.com>

Subject: Re: [Wikimedia Brasil] WP Offline, precisamos dar uma

       abrasileirada na lista de essências

To: Mailing list do Capítulo brasileiro da Wikimedia.

       <wikimediabr-l@lists.wikimedia.org>

Message-ID:

       <CAO2G1HZtGhXCAUGH1Tsx-c_kD69fnsC6ZzsYGSL_de-YRN3aNg@mail.gmail.com>

Content-Type: text/plain; charset="iso-8859-1"



Sim, e pra eles não é importante saber coisas do mundo todo?

Imagino pessoas q vão ler a wiki offline e só vão saber coisas q são

importantes pro brasil e não vão saber oq é importante para o mundo. Todo

mundo tem q saber oq é importante pro mundo.

Estamos fazendo uma versão específica pro Brasil, pra isso existem as outras

listas. Tem 4k artigos específicos pro Brasil, e 1k de interesse mundial.

Não tá bom essa divisão? 20% de interesse mundial? O resto q for importante

entra nos outros 4k.



Claudio Barbosa



Em 27 de setembro de 2011 14:08, nevio carlos de alarcão <

nevinhoalarcao@gmail.com> escreveu:



> Não concordo em retirar coisas q são importantes para o mundo todo só pq há

>> coisas mais importantes especificamente para o Brasil.

>

>

> Pensava que estavam a construir algo específico para público sem acesso à

> web, nos "grotões do Brasil", não é isso?

>

> Em 27 de setembro de 2011 13:45, Claudio Barbosa <rjclaudio@gmail.com>escreveu:

>

> Qnd decidimos q iamos usar a lista de artigos essenciais, a ideia era essa.

>> Artigos essenciais decidido pela comunidade global do meta sobre o que é

>> importante para o mundo todo.

>>

>> É bem difícil chegar a consenso sobre o q é mais importante (eu discordo

>> de todas as alterações q vc fez) então usar a de essenciais é tb um modo de

>> economizar tempo.

>>

>> A lista de tópicos do Brasil tb tem esse objetivo, complementar essa lista

>> de essenciais com coisas específicas do Brasil.

>>

>> Não concordo em retirar coisas q são importantes para o mundo todo só pq

>> há coisas mais importantes especificamente para o Brasil. Uma enciclopédia

>> deve primeiro dar uma visão geral das coisas (importantes para o mundo),

>> depois dar uma visão específica (importantes para o Brasil).

>>

>> Claudio Barbosa

>>

>> Em 27 de setembro de 2011 13:30, Rodrigo Tetsuo Argenton <

>> rodrigo.argenton@gmail.com> escreveu:

>>

>>> Não! Quem discutiu tem a visão de mundo deles, desde quando críquete,

>>> basebol e golfe é mais importante no Brasil que vôlei, natação e handebol?

>>>

>>> Temos que rever sim, supor-se algo e não pensar ...? Só três exemplos, há

>>> mais coisas. Abraço.

>>>

>>>

>>>

>>> --

>>> Rodrigo Tetsuo Argenton

>>> rodrigo.argenton@gmail.com

>>> +55 11 7971-8884

>>>

>>> _______________________________________________

>>> WikimediaBR-l mailing list

>>> WikimediaBR-l@lists.wikimedia.org

>>> https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

>>>

>>>

>>

>> _______________________________________________

>> WikimediaBR-l mailing list

>> WikimediaBR-l@lists.wikimedia.org

>> https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

>>

>>

>

>

> --

> {+}Nevinho

> Venha para o Movimento Colaborativo http://sextapoetica.com.br !!

>

> _______________________________________________

> WikimediaBR-l mailing list

> WikimediaBR-l@lists.wikimedia.org

> https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

>

>

-------------- Próxima Parte ----------

Um anexo em HTML foi limpo...

URL: http://lists.wikimedia.org/pipermail/wikimediabr-l/attachments/20110927/55de72bc/attachment-0001.htm







------------------------------



Message: 2

Date: Tue, 27 Sep 2011 16:58:49 -0300

From: Rodrigo Tetsuo Argenton <rodrigo.argenton@gmail.com>

Subject: Re: [Wikimedia Brasil] WP Offline, precisamos dar uma

       abrasileirada na lista de essências

To: Mailing list do Capítulo brasileiro da Wikimedia.

       <wikimediabr-l@lists.wikimedia.org>

Message-ID:

       <CAB8ORq_tewnFSubj72Z2JibYOEc1QxgzgxT38bn7tOoe6M3-Lw@mail.gmail.com>

Content-Type: text/plain; charset="iso-8859-1"



Hhehehhe, ta rude :P



Não sei mesmo se é de interesse global, já que uma boa parte foi feito por

contribuidores anglófonos, esse é um ponto.



Outro, das mil coisas globais, deve ter umas 30, se muito, apenas que seriam

alteradas, 3%, ou seja, ainda teria uma visão bem global, mas com uma visão

um pouco menos distante. E uma das minhas alterações foi idiota, o resto

ainda são coisas globais, natação é global, vôlei é global, handebol é um

pouco menos global, mas o fato de ser de fora do país e ser praticado aqui

já o torna global... sabe, não são coisas que os outros países não têm e que

não seja importante a eles.



droga, falei de novo.



--

Rodrigo Tetsuo Argenton

rodrigo.argenton@gmail.com

+55 11 7971-8884

-------------- Próxima Parte ----------

Um anexo em HTML foi limpo...

URL: http://lists.wikimedia.org/pipermail/wikimediabr-l/attachments/20110927/233bf58b/attachment-0001.htm







------------------------------



Message: 3

Date: Tue, 27 Sep 2011 18:13:02 -0300

From: Otavio Louvem <otavio1981.wiki@gmail.com>

Subject: [Wikimedia Brasil] Fusão de Wikipédia:Embaixadores e

       Wikipédia:Tutoria

To: Mailing list do Capítulo brasileiro da Wikimedia.

       <wikimediabr-l@lists.wikimedia.org>

Message-ID:

       <CAHYnTn2k9+zF=1ZrFe20zi=vvCzhnTmZoF7ETCHaHHjVXWJtJQ@mail.gmail.com>

Content-Type: text/plain; charset="iso-8859-1"



Prezados,



Abri este tópico na esplanada e convido os interessados a participar. A

idéia está exposta lá.



Abs,



Segue o link:

http://pt.wikipedia.org/wiki/Wikip%C3%A9dia:Esplanada/geral/Fus%C3%A3o_de_Wikip%C3%A9dia:Tutoria_com_Wikip%C3%A9dia:Embaixadores_(27set2011)







--

Abs,

Otavio

-------------- Próxima Parte ----------

Um anexo em HTML foi limpo...

URL: http://lists.wikimedia.org/pipermail/wikimediabr-l/attachments/20110927/4313f668/attachment-0001.htm







------------------------------



Message: 4

Date: Tue, 27 Sep 2011 20:57:31 -0300

From: CasteloBranco <michelcastelobranco@gmail.com>

Subject: Re: [Wikimedia Brasil] WP Offline, precisamos dar uma

       abrasileirada na lista de essências

To: wikimediabr-l@lists.wikimedia.org

Message-ID: <4E8262EB.1080501@gmail.com>

Content-Type: text/plain; charset=ISO-8859-1; format=flowed



O fato de o conteúdo ser destinado a brasileiros não quer dizer que só

pode ter assunto brasileiro na lista. Acham mesmo que brasileiros só se

interessam por coisas do Brasil? Não generalizem demais e nem sejam

paternalistas. Para quem não tem internet, é ainda mais importante

incluirmos artigos sobre temas que não são encontrados normalmente na

biblioteca da escola ou nos livros didáticos. Pode ser a única fonte de

pesquisa, por algum tempo, para os consumidores desses PCs.



Quando discutimos a composição da lista, foi justamente para evitar um

peso indevido em conteúdo não relacionados, e a proposta foi criar um

segmento dessa lista só com artigos relacionados diretamente ao Brasil,

com 500 biografias e 500 outros artigos bem relacionados. Com isso, já

são 1000 artigos, ou 20% de todo o conteúdo do offline, além daqueles

que estarão em outras partes da lista (os essenciais relacionados ao

Brasil, os escolares relacionados ao Brasil, os populares relacionados

ao Brasil e os destacados/bons relacionados ao Brasil). Por alto, creio

que um terço da lista vai ser de artigos relacionados ao Brasil.



Por isso, não há necessidade de mexer na lista dos artigos essenciais.

Eles são assim denominados por uma razão: o objetivo dessa lista é

formar uma seleção de artigos que toda enciclopédia deve ter.

Provavelmente não é perfeita, mas é uma discussão aberta há anos, e com

certeza é melhor do que iniciar uma outra agora. Todas as observações do

Argenton procedem, mas se aplicam à lista Brasil. Todos esses artigos

citados podem estar lá, sem precisar tirar os da lista dos essenciais. E

ainda combinamos de revisar a listona quando todas as parciais estiverem

prontas, não foi? Vamos ajudar o Mateus com essa lista Brasil, para

avançarmos com ela até o próximo fim de semana, como combinamos.



E não é para as zonas remotas do Brasil, não. Essa versão será gravada

em PCs comuns, vendidos no varejo em lojas como Ponto Frio, Americanas,

Carrefour, Insinuante, etc. ao lado de ventiladores, microondas,

máquinas fotográficas e etc. Não são direcionados a um público

específico, e nem é proibido usar internet neles. Os maiores

beneficiários serão os que não têm acesso à Internet, apenas isso.



CB









------------------------------



Message: 5

Date: Wed, 28 Sep 2011 10:58:18 +0100

From: Béria Lima <berialima@gmail.com>

Subject: Re: [Wikimedia Brasil] WP Offline, precisamos dar uma

       abrasileirada na lista de essências

To: Mailing list do Capítulo brasileiro da Wikimedia.

       <wikimediabr-l@lists.wikimedia.org>

Message-ID:

       <CAA2XHjAm0Vd3SuKZVhQ+S7gaBSfOz0fsO0fDPVnMa+90ebumWg@mail.gmail.com>

Content-Type: text/plain; charset="iso-8859-1"



Eu subescrevo o CB. E destaco: *O "fato de o conteúdo ser destinado a

brasileiros não quer dizer que só pode ter assunto brasileiro na lista*" e "

*as observações do Argenton procedem, mas se aplicam à lista Brasil. Todos

esses artigos citados podem estar lá, sem precisar tirar os da lista dos

essenciais.*"

_____

*Béria Lima*

<http://wikimedia.pt/>(351) 925 171 484



*Imagine um mundo onde é dada a qualquer pessoa a possibilidade de ter livre

acesso ao somatório de todo o conhecimento humano. É isso o que estamos a

fazer <http://wikimediafoundation.org/wiki/Nossos_projetos>.*





2011/9/28 CasteloBranco <michelcastelobranco@gmail.com>



> O fato de o conteúdo ser destinado a brasileiros não quer dizer que só

> pode ter assunto brasileiro na lista. Acham mesmo que brasileiros só se

> interessam por coisas do Brasil? Não generalizem demais e nem sejam

> paternalistas. Para quem não tem internet, é ainda mais importante

> incluirmos artigos sobre temas que não são encontrados normalmente na

> biblioteca da escola ou nos livros didáticos. Pode ser a única fonte de

> pesquisa, por algum tempo, para os consumidores desses PCs.

>

> Quando discutimos a composição da lista, foi justamente para evitar um

> peso indevido em conteúdo não relacionados, e a proposta foi criar um

> segmento dessa lista só com artigos relacionados diretamente ao Brasil,

> com 500 biografias e 500 outros artigos bem relacionados. Com isso, já

> são 1000 artigos, ou 20% de todo o conteúdo do offline, além daqueles

> que estarão em outras partes da lista (os essenciais relacionados ao

> Brasil, os escolares relacionados ao Brasil, os populares relacionados

> ao Brasil e os destacados/bons relacionados ao Brasil). Por alto, creio

> que um terço da lista vai ser de artigos relacionados ao Brasil.

>

> Por isso, não há necessidade de mexer na lista dos artigos essenciais.

> Eles são assim denominados por uma razão: o objetivo dessa lista é

> formar uma seleção de artigos que toda enciclopédia deve ter.

> Provavelmente não é perfeita, mas é uma discussão aberta há anos, e com

> certeza é melhor do que iniciar uma outra agora. Todas as observações do

> Argenton procedem, mas se aplicam à lista Brasil. Todos esses artigos

> citados podem estar lá, sem precisar tirar os da lista dos essenciais. E

> ainda combinamos de revisar a listona quando todas as parciais estiverem

> prontas, não foi? Vamos ajudar o Mateus com essa lista Brasil, para

> avançarmos com ela até o próximo fim de semana, como combinamos.

>

> E não é para as zonas remotas do Brasil, não. Essa versão será gravada

> em PCs comuns, vendidos no varejo em lojas como Ponto Frio, Americanas,

> Carrefour, Insinuante, etc. ao lado de ventiladores, microondas,

> máquinas fotográficas e etc. Não são direcionados a um público

> específico, e nem é proibido usar internet neles. Os maiores

> beneficiários serão os que não têm acesso à Internet, apenas isso.

>

> CB

>

>

> _______________________________________________

> WikimediaBR-l mailing list

> WikimediaBR-l@lists.wikimedia.org

> https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

>

-------------- Próxima Parte ----------

Um anexo em HTML foi limpo...

URL: http://lists.wikimedia.org/pipermail/wikimediabr-l/attachments/20110928/bf2b9c4c/attachment.htm







------------------------------



_______________________________________________

WikimediaBR-l mailing list

WikimediaBR-l@lists.wikimedia.org

https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l





Fim da Digest WikimediaBR-l, volume 37, assunto 65

**************************************************



--
Siga-me:Follow me: @Jonas_agx




_______________________________________________
WikimediaBR-l mailing list
WikimediaBR-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l
-------------- Próxima Parte ----------
Um anexo em HTML foi limpo...
URL: http://lists.wikimedia.org/pipermail/wikimediabr-l/attachments/20110928/85701f8d/attachment.htm

------------------------------

_______________________________________________
WikimediaBR-l mailing list
WikimediaBR-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l


Fim da Digest WikimediaBR-l, volume 37, assunto 67
**************************************************



--
Siga-me:
Follow me: @Jonas_agx



_______________________________________________ WikimediaBR-l mailing list WikimediaBR-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

_______________________________________________
WikimediaBR-l mailing list
WikimediaBR-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l



_______________________________________________ WikimediaBR-l mailing list WikimediaBR-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

_______________________________________________
WikimediaBR-l mailing list
WikimediaBR-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l



_______________________________________________
WikimediaBR-l mailing list
WikimediaBR-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l



_______________________________________________ WikimediaBR-l mailing list WikimediaBR-l@lists.wikimedia.org https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l

_______________________________________________
WikimediaBR-l mailing list
WikimediaBR-l@lists.wikimedia.org
https://lists.wikimedia.org/mailman/listinfo/wikimediabr-l