TSE: Baixando todos os arquivos sobre candidaturas do site

Quanto tempo!

Estou carregando uma base relacional com dados de todos as candidaturas das eleições desse ano. Parece ser inútil, mas na verdade essa é primeira parte de um projeto um pouco maior. A segunda é disponibilizar essa base em forma de WEB Services REST e posteriormente expandir a base, adicionando os dados pós eleições e, enfim, adicionar dados do que os candidatos estão fazendo depois de eleitos para o povo!

Minha missão hoje era baixar os CSVs dos candidatos e salvar na minha máquina para eu carregar usando um programa Java na minha base (com JPA e as coisinhas que o povo gosta :D).

Analisando a página e como a mesma baixava o arquivo, foi fácil descobrir a formação da URL de onde o CSV é gerado:

http://divulgacand2010.tse.jus.br/divulgacand2010/jsp/exportarDadosCandidatoCSV.action?
siglaUF={Sigla}
&cdCargoCand={cargo}
&situacao={situacao}
&ordenacao={ordem}
&campoPesquisa=”+campoPesquisa

Sigla = sigla do estado: AC, AL, AP, AM, BA, CE, DF, GO, ES, MA, MT, MS, MG, PA, PB, PR , PE, PI, RJ, RN, RS, RO, RR, SP, SC, SE, TO
cargo =
3 – Governador
4 – Vice-Governador
5 – Senador
9 – 1º Suplente Senador
10 – 2º Suplente Senador
6 – Deputado Federal
7 – Deputado Estadual

situacao =
1 – Aptos
2 – Inaptos
3 – Todos

ordem = cand.NM_CANDIDATO

campoPesquisa = uma pesquisa que você deseja fazer


Para baixar os candidatos a governadores de São Paulo, por exemplo, você usa:


http://divulgacand2010.tse.jus.br/divulgacand2010/jsp/exportarDadosCandidatoCSV.action?siglaUF=SP&cdCargoCand=3&situacao=3&ordenacao=cand.NM_CANDIDATO&campoPesquisa=

A partir daí um for de for (estado e cargo) em Java e uma busca sobre como baixar arquivos usando a tecnologia da Oracle para trazer os csvs de forma automática. O melhor foi que tudo isso foi feito em menos de meia-hora! Poupando muito tempo de ficar baixando na mão.

Agora vou passar eles pra UTF-8 e usar o meu outro programa de carga desse CSV no banco de dados. É quase uma suíte de programas para as eleições 2010😛

6 Respostas

  1. […] TSE: Baixando todos os arquivos sobre candidaturas do site Novembro 13th, 2010 | Tecnologia […]

  2. Olá William,

    Como está seu projeto?
    Estou trabalhando em um projeto semelhante.
    Gostaria de trocar algumas idéias contigo.

    Abs,

    Yuri

  3. […] Há quatro anos atrás, eu fiz uma API REST que deixaria disponível todos os dados das eleições para serem acessados usando HTTP com os dados do TSE. […]

  4. William. bom dia!

    Estou querendo nessas eleições publicar os dados (em php) de não todos os candidatos mas fazer um filtro.

    Você sabe se existe no TSE algum webservfice que retorne um xml (ou algo parecido) de forma que possamos fazer ago parededo com o calculo de frete no webservice dos correios?

Deixe uma resposta

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: