Atenção

Tendo em conta a melhoria do site oficial do DRE, tenho de ponderar a continuação deste site no futuro. Vou tentar fazer rapidamente um post com os prós e contras da manutenção deste site de modo a dar aos utilizadores uma forma de expressarem a sua opinião sobre este assunto.

Como a adaptação do software para obter o texto dos documentos a partir do novo site do dre é trivial, já estamos neste momento a actualizar a base de dados.

Nota informativa

O site oficial do DRE tem uma nova versão.

Este portal foi feito possível pelo Decreto-Lei 83/2016.

Muitos dos problemas que apontei foram resolvidos. O novo DRE tem:

  • Um motor de busca, rápido, que permite aos cidadãos encontrar o que procuram;
  • Listas de revogações, rectificações, modificações, regulamentações;
  • Legislação consolidada;
  • Dados Gerais - com uma análise rápida do diploma;
  • Ligações para o Direito Comunitário
  • Parece que tem tb permalinks;
  • Indexação dos documentos pelos motores de busca.

Esta nova versão do site é uma melhoria imensa em relação às duas primeiras versões do site.

Acerca do DRE Tretas

Este site disponibiliza uma cópia tão fiel quanto possível do Diário da República Electrónico, em caso de dúvida deverá sempre recorrer à fonte oficial.

O motivo que nos levou a fazer este trabalho foi a baixa qualidade do site oficial. Não nos referimos ao design do site, que melhorou muito na nova versão de Setembro de 2014, mas sim à falta de funcionalidades que consideramos básicas, tais como:

  • Sistema de busca em texto livre: a legislação é cada vez mais complexa, termos um sistema de procura moderno e flexível é fundamental. O site actual disponível para a generalidade dos cidadãos não tem esta funcionalidade, as capacidades de busca limitam-se a procuras num conjunto reduzido de meta-dados. Assim, se não soubermos qual o documento que queremos obter, dificilmente o conseguiremos encontrar no site oficial;
  • O site oficial tem feeds RSS, mas estes limitam-se a listar os documentos do dia. Se quisermos acompanhar a actividade sobre um determinado tema, isso não é possível;
  • Os documentos estão apenas disponíveis em formato PDF, isto apresenta problemas para os motores de busca, dificulta o acesso ao site a pessoas com deficiências, não há ligações entre documentos. Notar que o INCM já tem os documentos noutros formatos, no entanto não os disponibiliza na versão grátis do site. Neste site conseguimos obter a versão em html recorrendo a uma falha do site oficial (ver aqui);

Por estes motivos, decidimos criar este site onde tentaremos remediar as questões acima citadas bem como desenvolver soluções que permitam aos cidadãos explorar a legislação de formas inovadoras e práticas...

Todos os cidadãos são convidados a utilizar este site. Qualquer comentário, crítica ou sugestão pode ser enviado para: webmaster@tretas.org.

Helder Guerreiro

José Lopes

Nota: esta introdução foi alterada em Setembro de 2015, pode consultar as versões anteriores na página do projecto no github.

Direito ao esquecimento

Nós, no dre.tretas.org, não temos qualquer influência sobre a INCM (Imprensa Nacional Casa da Moeda), que compõe e publica o Diário da República. Se julga que a presença do seu nome ou de quaisquer outros dados pessoais em documentos publicados no Diário da República atenta ao seu direito à privacidade, terá de levar o problema à INCM.

Compreendemos, no entanto, que queira remover conteúdos sensíveis dos motores de busca ao abrigo do Direito ao Esquecimento. Pode tentar fazer com que os motores de busca deixem de listar o seu nome com base numa decisão do Tribunal de Justiça da União Europeia (C-131/12, PDF, 13 de maio de 2014). Para o efeito tem várias alternativas:

Finalmente, se assim o entender, pode enviar-nos um mail para webmaster@tretas.org. Nesse mail deve de indicar o URL das páginas que pretende retirar dos motores de busca, deve também de indicar o motivo para a retirada das páginas. Se considerarmos que o motivo tem mérito, acrescentaremos um código às páginas em questão que fará com que os motores de busca que respeitem esse código não indexem a página. Evidentemente não nos podemos responsabilizar pelas acções dos motores de busca nem garantir que estes irão obedecer às nossas directivas.

Nota técnica

Este sistema corre sobre Linux, utilizam-se os seguintes sistemas principais:

  • Base de dados PostgreSQL;
  • Índice feito utilizando a biblioteca Xapian;
  • Interface web feita com Django;
  • O brasão de armas (esfera armilar e o escudo português) foi retirado desta página. É uma obra de Vítor Luís Rodrigues e António Martins-Tuválkin contratada pela Presidência da República em Junho de 2004 com o fim expresso de ser posta no domínio público;
  • Os icons utilizados no site foram retirados da colecção de icons do Projecto KDE, estão sob licença GPL v2.

Corre num servidor HP ML310 G8.

Desenvolvimento deste sistema

Todo o site foi feito usando software livre.

A escolha óbvia para a licença do próprio sistema foi a GPL v3. Pode obter o código fonte do site, colaborar no desenvolvimento, abrir bug reports, etc, na página do projecto no github.

Base de dados

Pode fazer o download de toda a legislação que recolhemos do 'dre.pt' na ligação seguinte:

  • Dumps na Dropbox
    • Base de dados em formato JSON (cerca de 50MB)
    • Dump da base de dados com a ferramenta 'pg_dump' (cerca de 620MB)

Note, por favor, o seguinte:

  1. Os ficheiros com os dados recolhidos estão alojados no site Dropbox;
  2. Os ficheiros foram comprimidos usando a ferramenta bzip2. Depois de descomprimidos expandem para ficheiros relativamente pesados, com cerca de 830MB no caso da versão JSON e cerca de 4.1GB na versão SQL;
  3. Temos uma explicação sobre o formato destes ficheiros neste post;
  4. Estes ficheiros são gerados todos os Domingos às 10:00.

Lista de funcionalidades

  • Procura em texto livre usando a biblioteca Xapian:
    • Procura probabilística;
    • Procura booleana estruturada;
    • Procura usando prefixos;
  • Possibilidade de ordenar os resultados de busca por data;
  • Possibilidade de transformar uma busca num feed RSS, neste caso os resultados são sempre apresentados ordenados por data descendente, desta forma o feed apresenta sempre os últimos diplomas sobre o assunto da busca. Evidentemente não convém usar buscas com modificadores de data pois, se o fizer, o feed RSS será estático para essa data;
  • Navegação por datas:
    • Filtragem por uma série de critérios:
      • Série;
      • Tipo de documento;
      • Palavra chave;
  • Reconhecimento de citações entre documentos (com tooltip e hiperligação);
    • Lista de referencias feitas num dado documento;
    • Lista de documentos que referem um dado documento;
  • Procura de documentos relacionados;
  • Top dos documentos mais consultados no último dia, na última semana ou no último mês;
  • Suporte de utilizadores com áreas próprias:
    • Anotação de documentos (suporta markdown);
    • Manutenção de uma lista de marcadores:
      • Filtragem de marcadores (por datas, palavra chave e etiquetas);
      • Sistema de etiquetagem;
      • Sistema de anotação;
    • Possibilidade de ter os marcadores e anotações públicos ou privados;
    • Ferramentas para gestão do perfil de utilizador:
      • Dados pessoais;
      • Palavra chave;
      • Gestão de etiquetas;
      • Definições várias (controlo geral de privacidade, ajustes da interface).
  • Lista com os trezentos documentos mais recentes adicionados à base de dados - para benefício dos motores de busca.

Este link serve apenas para proporcionar aos motores de busca um caminho para todo o conteúdo do site.

Atenção

Tendo em conta a melhoria do site oficial do DRE, tenho de ponderar a continuação deste site no futuro. Vou tentar fazer rapidamente um post com os prós e contras da manutenção deste site de modo a dar aos utilizadores uma forma de expressarem a sua opinião sobre este assunto.

Como a adaptação do software para obter o texto dos documentos a partir do novo site do dre é trivial, já estamos neste momento a actualizar a base de dados.

Nota informativa

O site oficial do DRE tem uma nova versão.

Este portal foi feito possível pelo Decreto-Lei 83/2016.

Muitos dos problemas que apontei foram resolvidos. O novo DRE tem:

  • Um motor de busca, rápido, que permite aos cidadãos encontrar o que procuram;
  • Listas de revogações, rectificações, modificações, regulamentações;
  • Legislação consolidada;
  • Dados Gerais - com uma análise rápida do diploma;
  • Ligações para o Direito Comunitário
  • Parece que tem tb permalinks;
  • Indexação dos documentos pelos motores de busca.

Esta nova versão do site é uma melhoria imensa em relação às duas primeiras versões do site.