Rede de Bibliotecas Escolares: blogs e websites preservados no Arquivo.pt
Neste conjunto de dados encontra-se informação acerca das bibliotecas escolares.
Os dados estão publicamente acessíveis no website da Rede de Bibliotecas Escolares, https://rbe.mec.pt/np4/sitios.html.
O Arquivo.pt queria realizar uma recolha especial com o objetivo de preservar os seus conteúdos e também de preservar os blogs e websites das bibliotecas escolares aí referidos.
Porém, alguns conteúdos eram apresentados num mapa interativo a que o web crawler não era capaz de aceder. Foi necessário um passo adicional, preparado pelo desenvolvedor do Arquivo.pt.
Analisando o tráfego do site, consegui-se obter o JSON com as informações todas no formato JSON. Depois, na consola do browser, guardou-se esta informação numa variável x e correu-se os seguintes comandos:
keys = x.map(n => Object.keys(n)).reduce((acc,cur) => [...new Set([...acc,...cur])],[])
default_n = {}
keys.forEach(k => default_n[k] = '')
keys.join('\t') + '\n' + x.map(n => ({...default_n,...n})).map(n => {r = []; keys.forEach(k => r.push(n[k])); return r.join('\t')}).join('\n')
Copiou-se o output para um editor de texto e substituiu-se todos os ""\t"" por um caracter de tabulação (tab), e os ""\n"" por novas linhas. Seleccionou-se tudo e copiou-se para uma tabela. Finalmente, para linhas que não tinham URL gerou-se o URL a partir do codIgefe quando possível.
Data da extração: 14-08-2025. Data de gravaçao do website rbe.mec.pt: 18 a 22 de agosto de 2025. Data de gravaçao da lista de blogs e websites das bibliotecas escolares referidos website rbe.mec.pt: 20 e 30 de novembro de 2025.
Recomenda-se a quem possui websites que disponibilizam informação com base num mapa que extraia e forneça ao Arquivo.pt os URLs de todos os conteúdos para poderem ser gravados. O Arquivo.pt não poderá fazer este passo adicional para todos os websites, mas deixa este caso de uso.
