SOBRE A PLATAFORMA

O PDF vira texto corrido. Quando o arquivo é um scan sem camada de texto, e a extração comum não rende nada, entra um reconhecimento óptico com dicionários de português e inglês. O resultado fica guardado, de modo que o trabalho não se repete em execuções futuras.

Cada documento registra de onde veio seu texto:

Esta é a etapa mais cuidadosa do processamento, e vale entender a ordem em que ela trabalha, porque é ela que dá confiabilidade ao filtro de período.

A primeira fonte é o título, porque ali o período é uma afirmação do autor, não uma inferência da máquina. O processamento reconhece três formas de declaração: um intervalo explícito como 1780-1820, um intervalo de séculos, ou um século isolado. No nosso exemplo, o título diz “século XVII”, e o período gravado é 1600 a 1699.

Só quando o título não declara nada é que entra a segunda fonte, estatística: o processamento recolhe os anos citados no texto, calcula onde eles se concentram, e recorta essa faixa pelos anos que de fato ocorrem no documento, para nunca afirmar uma data que não está lá.

E o processamento não esconde qual das duas usou. Cada documento carrega a fonte do período e um grau de confiança, que a plataforma pode exibir e que você pode consultar.

A banda estatística continua registrada, em campos próprios, ao lado do período declarado. As duas respondem perguntas diferentes e por isso convivem: um trabalho anunciado como 1780-1820 cujas datas se concentram em 1795-1812 diz algo sobre a pesquisa que o título não diz. Essa comparação está disponível para quem quiser fazê-la.

O processamento usa uma lista curada de topônimos do período, cada um ligado à sua capitania: Cachoeira e Maragogipe remetem à Bahia, Vila Rica e Sabará a Minas Gerais. É vocabulário histórico montado à mão, não um extrator genérico, e por isso reconhece nomes que já não existem no mapa atual.

Aqui também o título tem prioridade. Se o título nomeia um lugar, ele decide a localização do documento, e as contagens do texto entram apenas como contexto. No nosso exemplo, Bahia venceu por estar no título, e não por aparecer 129 vezes:

Quatro temas, cada um com um vocabulário de 40 a 50 termos escolhidos à mão. História Social inclui alforria, compadrio, irmandade, exposto; História Econômica inclui sesmarias, monte-mor, cunhagem, dote. O processamento conta as ocorrências de cada vocabulário e o mais pontuado vira o tema principal.

A vantagem desse desenho é ser auditável: dá para abrir a lista e discutir se um termo devia estar em outro tema. E as pontuações de todos os quatro ficam guardadas, não só a do vencedor. É por isso que podemos mostrar exatamente quando a decisão foi apertada.

Nossa tese de exemplo está entre os casos apertados: ficou como História Cultural por 685 pontos contra 684 de História Política. Faz sentido, aliás. Sermões fúnebres na Bahia seiscentista são as duas coisas ao mesmo tempo, e o empate quase perfeito descreve o documento melhor do que qualquer rótulo isolado descreveria.

O processamento localiza a lista de referências e separa cada entrada. É isso que sustenta a busca por quem citou quem. Poucas bases brasileiras de história oferecem essa camada.

Cada entrada vira uma linha compacta: sobrenome, título encurtado a cinco palavras, ano. Algo como NOVAIS. Portugal e o Brasil. (1979). Esse formato enxuto é o que permite varrer todas as referências em milissegundos.

A última etapa é a mais engenhosa. Em vez de contar palavras frequentes, o processamento monta uma rede: dentro de cada frase, os substantivos são ligados entre si, e a rede inteira do documento é submetida ao mesmo algoritmo que ordenava as páginas nos primeiros buscadores. Um conceito ganha peso não por aparecer muito, mas por aparecer junto dos outros conceitos importantes.

Os vinte primeiros colocados entram com peso triplo, os trinta seguintes com peso duplo, os demais com peso simples, e as palavras do título vêm na frente de todos. É esse conjunto que a busca por termo consulta primeiro, e é por isso que ela responde bem a assuntos: ela sabe o que é central no documento, não apenas o que é frequente.