Introdução ao Jornalismo Investigativo: Jornalismo de dados

O uso de dados no jornalismo não é novidade. Mas, nas últimas décadas, evoluiu bastante. Na década de 1960, Philip Meyer começou a experimentar o uso de computadores para processar dados em diversos projetos do Detroit Free Press. Ele também introduziu o uso de métodos das ciências sociais na reportagem, posteriormente detalhados em seu livro de 1973, “Precision Journalism: A Reporter’s Introduction to Social Science Methods” (Jornalismo de Precisão: Uma Introdução aos Métodos das Ciências Sociais para Repórteres).

Com o tempo, mais jornalistas começaram a seguir Meyer. Em 1989, com o apoio da Escola de Jornalismo do Missouri, nos Estados Unidos, a organização Investigative Reporters and Editors (IRE) lançou o programa National Institute for Computer-Assisted Reporting (Instituto Nacional de Reportagens Assistidas por Computador). A partir daí, jornalistas passaram a receber treinamento sobre como usar dados em suas investigações, ou até mesmo criar investigações a partir de dados.

Nas décadas seguintes, à medida que o uso da internet se disseminava e volumes cada vez maiores de dados surgiam, os jornalistas começaram a usar o termo “jornalismo de dados” para descrever reportagens (bem como investigações) em que a coleta e a análise de dados eram partes essenciais do processo, ajudando a revelar problemas sistêmicos, identificar tanto padrões quanto anomalias, ao mesmo tempo que reportavam histórias de interesse público.

Como resultado, o jornalismo assistido por computador tornou-se uma prática global, como observou Brant Houston, ex-diretor executivo do IRE: Jornalistas do mundo todo, individualmente ou como parte de organizações regionais ou mesmo internacionais, começaram a utilizá-lo para conduzir investigações. Ao mesmo tempo, universidades e organizações ao redor do mundo, como a Global Investigative Journalism Network, começaram a oferecer treinamento em jornalismo de dados.

Agora, 60 anos depois de Meyer ter começado a experimentar com computadores, muitos projetos de investigação são o resultado do processamento de um grande número de registos e da realização de análises de dados com computadores, combinadas com técnicas tradicionais de reportagem, como falar com fontes humanas, fazer reportagens no local e acessar registos e documentos públicos para produzir histórias de interesse público.

Onde encontrar dados

Os dados estão por toda parte. Graças aos avanços tecnológicos das últimas décadas, as pessoas conseguem armazenar e processar mais informações do que nunca. Enquanto isso, os dados podem ser apresentados de forma agregada ou granular. É claro que os jornalistas geralmente preferem obter dados granulares para que possam ser analisados ​​sob todos os ângulos. Mesmo assim, isso nem sempre é o caso.

Ainda assim, muitos governos estão adotando a prática de tornar os dados públicos. Aqui estão algumas fontes para começar:

• Registros comerciais
• Registros judiciais
• Registros de propriedade (imóveis e propriedade intelectual)
• Diários oficiais. Estes são públicos na maioria das jurisdições.
• Bancos de dados públicos extraídos de sites governamentais ou de ONGs. (No entanto, certifique-se de familiarizar-se com as leis da jurisdição ou das empresas que hospedam os dados, pois algumas têm restrições ou considerações especiais em relação à extração de dados, ou scraping.)
• Concessões de mineração. Mesmo países opacos como a República Democrática do Congo e Burkina Faso publicam informações sobre mineração por meio de sistemas que gerenciam direitos e restrições de terras.
• Atualizações de autoridades governamentais e policiais por meio de suas redes sociais, sites e canais oficiais, como o exemplo neste link.
• Organizações internacionais como as Nações Unidas.

Se uma organização ou agência pública publica um dado (como uma estatística), solicitar os dados por trás disso também pode ser uma forma de acessar um conjunto de dados.

Alguns exemplos de conjuntos de dados disponíveis publicamente incluem:

• Registro de Imóveis do Reino Unido
• Banco de dados de créditos e compensações de carbono
• Banco de dados de comércio da CITES
• Cadastro Mineiro do Congo (registro)

O banco de dados Offsets da Carbonplan foi projetado para tornar mais simples a investigação de compensações e créditos de carbono e coleta dados de cinco dos maiores registros de compensações. Imagem: Captura de tela, OffsetsDB

O processo 

O jornalismo de dados é mais do que apenas produzir gráficos e infográficos. Também é mais do que simplesmente trabalhar com dados estruturados em planilhas. É usar dados para revelar o que estava oculto e direcionar a reportagem para criar uma narrativa impactante.

Para usar dados de forma eficaz em suas histórias, primeiro pergunte a si mesmo:

1. Qual é a natureza da fonte dos dados: Onde e como os dados estão armazenados?
2. Os dados são estruturados ou não estruturados?
3. Qual é o foco da história e em que formato ela será contada?
4. Qual é a capacidade da sua equipe?
5. Quais dados estão disponíveis? Se não houver nenhum, é possível criá-los?

Então fique ocupado:

1. Obtenha os dados. Uma vez que uma ideia provou que vale a pena ir atrás dela, o próximo passo é obter os dados. Jornalistas obtêm dados por meio de vazamentos de conjuntos de dados ou documentos, por meio de pedidos de acesso à informação, de fontes humanas, de programas para extrair dados de documentos ou páginas da web, ou ainda extraindo-os de PDFs e outros documentos de imagem. Em seguida, vem a tarefa de transformar tudo isso em dados estruturados que possam ser facilmente analisados.

Em alguns casos, os jornalistas podem precisar criar seu próprio conjunto de dados se ele ainda não existir em um formato estruturado — por meio de documentos ou outras fontes, por exemplo.

2. Compreenda a natureza dos dados. Pergunte quem criou os dados; em outras palavras, determine a fonte dos dados, valide suas credenciais e avalie sua credibilidade. Leia a documentação por trás da fonte de dados para entender como os dados foram coletados. Determine também se os dados vêm de um conjunto de dados primário ou de um conjunto de dados secundário criado a partir de outras fontes. O que os dados contêm (compreenda as variáveis, o que elas representam e como são armazenadas). Determine se os dados que você possui representam o conjunto de dados completo ou apenas uma parte dele.

Em seguida, tente entender quais perguntas os dados que você possui podem responder. Preste atenção ao que está faltando e que pode precisar ser preenchido com fontes de dados adicionais. Explore se existe outro conjunto de dados que você gostaria de obter para complementar o conjunto original ou para compará-lo.

3. Verifique os dados. Certifique-se de que os dados obtidos sejam autênticos e possam ser confirmados. Dados podem ser verificados por meio do cruzamento com outros conjuntos de dados, checar outros documentos e falar com especialistas. Mais adiante no processo de reportagem, os jornalistas devem entrar em contato com as pessoas ou entidades mencionadas diretamente nos conjuntos de dados para obter comentários e confirmação.

Ao trabalhar com dados, você pode se deparar com desafios como precisão, integridade e inconsistência. É fundamental verificar se há algum problema com os dados e se as informações são autênticas, desatualizadas ou incompletas. Caso contrário, sua história pode ficar por um fio.

4. Documente e proteja os dados. Se você acabar reestruturando os dados, lembre-se de criar um arquivo LEIAME, também conhecido como documento de instruções, sobre os dados e sua metodologia. Tome notas sobre seus processos enquanto trabalha com os dados. Isso ajudará a reduzir erros. Guarde uma cópia dos dados originais — em caso de erro, será possível rastreá-lo até sua origem.

Além disso, determine quem trabalhará com os dados. Dependendo da sensibilidade dos dados, é importante decidir quem terá acesso a eles e como serão compartilhados. Os dados podem ser armazenados em pastas, no Google Drive, em um pen drive (se forem sensíveis demais para serem armazenados na internet), em bancos de dados (por exemplo, bancos de dados SQL compartilháveis) ou usando ferramentas avançadas como Aleph, Datashare, NINA, etc.

NINA, a plataforma de dados do Centro Latino-Americano de Jornalismo Investigativo (El CLIP). Ela conecta bancos de dados abertos para simplificar a busca de ligações entre empresas e indivíduos contratados por governos latino-americanos. Imagem: Captura de tela, NINA

O Organized Crime and Corruption Reporting Project (OCCRP) e o Consórcio Internacional de Jornalistas Investigativos (ICIJ) geralmente compartilham dados com todos os jornalistas que trabalham em um projeto para facilitar a colaboração eficiente. No entanto, essas organizações possuem protocolos rigorosos de quem pode acessar um conjunto de dados para evitar colocar fontes ou repórteres em risco, garantindo também que todos com acesso tenham todas as informações e o contexto necessários para compreender o conjunto de dados completamente. Em outras palavras, compartilhe os dados apenas com aqueles que precisam ter acesso a eles.

5. Analise os dados em busca de insights. Uma vez que você tenha compreendido os dados e compartilhado-os com outros colaboradores, é hora de mergulhar na análise. Sempre trate os dados da mesma forma que você trata fontes humanas — entreviste os dados. Pergunte-se que perguntas os dados podem responder e documente como você chegou a essas respostas:

• Mantenha um diário de dados com as etapas realizadas para chegar a um valor ou insight. Isso será útil durante a verificação de fatos ou caso você seja questionado por editores — ou advogados.
• Além disso, utilize processos autorreferenciais e reproduzíveis para responder a perguntas posteriormente. Isso pode incluir o uso de fórmulas do Excel em vez de copiar e colar dados; o uso de códigos de programação; o uso de um repositório no GitHub ou outros métodos para acompanhar o trabalho.
• Registre suas descobertas de forma que você e outros membros da equipe possam segui-las facilmente. Desenvolva métodos sistemáticos para armazenar seus cálculos, por exemplo, por meio de planilhas, painéis, código Python ou uma página wiki.

Como parte da análise, é possível cruzar as informações com outros conjuntos de dados. Por exemplo, o cruzamento de dados de entidades registradas em jurisdições offshore que apareceram nos Pandora Papers com dados de registros de imóveis no Reino Unido, França e Estados Unidos (Califórnia, Miami e outros estados) ajudou a descobrir muitas propriedades secretamente pertencentes a políticos e figuras públicas durante a colaboração investigativa entre o ICIJ e mais de 150 parceiros de mídia.

6. Confirme suas descobertas com reportagem adicional. A análise de dados deve ser verificada para garantir que as descobertas façam sentido. Elas precisam ser revisadas contra leis e regulamentações vigentes, ou mesmo de pesquisas e reportagens anteriores. Consulte especialistas e verifique sua análise com seus colegas.

Em seguida, pergunte-se:

• Os dados expõem alguma irregularidade (lavagem de dinheiro, corrupção, sonegação fiscal, violações ambientais ou outros crimes)?
• Há algum problema com a validade dos dados?
• Os dados contêm informações novas?
• Os dados ajudam a esclarecer um problema sistêmico?
• Há algum valor discrepante surpreendente nos dados que possa se tornar uma história importante?

Por fim, como diz o ditado, “se você torturar os dados por tempo suficiente, eles confessarão qualquer coisa”. As estatísticas podem ser manipuladas para sustentar qualquer conclusão. Evite isso.

7. Planeje a publicação. Após concluir sua análise, reserve tempo para verificar os resultados do seu trabalho com os dados, escrever a história e revisar se os dados estão apresentados no contexto correto. Assim como em outras reportagens investigativas, agende uma revisão jurídica e reserve tempo para a produção. Você pretende publicar uma visualização ou um conteúdo interativo junto com a sua matéria? Inclua isso no seu planejamento também.

Dos dados à história 

Uma história baseada em dados pode começar da mesma forma que outras histórias: durante a apuração de outra notícia, um vazamento de informações ou mesmo uma observação – algumas questões de interesse público também podem impulsionar a produção de dados que levam a novas histórias.

Nesses casos, os dados geralmente impulsionam as histórias.

Ainda assim, embora combinar reportagens baseadas em dados com reportagens tradicionais possa produzir resultados muito poderosos, é importante ter em mente o componente humano e o interesse público. Por que o público se interessaria pela história? Que problema sistêmico ela está revelando? Quem é afetado por esse problema?

Dos dados à história: um checklist

1. Identifique o ângulo da sua história. Depois de analisar os dados, você pode se sentir sobrecarregado pelas descobertas e ter inúmeros ângulos para escolher prosseguir. Pensar na proposta de pauta pode ajudar a definir o melhor ângulo a ser abordado.

Se ainda estiver perdido, converse com seus colegas ou editores. Um olhar externo pode ajudar a definir o melhor ângulo, criar um novo e obter feedback valioso.

2. Criação de storyboards e planejamento da história

Mapear as descobertas em um storyboard ajuda a organizar e definir os aspectos de uma boa história, como os personagens, o conflito, o enredo, a estrutura etc. Qual é o enredo envolvente em suas principais descobertas? Mapeie isso.

3. Elabore a proposta de pauta. Apresente de forma clara a direção para qual os dados estão te levando, para que outros, incluindo editores, possam compreendê-la e estar na mesma página que você.
4. Apresente os dados. Lembre-se de que ótimas histórias baseadas em dados também são acompanhadas de ótimas reportagens. Aqui está um exemplo de como a reportagem se tornou a história a partir dos dados: imagine que você está analisando projetos habitacionais em seu país, examinando a fundo o investimento do governo e as empresas contratadas para construir as casas. Ao visitar os locais dos projetos habitacionais, conforme indicado pelos dados, você descobre que não há prédios. Nesse caso, a discrepância entre os dados e o que acontece em campo se torna a história.
5. Escreva a história. O maior desafio para histórias baseadas em dados é dar vida às descobertas por meio de narrativas coerentes e envolventes. Pode ser útil esboçar ou diagramar a história antes de começar a escrever.
6. Downloads de dados, esclarecimentos e visualizações. Ao planejar a publicação, considere se há quaisquer dados que possam ser disponibilizados publicamente ou compartilhados com o público para aprimorar a compreensão do tema pelos leitores. Esses dados podem ser apresentados por meio de um gráfico interativo e, se possível, um que permita que os leitores façam download dos dados. Também é importante considerar a elaboração de um documento complementar à metodologia, explicando a natureza dos dados e como o trabalho com eles foi conduzido.

Lembre-se: o público nem sempre se interessa por dados brutos, por isso é preciso uma narrativa cuidadosa e criativa, storytelling e uma apresentação visual, para que os dados façam sentido.

Entretanto, a grande vantagem das histórias baseadas em dados é que elas oferecem uma oportunidade de explorar diversos métodos para transmitir as informações. Por exemplo, os resultados podem ser apresentados como um tweet ou uma publicação no TikTok, ou ainda por meio de um infográfico ou vídeo. As redações costumam utilizar mais de um método para complementar suas matérias impressas ou em vídeo.

A visualização dos dados pode auxiliar no processo de elaboração de reportagens e também constituir um produto final.

Por fim, antecipe-se a esse processo envolvendo as equipes de design gráfico e outras áreas desde o início. Se elas forem incluídas tardiamente no processo, terão pouco tempo para dar aos dados o tratamento visual que merecem.

Outras considerações

Verificação de fatos

Ao trabalhar com dados, reserve tempo para a verificação dos fatos:

• Se houver entradas manuais em uma planilha, planeje verificar se as entradas foram feitas corretamente. Se os recursos estiverem disponíveis, peça a outras pessoas que não estejam envolvidas com os dados para verificar as entradas (você pode planejar duas ou três rodadas de verificação, dependendo da complexidade dos dados).
• Se alguém já tiver feito uma análise, reproduza-a para verificar se os mesmos resultados são obtidos. Nesse caso, é crucial ter uma segunda pessoa para reproduzir a análise e ajudar na verificação dos fatos.
• Reserve tempo para verificar como os resultados da análise são apresentados na história e se estão apresentados no contexto correto. Verifique também as visualizações e os elementos interativos para garantir que reflitam as informações e os resultados da análise de dados.

Lembre-se: Blindar os dados ajuda a blindar a história publicada.

Colaborações com dados

Trabalhar com dados pode envolver um jornalista de dados individual ou uma equipe de dados. Muitas vezes, trabalhar com um conjunto de dados pode exigir mais de uma pessoa, dependendo da magnitude dos dados e dos recursos da organização,

Ao mesmo tempo, as equipes de dados podem ser compostas por uma mistura de habilidades e ter, dentro da mesma equipe, especialistas em pesquisa e análise de dados, além de desenvolvedores. Quando os dados se tornam complexos em escala, estrutura e formato, reunir uma equipe interdisciplinar pode ser muito poderoso e ajudar a avançar o trabalho.

Como resultado, projetos investigativos que envolvem o uso de grandes conjuntos de dados podem resultar em esforços de equipe que incluem repórteres, jornalistas de dados, pesquisadores, verificadores de fatos, produtores online, editores e também pessoas que não são jornalistas.

Por exemplo, os engenheiros podem desenvolver ferramentas que ajudem a atender às necessidades dos jornalistas, desenvolver modelos de aprendizado de máquina para analisar milhões de registros, usar a tecnologia a serviço dos jornalistas e ajudar a processar milhões de registros.

Além disso, os dados podem ser muito poderosos durante colaborações internacionais, pois se tornam um elo de ligação entre jornalistas de diferentes países enquanto trabalham juntos.

Às vezes, porém, é necessário buscar ajuda por meio da colaboração com organizações que possuem equipes de dados maiores ou mais experientes. É por isso que trabalhar com organizações como o ICIJ, o OCCRP, o Pulitzer Center ou o Lighthouse Reports, ou estabelecer parcerias com universidades que tenham um departamento de ciência da computação, pode ser algo que jornalistas ou equipes devam considerar. Isso se deve principalmente ao fato de que essas organizações possuem equipes de dados dedicadas maiores do que a maioria das redações, que podem ter apenas um ou dois especialistas em dados.

Ao compartilhar dados com outras organizações ou mesmo com seus colegas de equipe, certifique-se de ser transparente sobre a origem dos dados, como foram analisados ​​e quais são suas limitações.

Por fim, ao trabalhar com equipes interdisciplinares, a comunicação entre as equipes é necessária ao longo de todo o processo, para garantir que todos estejam alinhados em termos de compreensão dos objetivos do projeto e de como executá-lo.

Caixa de ferramentas

Novo na área de dados? Aqui estão alguns cursos e ferramentas para considerar:

• Para dominar planilhas, confira o curso “Basics of Google Sheets” de Mark Horvit. A Coursera e a edX oferecem cursos em vídeo gratuitos sobre Excel, ou experimente este: “Oito maneiras simples de deixar a planilha fazer as contas para que você possa focar na história” de Brant Houston.
• Os livros “The Data Journalism Handbook 1 e 2” do European Journalism Centre também são recomendados.
• Python
• R
• SQL
• Open Refine
• Ferramentas de processamento de PDF, como:
  • Tabula
  • Poppler
  • pdfplumber/pdfminer 
  • Ferramentas para processamento, exploração e colaboração de arquivos:
    • Aleph
    • Datashare
    • Nina
• Usando a linha de comando. Você pode entender os fundamentos da linha de comando neste material do Missing Semester at MIT. Um colega, Eric Barrett, compartilhou este recurso com colegas do OCCRP que estavam começando a aprender a usar a linha de comando.
• A Universidade Columbia também disponibiliza um resumo de recursos sobre jornalismo de dados. O Knight Center for Journalism in the Americas, o Datajournalism.com e o IRE oferecem cursos e recursos que ajudam a entender como usar algumas das ferramentas e linguagens de programação.

Você também pode se capacitar em conferências de jornalismo investigativo ao redor do mundo, incluindo a Conferência Global de Jornalismo Investigativo (GIJC) da GIJN, a Dataharvest, a Conferência Africana de Jornalismo Investigativo (AIJC), a conferência latino-americana COLPIN, o Fórum Anual da ARIJ ou a Nicar do IRE, entre outras.

Estudos de caso

Captured (Capturados) — Africa Uncensored

A série explorou casos de corrupção no Quênia relacionados a “fraudes em licitações e processos de compras governamentais e em agências governamentais”. O projeto analisou informações sobre compras públicas e investigou conexões envolvendo funcionários públicos e outras partes interessadas que, por meio de diversas empresas, receberam benefícios em processos licitatórios.

Agents of Secrecy (Agentes do Sigilo) — Finance Uncovered, BBC, Seychelles Broadcasting Corporation

Esta foi uma colaboração entre jornalistas que utilizaram análise de dados de empresas do Reino Unido disponíveis publicamente e milhares de documentos vazados para rastrear “os mentores e capangas que compõem algumas das mais atuantes agências de sigilo corporativo relacionadas à Rússia”. A investigação analisou o uso de empresas anônimas no Reino Unido por lavadores de dinheiro em toda a antiga União Soviética.

Inside the Suspicion Machine (Por Dentro da Máquina da Suspeita) — Lighthouse Reports, WIRED, Vers Beton, Open Rotterdam

“Durante dois anos, a Lighthouse Reports buscou a santíssima trindade da responsabilidade algorítmica: os dados de treinamento, o arquivo do modelo e o código de um sistema usado por uma agência governamental para automatizar avaliações de risco para cidadãos que buscam serviços públicos”. Uma vez obtidos, a equipe analisou o algoritmo de avaliação de risco e descobriu como ele estava selecionando pessoas com base em seu idioma nativo, gênero e em como se vestiam.

Pandora Papers – ICIJ e 150 parceiros de mídia

Durante quase dois anos, repórteres mergulharam em mais de 11,5 milhões de registros em múltiplos formatos, vinculados a 14 diferentes provedores de serviços offshore, para escrever reportagens que expuseram “um sistema financeiro paralelo que beneficia os mais ricos e poderosos do mundo”, revelando nomes. Eles fizeram isso combinando técnicas tradicionais de jornalismo investigativo com análise de dados avançada. A equipe usou o Datashare para processar e compartilhar os arquivos com segurança com mais de 600 repórteres ao redor do mundo, e empregou diversas ferramentas e abordagens para a análise de dados, incluindo: aprendizado de máquina, linguagens de programação como Python, trabalho manual com dados e bancos de dados de grafos (neo4j e Linkurious).

Purity Mukami é uma estatística que se tornou jornalista de dados. Durante sete anos, ela contribuiu com suas habilidades em análise de dados para reportagens e projetos investigativos como FinCENFiles, Pandora Papers, Agent of Secrecy e Captured, entre outros. Trabalhou na Africa Uncensored, BBC Africa Eye, Finance Uncovered e, atualmente, como jornalista de dados para a África no OCCRP. Colaborou com diversas outras organizações que investigam a corrupção, rastreiam o dinheiro e combatem a desinformação durante eleições.

Emilia Diaz-Struck é diretora executiva da Global Investigative Journalism Network. Anteriormente, foi editora de dados e pesquisa e coordenadora para a América Latina no Consórcio Internacional de Jornalistas Investigativos (ICIJ). Por mais de uma década, Díaz-Struck participou de mais de 20 colaborações investigativas premiadas pelo ICIJ, incluindo: Offshore Leaks, Implant Files, FinCEN Files, Pandora Papers e os Panama Papers, vencedores do Pulitzer. Ela foi pioneira em jornalismo de dados e colaborações investigativas em seu país natal, a Venezuela, e foi mentora de centenas de repórteres latino-americanos. Emilia ministrou seminários sobre jornalismo de dados e colaborações investigativas transfronteiriças na Universidade de Columbia, em Nova York. Foi professora na Universidade Central da Venezuela e colaboradora do Washington Post, da revista Poder y Negocios, dos veículos de comunicação venezuelanos El Universal, El Mundo e Armando.info, do qual foi co-fundadora.