DataHub Brasil: repositório unificado de saúde pública e demografia

O DataHub Brasil nasce de uma necessidade prática: dados públicos brasileiros de altíssimo valor existem, são gratuitos e são oficiais - mas estão espalhados entre sistemas diferentes do DATASUS, do IBGE, da ANS e do Portal de Dados Abertos do Ministério da Saúde, cada um com seu próprio protocolo de acesso, formato de arquivo e convenção de nomenclatura. Reunir qualquer análise minimamente ampla exige garimpar meia dúzia de fontes antes de escrever a primeira linha de código de análise.

Pra reduzir essa fragmentação, reuni esses sistemas num repositório unificado: mortalidade, nascimentos, rede assistencial (estabelecimentos, habilitações, leitos, profissionais, equipamentos, serviços especializados e equipes), internações hospitalares, doenças de notificação compulsória, Síndrome Respiratória Aguda Grave (SRAG), saúde suplementar (beneficiários de planos, operadoras e ressarcimento ao SUS), população, PIB municipal e os microdados da Pesquisa Nacional de Saúde. Sem recorte temático, sem especialização, sem filtro analítico - cada sistema é publicado por completo, o mais próximo possível da estrutura oficial, pra que qualquer pesquisador defina seus próprios critérios de seleção e análise.

O dataset final está disponível no Kaggle, com um notebook de exemplo demonstrando como cruzar as bases (doenças de notificação compulsória e população, por município) para calcular taxa de incidência por 100 mil habitantes. Cobre diferentes dimensões da saúde pública e demografia do Brasil: desde onde a rede está habilitada a atender e quantos leitos ela tem, até quem nasce, quem morre, quais doenças são notificadas, e como a população e a economia de cada município evoluem ao longo do tempo.

O código-fonte completo do pipeline está disponível em github.com/rafa-trindade/kaggle-datahub.

Aplicações Corporativas e Consultoria

Além de democratizar dados para pesquisa, essa arquitetura resolve dores estruturais do mercado privado. O pipeline pode ser utilizado por:

• Healthtechs: para plugar dados limpos de infraestrutura e faturamento direto em seus bancos de dados.
• Operadoras de Saúde: para cruzar dados de mortalidade e internações do SUS com bases internas para modelos preditivos de risco.
• Indústria Farmacêutica: para mapear a incidência geográfica de doenças (SINAN) e otimizar estudos clínicos e distribuição.

Fontes de Dados e Escopo:

1. Mortalidade (Fonte: SIM - DATASUS)

O Sistema de Informações sobre Mortalidade (SIM) consolida as Declarações de Óbito de todo o país desde 1979. Aqui, o SIM é publicado por completo, em todos os seus subsistemas, sem recorte por causa de óbito.

Escopo e Processamento: São baixados via FTP público do DATASUS os arquivos .dbc de cada subsistema, nas eras CID-9 (1979-1995) e CID-10 (1996-atual, quando aplicável), convertidos para Parquet e mesclados incrementalmente - execuções futuras só baixam e reprocessam o que for novo, sem reprocessar o histórico inteiro. Descoberta importante durante a construção: os subsistemas de Causas Externas, Óbitos Fetais, Óbitos Infantis e Óbitos Maternos não ficam em pastas próprias no FTP do DATASUS - todos dividem a mesma pasta física (nomeada “DOFET” por herança histórica), diferenciados só pelo prefixo do nome do arquivo.

Bases disponibilizadas:

• declaracoes_de_obito_cid9.parquet / declaracoes_de_obito_cid10.parquet - Declarações de óbito, todas as causas, 1979-1995 e 1996-atual.
• declaracoes_de_obito_causas_externas_cid9.parquet / _cid10.parquet - Óbitos por causas externas (acidentes, violência).
• declaracoes_de_obito_fetais_cid9.parquet / _cid10.parquet - Óbitos fetais.
• declaracoes_de_obito_infantis_cid9.parquet / _cid10.parquet - Óbitos infantis.
• declaracoes_de_obito_maternos_cid10.parquet - Óbitos maternos (só existe a partir de 1996, sem era CID-9).
• declaracoes_de_obito_residentes_exterior_cid10.parquet - Óbitos de brasileiros residentes no exterior (só a partir de 2013).

BRASIL. Ministério da Saúde. DATASUS. Sistema de Informações sobre Mortalidade (SIM). Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/mortalidade-desde-1996-pela-cid-10.

2. Nascimentos (Fonte: SINASC - DATASUS)

O Sistema de Informações sobre Nascidos Vivos (SINASC) é o equivalente do SIM para nascimentos - a base oficial de natalidade do Brasil desde 1996 (com dados pré-1996 também disponíveis).

Escopo e Processamento: Baixado via FTP público do DATASUS, com uma descoberta relevante durante a construção: a pasta SINASC/NOV/DNRES (aparentemente o caminho “principal”) está desatualizada em relação à pasta SINASC/1996_/Dados/DNRES, que é a de fato mantida corrente - o pipeline usa a segunda. Os arquivos consolidados nacionais por ano (`DNBR{AAAA}.dbc`) são deliberadamente excluídos do processamento por duplicarem integralmente os nascimentos já presentes nos arquivos por UF (confirmado empiricamente, contagem exata).

Bases disponibilizadas:

• declaracoes_de_nascido_vivo.parquet - Nascidos vivos por UF, 1994-atual.
• declaracoes_de_nascido_vivo_exterior.parquet - Brasileiros nascidos no exterior, registrados no sistema.

BRASIL. Ministério da Saúde. DATASUS. Sistema de Informações sobre Nascidos Vivos (SINASC). Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/nascidos-vivos-desde-1994/.

3. Rede Assistencial Completa (Fonte: CNES - DATASUS)

O Cadastro Nacional de Estabelecimentos de Saúde (CNES) é o registro oficial de todos os estabelecimentos de saúde do Brasil. Aqui, cada arquivo do CNES é publicado por completo, sem filtro de especialidade, mantendo a granularidade original de cada sistema.

Escopo e Processamento: O cadastro de Estabelecimentos vem via HTTP/ZIP dos Dados Abertos do Ministério da Saúde. Habilitações, Leitos, Profissionais, Equipamentos, Serviços Especializados e Equipes vêm via FTP, organizados por UF e competência - como o CNES é um retrato (não uma série histórica que acumula), cada nova competência substitui por completo a anterior, ao contrário do padrão de mesclagem incremental usado no SIM/SINASC.

Bases disponibilizadas:

• estabelecimentos_de_saude.parquet - Cadastro geral: identificação, endereço, CNPJ, infraestrutura.
• habilitacoes.parquet - Todas as habilitações de todos os estabelecimentos, todas as especialidades.
• leitos.parquet - Contagem de leitos por estabelecimento e tipo.
• profissionais.parquet - Profissionais de saúde cadastrados (CBO, carga horária, forma de contratação).
• equipamentos.parquet - Equipamentos cadastrados por estabelecimento (raio-X, ressonância, tomógrafo etc).
• servicos_especializados.parquet - Serviços especializados oferecidos por estabelecimento (oncologia, nefrologia, reabilitação etc.), com indicação de atendimento SUS/não-SUS.
• equipes.parquet - Equipes de saúde por estabelecimento (Saúde da Família, Atenção Primária, Saúde Bucal, eMulti etc.).

BRASIL. Ministério da Saúde. DATASUS. Cadastro Nacional de Estabelecimentos de Saúde (CNES). Brasília, DF: Ministério da Saúde. Disponível em: https://cnes.datasus.gov.br/.

4. Internações Hospitalares (Fonte: SIH/SUS - DATASUS)

O Sistema de Informações Hospitalares (SIH/SUS) registra todas as internações realizadas pelo SUS, com diagnósticos, procedimentos, valores e tempo de permanência.

Escopo e Processamento: Cobre a série moderna (2008-atual) - a série anterior (1992-2007) foi deixada de fora por decisão de escopo, dado o volume já considerável só na série recente (~6.000 arquivos por subsistema, um por UF/mês). São publicados os 3 subsistemas que compõem o SIH: internações aprovadas, rejeitadas, e os atos médicos associados.

Bases disponibilizadas:

• aih_reduzida.parquet - Internações aprovadas para pagamento pelo SUS (RD).
• aih_rejeitada.parquet - Internações rejeitadas para pagamento (RJ).
• servicos_profissionais.parquet - Atos médicos realizados durante as internações (SP).

BRASIL. Ministério da Saúde. DATASUS. Sistema de Informações Hospitalares do SUS (SIH/SUS). Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/acesso-a-informacao/producao-hospitalar-sih-sus/.

5. Produção e Atendimento Ambulatorial (Fonte: SIA/SUS - DATASUS)

O Sistema de Informações Ambulatoriais (SIA/SUS) registra toda a produção ambulatorial do SUS: procedimentos, quantidades, valores e habilitações, complementando o SIH, que cobre as internações. Aqui o SIA é publicado por completo, em todos os seus subsistemas.

Escopo e Processamento: As APACs (Autorização de Procedimentos de Alta Complexidade) e os RAAS (Registro das Ações Ambulatoriais de Saúde) cobrem a série moderna, iniciando entre 2008 e 2014 conforme o subsistema. São baixados via FTP público do DATASUS, convertidos para Parquet e mesclados incrementalmente. Estão disponíveis: APAC de Medicamentos, Quimioterapia, Radioterapia, Nefrologia, Tratamento Dialítico, Laudos Diversos, Confecção de Fístula, Cirurgia Bariátrica (pré e pós), além dos RAAS Psicossocial (CAPS) e de Atenção Domiciliar (SAD).

A Produção Ambulatorial (PA), maior subsistema do SIA, com série contínua desde Jul/1994 e mais de 5 bilhões de registros, recebe tratamento à parte. Por seu volume, é particionada por competência mensal e publicada em um dataset dedicado no Kaggle (https://www.kaggle.com/datasets/rafatrindade/sia-producao-ambulatorial).

BRASIL. Ministério da Saúde. DATASUS. Sistema de Informações Ambulatoriais do SUS (SIA/SUS). Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/acesso-a-informacao/producao-ambulatorial-sia-sus.

6. Comunicação Hospitalar e Ambulatorial (Fonte: CIHA - DATASUS)

A Comunicação de Internação Hospitalar e Ambulatorial (CIHA) registra o atendimento de estabelecimentos não vinculados à gestão SUS, como particulares e convênios, ampliando a cobertura para além da produção paga pelo SUS. Está ativa desde Jan/2011.

Escopo e Processamento: Baixada via FTP público do DATASUS, organizada por UF e competência, convertida para Parquet e mesclada incrementalmente. Execuções futuras só reprocessam o que for novo.

BRASIL. Ministério da Saúde. DATASUS. Comunicação de Internação Hospitalar e Ambulatorial (CIHA). Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/acesso-a-informacao/comunicacao-de-internacao-hospitalar-e-ambulatorial-ciha.

7. Doenças de Notificação Compulsória (Fonte: SINAN - DATASUS)

O Sistema de Informação de Agravos de Notificação (SINAN) registra todas as doenças e agravos de notificação obrigatória no Brasil - de arboviroses a doenças ocupacionais, de violência interpessoal a doenças quase erradicadas mantidas sob vigilância ativa.

Escopo e Processamento: Diferente do SIM/SIH, o SINAN não é dividido por UF - cada agravo tem um único arquivo por ano, nível Brasil. São cobertos 58 agravos, cada um publicado como um Parquet independente (agravos diferentes têm estruturas de campos completamente diferentes entre si, então misturar tudo numa tabela só não faria sentido). A lista completa de agravos e seus respectivos códigos está documentada em scripts/config/agravos_sinan.py no repositório de código. Entre os destaques: as três arboviroses (dengue, chikungunya, zika), tuberculose, hanseníase, sífilis (adquirida/congênita/gestante), HIV e AIDS (notificados como 6 sistemas separados - adulto/criança/gestante para cada), e violência interpessoal/autoprovocada, publicada aqui sem nenhum filtro (todos os desfechos, todos os gêneros).

Bases disponibilizadas: 58 arquivos Parquet, um por agravo, nomeados de forma legível (ex: dengue.parquet, tuberculose.parquet, violencia_interpessoal_autoprovocada.parquet, hiv_gestante.parquet) - não pelas siglas técnicas do DATASUS.

BRASIL. Ministério da Saúde. DATASUS. Sistema de Informação de Agravos de Notificação (SINAN). Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/sinan/.

8. Síndrome Respiratória Aguda Grave (Fonte: SIVEP-Gripe - Ministério da Saúde)

O SIVEP-Gripe é o sistema de vigilância da Síndrome Respiratória Aguda Grave (SRAG): registra casos hospitalizados e óbitos, com resultado laboratorial (influenza, SARS-CoV-2, VSR e outros vírus respiratórios), sintomas, comorbidades, vacinação, internação em UTI e evolução. Não faz parte do SINAN, então preenche uma lacuna real do hub.

Escopo e Processamento: Obtido via HTTP do Portal de Dados Abertos do Ministério da Saúde, um arquivo por ano. O Ministério separa os anos em três conjuntos que acompanham três versões da ficha de notificação, por isso o hub publica um Parquet por era. A partir de 2019 a base é um “banco vivo”: anos recentes são republicados periodicamente com a data no nome do arquivo. O pipeline descobre os arquivos sozinho a cada execução e só reprocessa os anos que mudaram, substituindo apenas as linhas daquele ano.

Bases disponibilizadas:

• srag_2009_2012.parquet - SRAG 2009-2012 (pandemia de H1N1 e anos seguintes).
• srag_2013_2018.parquet - SRAG 2013-2018.
• srag_2019_atual.parquet - SRAG 2019-atual, incluindo todo o período da COVID-19.

BRASIL. Ministério da Saúde. SRAG - Banco de Dados de Síndrome Respiratória Aguda Grave (SIVEP-Gripe). Brasília, DF: Ministério da Saúde. Disponível em: https://dadosabertos.saude.gov.br/dataset/srag-2019-a-2026.

9. Saúde Suplementar (Fonte: ANS)

A Agência Nacional de Saúde Suplementar (ANS) regula os planos de saúde, que cobrem cerca de um quarto da população brasileira. Até aqui o hub cobria quase só o lado SUS; a ANS completa o retrato: quantos beneficiários de plano existem em cada município (e, cruzando com a população do IBGE, a taxa de cobertura), quais operadoras atuam e quantos atendimentos no SUS foram feitos a quem tem plano (ressarcimento ao SUS, cruzável com o SIH).

Escopo e Processamento: Baixado via HTTP da base TabNet da ANS. Os arquivos são .dbc no mesmo formato do DATASUS e passam pela mesma conversão para Parquet. Séries que acumulam são mescladas incrementalmente, inclusive revisões de períodos já publicados; tabelas que a ANS mantém só como retrato (taxa de cobertura, operadoras ativas, planos) são substituídas por completo a cada versão, como no CNES.

Bases disponibilizadas:

• beneficiarios_por_municipio.parquet - Beneficiários por município, operadora, faixa etária, sexo e tipo de plano. Trimestral, 2000-atual.
• beneficiarios_por_uf_regiao_metropolitana_capital.parquet / beneficiarios_por_operadora.parquet - Outros recortes de beneficiários.
• taxa_de_cobertura.parquet - Taxa de cobertura de planos de saúde.
• ressarcimento_ao_sus.parquet - Atendimentos no SUS a beneficiários de planos, 2001-atual.
• operadoras_ativas.parquet / receitas_e_despesas_operadoras.parquet - Cadastro e dados financeiros das operadoras.
• planos.parquet - Planos de saúde registrados.
• demandas_reclamacoes.parquet / demandas_nip.parquet / demandas_informacoes.parquet - Demandas de consumidores, 2010-atual.
• mortalidade_por_operadora.parquet - Série histórica 2004-2009.

AGÊNCIA NACIONAL DE SAÚDE SUPLEMENTAR (ANS). Dados e Indicadores do Setor. Rio de Janeiro: ANS. Disponível em: https://www.gov.br/ans/pt-br/acesso-a-informacao/perfil-do-setor/dados-e-indicadores-do-setor.

10. Demografia e Economia Municipal (Fonte: IBGE, via API SIDRA)

O IBGE, via sua API pública SIDRA, disponibiliza séries anuais de população estimada e produto interno bruto por município.

Escopo e Processamento: Ambas as séries são obtidas ano a ano via API (não por download de arquivo), com descoberta dinâmica dos períodos realmente disponíveis em cada tabela - o IBGE costuma trocar o número da tabela quando muda a metodologia de cálculo (confirmado empiricamente ao longo da construção: uma tentativa inicial usou uma tabela que só cobria nível Brasil, não municipal).

Bases disponibilizadas:

• populacao_estimada.parquet - População estimada por município, 2001-atual (com lacunas nos anos de Censo/Contagem, quando a estimativa regular é substituída).
• pib_municipal.parquet - Produto Interno Bruto por município, 2002-atual.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Sistema IBGE de Recuperação Automática (SIDRA). Rio de Janeiro: IBGE. Disponível em: https://sidra.ibge.gov.br/.

11. Microdados Completos da PNS (Fonte: IBGE)

A Pesquisa Nacional de Saúde (PNS) é um inquérito domiciliar do IBGE com mais de 1.000 variáveis por edição, cobrindo desde diagnósticos autorreferidos até hábitos de vida e acesso a serviços de saúde.

Escopo e Processamento: Aqui os microdados de posição fixa são publicados exatamente como o IBGE distribui - sem decodificar nenhuma variável, sem recorte temático. Mapear as mais de 1.000 posições de cada edição não agregaria valor suficiente para este hub geral; quem for usar precisa do dicionário oficial de posições do IBGE para decodificar campo a campo.

Bases disponibilizadas:

• microdados_pns_2013.txt / microdados_pns_2019.txt - Microdados brutos de posição fixa, tal como distribuídos pelo IBGE.

Observação: por serem arquivos volumosos e sujeitos aos termos de uso de download do IBGE, os microdados brutos são obtidos manualmente, não via automação.

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Pesquisa Nacional de Saúde (PNS). Rio de Janeiro: IBGE. Disponível em: https://www.ibge.gov.br/estatisticas/sociais/saude/9160-pesquisa-nacional-de-saude.html.

12. Base Auxiliar (Macrorregião de Saúde)

Para permitir cruzamentos geográficos entre as demais bases, o projeto conta com uma base auxiliar de referência, construída a partir de dados abertos do Ministério da Saúde.

Escopo e Processamento: O arquivo de municípios (Dados Abertos da Saúde) é combinado, via join no código do município (com correção de zero à esquerda), com um arquivo complementar de geolocalização.

Base disponibilizada:

• macroregiao_de_saude.parquet - Municípios brasileiros associados às suas macrorregiões de saúde, regiões de saúde e coordenadas geográficas.

Cobertura Histórica

• SIM (mortalidade): 1979-atual, todos os 6 subsistemas.
• SINASC (nascimentos): 1994-atual.
• CNES (rede assistencial): retrato da competência mais recente disponível (não histórico).
• SIH/SUS (internações): 2008-atual (série moderna).
• SIA/SUS (ambulatorial): APACs e RAAS a partir de 2008 a 2014; Produção Ambulatorial (PA) desde Jul/1994, em dataset dedicado.
• CIHA (comunicação hospitalar e ambulatorial): 2011-atual.
• SINAN (agravos): varia por agravo, geralmente a partir dos anos 2000; consultar agravos_sinan.py para o início exato de cada um.
• SRAG (SIVEP-Gripe): 2009-atual, em três eras (2009-2012, 2013-2018, 2019-atual).
• ANS (saúde suplementar): beneficiários desde 2000 (trimestral), ressarcimento ao SUS desde 2001, demandas de consumidores desde 2010; taxa de cobertura, operadoras ativas e planos como retrato mais recente.
• IBGE (população/PIB): população desde 2001, PIB desde 2002.
• PNS/IBGE: edições pontuais de 2013 e 2019.

Atualização e Confiabilidade

• SIM, SINASC, CNES, SIH, SIA, CIHA, SINAN: sincronização totalmente automatizada via FTP, com detecção de novidade real (por tamanho de arquivo) antes de reprocessar ou publicar.
• IBGE (População/PIB): sincronização automatizada via API, ano a ano, com descoberta dinâmica de quais anos a tabela realmente cobre.
• PNS/IBGE: obtenção do microdado bruto é manual; a publicação (upload, sem transformação) é automatizada.
• Macrorregião de Saúde: sincronização automatizada via HTTP.
• SRAG: sincronização automatizada via HTTP, com descoberta dinâmica dos arquivos no portal (o “banco vivo” é republicado com nome datado) e reprocessamento apenas dos anos que mudaram.
• ANS: sincronização automatizada via HTTP, com detecção de novidade por tamanho de cada arquivo, inclusive revisões de períodos já publicados.

O pipeline só publica uma nova versão (bucket + Kaggle) quando pelo menos uma fonte automatizada reporta dado novo de verdade.

Licença e Créditos

Este projeto opera sob um modelo duplo de licenciamento:

1. Dataset Consolidado: Os dados no Kaggle são disponibilizados sob licença CC0 1.0 (Domínio Público), referente estritamente ao trabalho de curadoria e harmonização.
2. Código-fonte: A arquitetura e os scripts do pipeline (no GitHub) estão licenciados sob a GNU GPLv3. O uso corporativo da infraestrutura de código exige a manutenção do código aberto ou parceria comercial direta.

Os dados originais permanecem de titularidade e responsabilidade das instituições abaixo, que devem ser citadas ao utilizar cada fonte individualmente:

DATASUS (SIM, SINASC, CNES, SIH/SUS, SIA/SUS, CIHA, SINAN):

BRASIL. Ministério da Saúde. DATASUS. Brasília, DF: Ministério da Saúde. Disponível em: https://datasus.saude.gov.br/.

IBGE (População, PIB, PNS):

INSTITUTO BRASILEIRO DE GEOGRAFIA E ESTATÍSTICA (IBGE). Rio de Janeiro: IBGE. Disponível em: https://www.ibge.gov.br/.

Ministério da Saúde - Portal de Dados Abertos (SRAG/SIVEP-Gripe):

BRASIL. Ministério da Saúde. Portal de Dados Abertos da Saúde. Brasília, DF: Ministério da Saúde. Disponível em: https://dadosabertos.saude.gov.br/.

ANS (Saúde Suplementar):

AGÊNCIA NACIONAL DE SAÚDE SUPLEMENTAR (ANS). Rio de Janeiro: ANS. Disponível em: https://www.gov.br/ans/.

💡 Se você trabalha com dados públicos, saúde ou demografia no Brasil, dá uma olhada, deixa um comentário e compartilha com quem usa esses dados no dia a dia.

📩 E se a sua empresa precisa de ajuda para estruturar Data Lakes na área da saúde, integrar essas fontes na nuvem ou criar pipelines customizados, me chame no inbox para conversarmos!

Raphael Trindade é cofundador, CTO e Head de Estratégia da Vecthos e mantém o DataHub Brasil. Siga no LinkedIn ↗