Paper Information | SBC BOOKS

Fill in your paper information

Language (*)

Title (*)

Keywords (*)

Abstract (*)

A disponibilidade de dados públicos em saúde abre oportunidades relevantes para análise, monitoramento e apoio à tomada de decisão. Entretanto, a exploração dessas bases ainda é frequentemente limitada por desafios como grande volume, heterogeneidade, dificuldade de tratamento e baixa acessibilidade para usuários não especializados. Neste contexto, surge o PyPAH, uma solução desenvolvida em Python para automatização da extração, transformação, armazenamento e visualização de dados da Produção Ambulatorial do Sistema de Informações Ambulatoriais do SUS (SIA/DATASUS), com recorte para o estado do Ceará.

A proposta adota uma arquitetura em camadas inspirada no padrão medallion, organizada em Bronze, Silver e Gold, combinando processamento incremental, armazenamento em formato Parquet, consolidação dos dados com DuckDB, persistência em nuvem por meio do Cloudflare R2, disponibilização via API REST com FastAPI e exploração interativa por meio de um dashboard em Streamlit. O sistema foi projetado para processar mensalmente novos arquivos publicados no FTP do DATASUS, reduzindo reprocessamentos desnecessários e mantendo uma base consolidada atualizada para consulta analítica. Além dos filtros e gráficos pré-definidos, o dashboard incorpora um agente conversacional baseado em LLM, construído com LangChain, que permite consultas em linguagem natural sobre os dados, ampliando o acesso analítico para além das visualizações fixas.

Como contribuição, é demonstrado uma arquitetura organizada e pronta para que outros desenvolvedores possam replicar a transformação de dados públicos de saúde em produto analítico acessível, com baixo custo operacional e boa separação entre ingestão, tratamento, agregação, visualização e consulta em linguagem natural.

Pages (*)

File Link

English Information

Title

Keywords

Abstract

The availability of public health data provides valuable opportunities for analysis, monitoring, and decision-making. However, effectively exploiting these datasets remains challenging due to their large volume, heterogeneity, complex preprocessing requirements, and limited accessibility for non-specialized users. To address these challenges, this paper presents PyPAH, a Python-based solution for automating the extraction, transformation, storage, and visualization of outpatient production data from the Brazilian Unified Health System's Outpatient Information System (SIA/DATASUS), focusing on the state of Ceará.

PyPAH adopts a layered architecture inspired by the Medallion architecture, organized into Bronze, Silver, and Gold layers. The solution combines incremental data processing, Parquet-based storage, data consolidation with DuckDB, cloud persistence through Cloudflare R2, data access via a FastAPI REST API, and interactive analytics through a Streamlit dashboard. The pipeline is designed to process newly released monthly files from the DATASUS FTP repository, minimizing unnecessary reprocessing while maintaining an up-to-date consolidated analytical dataset. In addition to predefined filters and visualizations, the dashboard integrates a conversational agent powered by a large language model (LLM) and implemented with LangChain, enabling natural language queries over the data and extending analytical capabilities beyond traditional dashboards.

The main contribution of this work is a modular and reproducible data engineering architecture that enables developers to transform public health data into an accessible analytical platform with low operational cost, while promoting a clear separation between data ingestion, transformation, aggregation, visualization, and natural language querying.

(*) To change the order drag the item to the new position.

Authors

#	Name
1	Guilherme Bessa(guilherme.montb@alu.ufc.br)
2	Abel Silva(abel.silva@ebserh.gov.br)
3	Abel Silva(abel.silva@ebserh.gov.br)

(*) To change the order drag the item to the new position.

Reference

#	Reference
1	DATASUS 2026a] DATASUS (2026a). Siasus. Acesso em: 06 mai. 2026.
2	[Apache Software Foundation 2026] Apache Software Foundation (2026). Parquet documentation. Acesso em: 06 mai. 2026.
3	[DATASUS 2026b] DATASUS (2026b). Transferência de arquivos. Acesso em: 06 mai. 2026.
4	[Cloudflare 2026] Cloudflare (2026). R2 documentation. Acesso em: 06 mai. 2026
5	[DuckDB 2026] DuckDB (2026). Duckdb documentation. Acesso em: 06 mai. 2026
6	DATASUS 2026a] DATASUS (2026a). Siasus. Acesso em: 06 mai. 2026.
7	[DATASUS 2026b] DATASUS (2026b). Transferência de arquivos. Acesso em: 06 mai. 2026.
8	[FastAPI 2026] FastAPI (2026). Fastapi documentation. Acesso em: 06 mai. 2026.
9	[DuckDB 2026] DuckDB (2026). Duckdb documentation. Acesso em: 06 mai. 2026
10	[FastAPI 2026] FastAPI (2026). Fastapi documentation. Acesso em: 06 mai. 2026.

Paper Registration

Fill in your paper information

English Information

Authors

Reference