Paper Information | SBC BOOKS

Fill in your paper information

Language (*)

Title (*)

Keywords (*)

Abstract (*)

Este trabalho apresenta o PAIRS (Persona-Aware Intents for Real-world SQL), um pipeline para geração automática e curadoria de pares Linguagem Natural-SQL com suporte Human-in-the-Loop, disponibilizado por meio de uma interface Web. A abordagem integra geração e validação automática de consultas SQL, síntese de perguntas condicionadas a diferentes personas, técnicas de paráfrase para ampliação da diversidade linguística e curadoria humana em um fluxo unificado. Ao simular diferentes perfis de usuários e níveis de letramento em dados, o pipeline busca produzir benchmarks Text-to-SQL semanticamente consistentes e mais próximos de cenários reais de uso. Como estudo de caso, a abordagem foi avaliada no domínio da saúde pública utilizando bases do DataSUS. Os resultados demonstram o potencial do PAIRS para apoiar a construção interativa de benchmarks especializados e aprimorar a avaliação de sistemas Text-to-SQL. A implementação do PAIRS possui código aberto disponível em repositório público, juntamente com um vídeo demonstrativo da abordagem.

Pages (*)

File Link

English Information

Title

Keywords

Abstract

This work presents the PAIRS (Persona-Aware Intents for Real-world SQL), a pipeline for the automatic generation and curation of Natural Language-SQL pairs with Human-in-the-Loop support, accessible through a Web interface. The approach integrates automatic generation and validation of SQL queries, synthesis of questions conditioned on different personas, paraphrasing techniques to increase linguistic diversity, and human curation in a unified workflow. By simulating different user profiles and data literacy levels, the pipeline aims to produce semantically consistent Text-to-SQL benchmarks that better reflect real-world usage scenarios. As a case study, the approach was evaluated in the public health domain using DataSUS databases. The results demonstrate the pipeline's potential to support the interactive construction of specialized benchmarks and improve the evaluation of Text-to-SQL systems. The PAIRS implementation is open-source and available in a public repository, along with a demonstration video of the approach.

(*) To change the order drag the item to the new position.

Authors

#	Name
1	Eduardo Camara(eduardo.camara@icomp.ufam.edu.br)
2	Jaide Zardin(jaide.zardin@icomp.ufam.edu.br)
3	Yago Lobato(yagobrlobato@icomp.ufam.edu.br)
4	Guilherme Fonseca(guilhermefonseca@dcc.ufmg.br)
5	Matheus Botelho(matheusbotelho@dcc.ufmg.br)
6	Emerson A. Simoes(emerson.simoes@dcc.ufmg.br)
7	Lucas R. Silva(lucasrsilvak@ufmg.br)
8	Pedro Calais(pedrolgcalais@ufmg.br)
9	Rodrigo Gonçalves(rodrigopfmg@ufmg.br)
10	Gustavo Ribeiro(gustavo9661@ufmg.br)
11	Allan Sene(allan@dadosfera.ai)
12	Julio C. S. Reis(jreis@ufv.br)
13	Marcos André Gonçalves(mgoncalv@dcc.ufmg.br)
14	Altigran da Silva(alti@icomp.ufam.edu.br)

(*) To change the order drag the item to the new position.

Reference

#	Reference
1	Coelho, G. M. C., Nascimento, E. R. S., Izquierdo, Y. T., García, G. M., Feijó, L., Lemos, M., Garcia, R. L. S., de Oliveira, A. R., Pinheiro, J. P., and Casanova, M. A. (2024). Improving the accuracy of text-to-sql tools based on large language models for real-world relational databases. In Database and Expert Systems Applications, pages 93–107.
2	Dragusin, C., Mirylenka, K., Czasch, C. M., Glass, M., Defosse, N., Scotton, P., and Gschwind, T. (2025). Grounding llms for database exploration: Intent scoping and paraphrasing for robust nl2sql. Proceedings of the VLDB Endowment, page 8097.
3	Fonseca, G., Reis, J. C. S., Botelho, M., Calais, P., Simoes, E. A., Silva, L. R., Camara, E., Zardin, J., Gonçalves, R., Ribeiro, G., Lobato, Y., Sene, A., da Silva, A., and Gonçalves, M. A. (2026). Avaliação sistemática de text-to-sql em português: Um benchmark unificado multi-domínio. In Anais do Simpósio Brasileiro de Banco de Dados (SBBD).
4	Katsogiannis-Meimarakis, G. and Koutrika, G. (2023). A survey on deep learning approaches for text-to-sql. The VLDB Journal, 32(4):905–936.
5	Khalifat, N. (2025). Synthsql: A framework for generating synthetic text-to-sql datasets with controlled complexity. Technical report, University of Alberta.
6	Li, H., Zhang, J., Liu, H., Fan, J., Zhang, X., Zhu, J., Wei, R., Pan, H., Li, C., and Chen, H. (2024a). Codes: Towards building open-source language models for text-to-sql. Proc. ACM Manag. Data, 2(3).
7	Li, J., Hui, B., Qu, G., Yang, J., Li, B., et al. (2024b). Can llm already serve as a database interface? a big bench for large-scale database grounded text-to-sqls. NeuriPS, 36.
8	Wenz, F., Bouattour, O., Yang, D., Choi, J., Gregg, C., Tatbul, N., and Demiralp, Ç. (2026). Benchpress: A human-in-the-loop annotation system for rapid text-to-sql benchmark curation. In CIDR.
9	Yamate, B. Y., Neubauer, T. R., Fantinato, M., and Peres, S. M. (2025). Text-to-sql oriented to the process mining domain: A pt-en dataset for query translation. arXiv preprint arXiv:2509.09684.
10	Yu, T., Zhang, R., Yang, K., Yasunaga, M., Wang, D., Li, Z., Ma, J., Li, I., Yao, Q., Roman, S., Zhang, Z., and Radev, D. (2018). Spider: A large-scale human-labeled dataset for complex and cross-domain semantic parsing and text-to-SQL task. In EMNLP, pages 3911–3921.

Paper Registration

Fill in your paper information

English Information

Authors

Reference