Paper Information | SBC BOOKS

Fill in your paper information

Language (*)

Title (*)

Keywords (*)

Abstract (*)

Esta tese de doutorado tem como foco a proposta, concepção e avaliação de uma nova representação textual de documentos que combina o “melhor de dois mundos”: a informação frequentista, eficiente e eficaz (representações TFIDF), com informações semânticas derivadas de representações de word embeddings. Especificamente, nossa proposta — denominada CluWords — agrupa palavras relacionadas sintática e semanticamente em clusters e aplica esquemas de filtragem e ponderação específicos para o domínio e orientados à aplicação, visando construir representações documentais poderosas e ajustadas às necessidades específicas de cada tarefa. O conceito inovador de CluWords foi aplicado em quatro aplicações de Processamento de Linguagem Natural (PLN): modelagem de tópicos, modelagem hierárquica de tópicos, construção de léxicos de sentimentos e análise de sentimentos. As contribuições principais desta dissertação incluem: (i) a introdução de uma nova representação de dados; (ii) o desenvolvimento de componentes do CluWords capazes de aprimorar a eficácia em aplicações de Modelagem de Tópicos, Modelagem Hierárquica de Tópicos e Análise de Sentimentos; (iii) a proposta de duas novas métricas para avaliar a qualidade tópica das estruturas hierárquicas. Nossos extensos experimentos demonstram que CluWords alcança o estado da arte atual em modelagem de tópicos e modelagem hierárquica de tópicos. No contexto da análise de sentimentos, os resultados mostram que a filtragem e ponderação proporcionadas pelo CluWords podem mitigar o ruído semântico, superando até mesmo arquiteturas poderosas baseadas em Transformadores. Os resultados foram publicados em algumas das principais conferências e revistas científicas da área, conforme detalhado neste documento. Este trabalho foi apoiado por dois Google Research Awards.

Pages (*)

File Link

English Information

Title

Keywords

Abstract

This Ph.D. dissertation focused on proposing, designing and evaluating a novel textual document representation that exploits the “best of two worlds”: efficient and effective frequentist information (TFIDF representations) with semantic information derived from word embedding representations. In more detail, our proposal – called CluWords – groups syntactically and semantically related words into clusters and applies domain-specific and application oriented filtering and weighting schemes over them to build powerful document representations especially tuned for the task at hand. We apply our novel Cluwords concept to four Natural Language Processing (NLP) applications: topic modeling, hierarchical topic modeling, sentiment lexicon building, and sentiment analysis. Some of the novel contributions of this dissertation include: (i) the introduction of a new data representation; (ii) the design of CluWords’ components capable of improving the effectiveness of Topic Modeling, Hierarchical Topic Modeling and Sentiment Analysis applications; (iii) the proposal of two new topic quality metrics to assess the topical quality of the hierarchical structures. Our extensive experimentation demonstrates that CluWords produces the current state-of-the-art topic modeling and hierarchical topic modeling. For sentiment analysis, our experiments show that CluWords filtering and weighting can mitigate semantic noise, surpassing powerful Transformer architectures in the task. Our results were published in some of the most important conferences in journals of the field, as detailed in this document. Our work was supported by two Google Research Awards.

(*) To change the order drag the item to the new position.

Authors

#	Name
1	Felipe Viegas(frviegas@dcc.ufmg.br)
2	Leonardo Rocha(lcrocha@ufsj.edu.br)
3	Marcos Gonçalves(mgoncalv@dcc.ufmg.br)

(*) To change the order drag the item to the new position.

Reference

#	Reference
1	Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
2	Griffiths, T. L., Jordan, M. I., Tenenbaum, J. B., and Blei, D. M. (2004). Hierarchical topic models and the nested chinese restaurant process. In Advances in neural information processing systems, pages 17–24.
3	Grootendorst, M. (2022). Bertopic: Neural topic modeling with a class-based tf-idf procedure. arXiv preprint arXiv:2203.05794.
4	Hamilton, W. L., Clark, K., Leskovec, J., and Jurafsky, D. (2016). Inducing domainspecific sentiment lexicons from unlabeled corpora. CoRR, abs/1606.02820.
5	Hutto, C. J. and Gilbert, E. (2014). Vader: A parsimonious rule-based model for sentiment analysis of social media text. In Eighth international AAAI conference on weblogs and social media.
6	Li, C., Duan, Y., Wang, H., Zhang, Z., Sun, A., and Ma, Z. (2017). Enhancing topic modeling for short texts with auxiliary word embeddings. ACM TOIS.
7	Sachan, D. S., Zaheer, M., and Salakhutdinov, R. (2019). Revisiting lstm networks for semi-supervised text classification via mixed objective function. Proceedings of the AAAI Conference on Artificial Intelligence, 33(01):6940–6948.
8	Shi, T., Kang, K., Choo, J., and Reddy, C. K. (2018). Short-text topic modeling via nonnegative matrix factorization enriched with local word-context correlations. In WWW ’18, pages 1105–1114.
9	Yang, J., Jin, H., Tang, R., Han, X., Feng, Q., Jiang, H., Zhong, S., Yin, B., and Hu, X. (2024). Harnessing the power of llms in practice: A survey on chatgpt and beyond. ACM Trans. Knowl. Discov. Data, 18(6).

Paper Registration

Fill in your paper information

English Information

Authors

Reference