2025
Tuning of Language Models in Eastern European Languages on Twitter/X
FILIP, Tomáš; Martin PAVLÍČEK a Petr SOSÍKZákladní údaje
Originální název
Tuning of Language Models in Eastern European Languages on Twitter/X
Autoři
FILIP, Tomáš; Martin PAVLÍČEK a Petr SOSÍK
Vydání
4092. vyd. Neuveden, Proceedings of the 25th Conference Information Technologies – Applications and Theory (ITAT 2025), od s. 242-252, 11 s. 2025
Nakladatel
CEUR-WS
Další údaje
Jazyk
angličtina
Typ výsledku
Stať ve sborníku
Obor
10201 Computer sciences, information science, bioinformatics
Stát vydavatele
Slovensko
Utajení
není předmětem státního či obchodního tajemství
Forma vydání
elektronická verze "online"
Označené pro přenos do RIV
Ano
Kód RIV
RIV/47813059:19240/25:A0001541
Organizační jednotka
Filozoficko-přírodovědecká fakulta v Opavě
ISSN
Klíčová slova anglicky
Large language model; Sentiment analysis; Twitter; Eastern-european language; Russa-Ukraine conflict; Llama; Mistral; BERTweet; BERT; XLM-T; GPT-4
Příznaky
Mezinárodní význam, Recenzováno
Změněno: 18. 12. 2025 10:00, Mgr. Kamil Matula, Ph.D.
Anotace
V originále
We address the problem of fine-tuning large language models (LLMs) for sentiment analysis on Twitter/X in underrepresented Eastern European languages (Czech, Slovak, Polish, and Hungarian). We study the influence of a number of experimental settings on the efficiency of fine-tuning in two groups of LLMs: transfer-learning models (BERT, BERTweet or XLM-T, the latter two pre-trained on a Twitter corpus) and popular mid-sized universal models (Llama, Mistral). We show that adapter fine-tuning with as few as ≈ 600 tweets improved scores of our universal models to the level previously reported by Twitter/X-specialised models on popular datasets, while our transfer-learning models performed worse. We also show that, despite previous successful experiments with multilingual models, translating from underrepresented languages into English still improves the results of all models tested. Several other factors that influence the success of fine-tuning are also included in the study.