基于Transformer的语言暴力检测系统的实践研究

陈 冠男
重庆理工大学

摘要


随着互联网技术的不断发展，人们便捷交流下不断产生了因言语摩擦带来的语言暴力。但传统检测方法存在语义、上下文分析等方面不足。本文聚焦于xlm-roberta模型对于语言暴力检测的实现，主要基于Transformer的语言暴力检测系统着力于数据集的预处理、xlm-roberta模型的构建与训练以及基于tkinter的用户交互界面的搭建。系统能实现语言暴力检测效果，具备很高的鲁棒性，能为网络语言检测研究提供一定的方向。

关键词


NLP；Transformer；bert；xlm-roberta；text classification

全文:

PDF


参考


[1]Kotsakis R, Vrysis L, Vryzas N, et al. A web framework for information aggregation and management of multilingual hate speech[J]. Heliyon, 2023, 9(5): e16084.

[2]Mozafari M, Farahbakhsh R, Crespi N. Cross-lingual few-shot hate speech and offensive language detection using meta learning[J]. IEEE Access, 2022, 10: 14880-14890.

[3]Devlin J, Chang M W, Lee K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[J]. arXiv preprint arXiv:1810.04805, 2018.

[4]Bouchene M M, Abainia K. Classical machine learning and transformer models for offensive and abusive language classification on Dziri language[C]//2023 International Conference on Decision Aid Sciences and Applications (DASA). Annaba, Algeria: IEEE, 2023: 116-120.


Refbacks

  • 当前没有refback。