ΛΌГOΣ.ONLINE (2020)
Технічні науки та інформаційні технології

Дата публікації
травень 13, 2020
Ключові слова
- Transformer; NLP; NLU; Self-attention; BERT.
Як цитувати
Брикалова, В., & Петрашенко, А. (2020). МЕТОД ВЕКТОРНОГО ПОДАННЯ ПРИРОДОМОВНИХ ТЕКСТІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВОЇ АРХІТЕКТУРИ TRANSFORMER. ΛΌГOΣ. ОНЛАЙН. вилучено із https://ojs.ukrlogos.in.ua/index.php/2663-4139/article/view/2632
Авторське право (c) 2020 Вікторія Брикалова; Андрій Петрашенко (Науковий керівник)

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.
Анотація
Дана стаття розглядає задачу векторного представлення природомовних текстів. В процесі дослідження розглянуто існуючі алгоритми векторизації тексту, принцип роботи та структуру нейромережевої архітектури Transformer. Запропонована нова більш ефективна модель для створення векторного представлення тексту, описані та проаналізовані результати тренування запропонованої архітектури.
Завантаження
Дані завантаження ще не доступні.
Посилання
- Yin Zhang, Rong Jin, Zhi-Hua Zhou. 2010. Understanding bag-of-words model: A statistical framework. Retrieved from: https://www.researchgate.net/publication/226525014_Understanding_bag-of-words_model_A_statistical_framework.
- Shahzad Qaiser, Ramsha Ali. Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents. Retrieved from: https://www.researchgate.net/publication/326425709_Text_Mining_Use_of_TF-IDF_to_Examine_the_Relevance_of_Words_to_Documents.
- Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. 2013. Efficient Estimation of Word Representations in Vector Space. Retrieved from: https://arxiv.org/pdf/1301.3781.pdf.
- Tomas Mikolov, Quoc Le. 2014. Distributed Representations of Sentences and Documents. Retrieved from: https://arxiv.org/pdf/1405.4053.pdf.
- P. Bojanowski, G. Edouard. 2017. Enriching Word Vectors with Subword Information. Retrieved from: https://arxiv.org/pdf/1607.04606.pdf.
- Ashish Vaswan, Noam Shazeer, Niki Parmar. 2017. Attention Is All You Need. Retrieved from: https://arxiv.org/pdf/1706.03762.pdf.
- J. Devlin, M. Chang. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Retrieved from: https://arxiv.org/pdf/1810.04805.pdf.