ΛΌГOΣ.ONLINE (2020)
Технічні науки та інформаційні технології

МЕТОД ВЕКТОРНОГО ПОДАННЯ ПРИРОДОМОВНИХ ТЕКСТІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВОЇ АРХІТЕКТУРИ TRANSFORMER

Вікторія Брикалова
Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»
Про автора
Андрій Петрашенко
Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»
Про автора
Дата публікації травень 13, 2020
Ключові слова
  • Transformer; NLP; NLU; Self-attention; BERT.
Як цитувати
Брикалова, В., & Петрашенко, А. (2020). МЕТОД ВЕКТОРНОГО ПОДАННЯ ПРИРОДОМОВНИХ ТЕКСТІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВОЇ АРХІТЕКТУРИ TRANSFORMER. ΛΌГOΣ. ОНЛАЙН. вилучено із https://ojs.ukrlogos.in.ua/index.php/2663-4139/article/view/2632

Анотація

EOI 10.11232/2663-4139.09.08

Дана стаття розглядає задачу векторного представлення природомовних текстів. В процесі дослідження розглянуто існуючі алгоритми векторизації тексту, принцип роботи та структуру нейромережевої архітектури Transformer. Запропонована нова більш ефективна модель для створення векторного представлення тексту, описані та проаналізовані результати тренування запропонованої архітектури.

 
Переглядів: 23

Завантаження

Дані завантаження ще не доступні.

Посилання

  1. Yin Zhang, Rong Jin, Zhi-Hua Zhou. 2010. Understanding bag-of-words model: A statistical framework. Retrieved from: https://www.researchgate.net/publication/226525014_Understanding_bag-of-words_model_A_statistical_framework.
  2. Shahzad Qaiser, Ramsha Ali. Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents. Retrieved from: https://www.researchgate.net/publication/326425709_Text_Mining_Use_of_TF-IDF_to_Examine_the_Relevance_of_Words_to_Documents.
  3. Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. 2013. Efficient Estimation of Word Representations in Vector Space. Retrieved from: https://arxiv.org/pdf/1301.3781.pdf.
  4. Tomas Mikolov, Quoc Le. 2014. Distributed Representations of Sentences and Documents. Retrieved from: https://arxiv.org/pdf/1405.4053.pdf.
  5. P. Bojanowski, G. Edouard. 2017. Enriching Word Vectors with Subword Information. Retrieved from: https://arxiv.org/pdf/1607.04606.pdf.
  6. Ashish Vaswan, Noam Shazeer, Niki Parmar. 2017. Attention Is All You Need. Retrieved from: https://arxiv.org/pdf/1706.03762.pdf.
  7. J. Devlin, M. Chang. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Retrieved from: https://arxiv.org/pdf/1810.04805.pdf.