ΛΌГOΣ. ОНЛАЙН
ΛΌГOΣ.ONLINE (2020)
Технічні науки та інформаційні технології

МЕТОД ВЕКТОРНОГО ПОДАННЯ ПРИРОДОМОВНИХ ТЕКСТІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВОЇ АРХІТЕКТУРИ TRANSFORMER

PDF HTML
  • Вікторія Брикалова,
  • Андрій Петрашенко
Вікторія Брикалова
Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»
Про автора
Андрій Петрашенко
Національний технічний університет України «Київський політехнічний інститут імені Ігоря Сікорського»
Про автора
Дата публікації травень 13, 2020
Ключові слова
  • Transformer; NLP; NLU; Self-attention; BERT.
Як цитувати
Брикалова, В., & Петрашенко, А. (2020). МЕТОД ВЕКТОРНОГО ПОДАННЯ ПРИРОДОМОВНИХ ТЕКСТІВ НА ОСНОВІ НЕЙРОМЕРЕЖЕВОЇ АРХІТЕКТУРИ TRANSFORMER. ΛΌГOΣ. ОНЛАЙН. вилучено із https://ojs.ukrlogos.in.ua/index.php/2663-4139/article/view/2632

Авторське право (c) 2020 Вікторія Брикалова; Андрій Петрашенко (Науковий керівник)

Creative Commons License

Ця робота ліцензується відповідно до Creative Commons Attribution 4.0 International License.

Анотація

EOI 10.11232/2663-4139.09.08

Дана стаття розглядає задачу векторного представлення природомовних текстів. В процесі дослідження розглянуто існуючі алгоритми векторизації тексту, принцип роботи та структуру нейромережевої архітектури Transformer. Запропонована нова більш ефективна модель для створення векторного представлення тексту, описані та проаналізовані результати тренування запропонованої архітектури.

 
Переглядів: 33
PDF HTML

Завантаження

Дані завантаження ще не доступні.

Посилання

  1. Yin Zhang, Rong Jin, Zhi-Hua Zhou. 2010. Understanding bag-of-words model: A statistical framework. Retrieved from: https://www.researchgate.net/publication/226525014_Understanding_bag-of-words_model_A_statistical_framework.
  2. Shahzad Qaiser, Ramsha Ali. Text Mining: Use of TF-IDF to Examine the Relevance of Words to Documents. Retrieved from: https://www.researchgate.net/publication/326425709_Text_Mining_Use_of_TF-IDF_to_Examine_the_Relevance_of_Words_to_Documents.
  3. Tomas Mikolov, Kai Chen, Greg Corrado, Jeffrey Dean. 2013. Efficient Estimation of Word Representations in Vector Space. Retrieved from: https://arxiv.org/pdf/1301.3781.pdf.
  4. Tomas Mikolov, Quoc Le. 2014. Distributed Representations of Sentences and Documents. Retrieved from: https://arxiv.org/pdf/1405.4053.pdf.
  5. P. Bojanowski, G. Edouard. 2017. Enriching Word Vectors with Subword Information. Retrieved from: https://arxiv.org/pdf/1607.04606.pdf.
  6. Ashish Vaswan, Noam Shazeer, Niki Parmar. 2017. Attention Is All You Need. Retrieved from: https://arxiv.org/pdf/1706.03762.pdf.
  7. J. Devlin, M. Chang. 2019. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. Retrieved from: https://arxiv.org/pdf/1810.04805.pdf.