Информационно - коммуникационные и химические технологии

№ 4 (21) - 2023 / 2023-12-22 / Кол. просмотров: 61

АНАЛИЗ НАУЧНЫХ ТЕКСТОВ НА ОСНОВЕ ЯЗЫКОВЫХ МОДЕЛЕЙ АЛГОРИТМАМИ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ

Авторы

Esil University
Евразийский национальный университет им. Л. Н. Гумилева

Ключевые слова

язык программирования Scala, научный текст, большие данные, неструктурированные данные, обработка данных, Apache Spark, распределенные вычисления, математический аппарат

DOI ссылка:

https://doi.org/10.58805/kazutb.v.4.21-220

Как цитировать

Шуйтенов, Г., У. . Турусбекова, и М. Муратбеков. «АНАЛИЗ НАУЧНЫХ ТЕКСТОВ НА ОСНОВЕ ЯЗЫКОВЫХ МОДЕЛЕЙ АЛГОРИТМАМИ РАСПРЕДЕЛЕННОЙ ОБРАБОТКИ». КазУТБ, т. 4, вып. 21, декабрь 2023 г., doi:10.58805/kazutb.v.4.21-220.

Аннотация

Статья анализирует проблемы, связанные с обработкой больших объемов текстовых данных, таких как научные статьи, и обсуждает возможности применения распределенных систем обработки данных для повышения эффективности анализа. В частности, авторы статьи изучают использование языковых моделей, таких как -граммы и рекуррентные нейронные сети, для извлечения смысла и классификации научных текстов. Статья представляет алгоритмические подходы и методы, основанные на распределенной обработке, и описывает возможности использование языковых моделей и алгоритмов распределенной обработки. В целом, предлагается новый подход к анализу научных текстов, основанный на использовании языковых моделей и фреймворков распределенной обработки данных.