Информационно - коммуникационные и химические технологии

Том_ 3 № 28 (2025) / 2025-09-30 / Кол. просмотров: 338

СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДЕЛЕЙ ЭМБЕДДИНГОВ ДЛЯ СОПОСТАВЛЕНИЯ ВОПРОСОВ И КОНТЕКСТОВ НА КАЗАХСКОМ ЯЗЫКЕ

Авторы

Astana Polytechnic College
https://orcid.org/0009-0008-2046-591X
Astana IT University
https://orcid.org/0000-0001-9560-9756
Astana Polytechnic College
https://orcid.org/0009-0001-5346-6184
ЕНУ им. Л.Н.Гумилева
https://orcid.org/0000-0001-8555-7315
Astana Polytechnic College
https://orcid.org/0009-0008-9864-5224
Astana Polytechnic College
https://orcid.org/0009-0009-2690-276X

Ключевые слова

семантический поиск, эмбеддинги предложений, сопоставление вопрос–контекст, мультиязычные трансформерные модели, TF-IDF, казахский язык, информационный поиск

DOI ссылка:

https://doi.org/10.58805/kazutb.v.3.28-987

Как цитировать

Мажитова, К., и др. «СРАВНИТЕЛЬНЫЙ АНАЛИЗ МОДЕЛЕЙ ЭМБЕДДИНГОВ ДЛЯ СОПОСТАВЛЕНИЯ ВОПРОСОВ И КОНТЕКСТОВ НА КАЗАХСКОМ ЯЗЫКЕ». Вестник КазУТБ, т. 3, вып. 28, сентябрь 2025 г., doi:10.58805/kazutb.v.3.28-987.

Аннотация

В данной статье представлен сравнительный анализ эффективности современных моделей эмбеддингов для сопоставления вопросов и контекстов на казахском языке в рамках задач семантического поиска и систем вопросов-ответов (QA). Исследование выполнено на открытом датасете Kundyzka/informatics_kaz, содержащем около 7700 пар «вопрос–контекст», охватывающих основные понятия информатики. Основное внимание уделено сравнению традиционного метода TF-IDF с современными многоязычными моделями, такими как mMiniLM, LaBSE, Alibaba GTE-multilingual-base, intfloat/multilingual-e5-small и Snowflake Arctic-Embed v2.0. Для оценки качества сопоставления применялись метрики Accuracy@1, Mean Reciprocal Rank (MRR) и ROC AUC. Эксперименты, проведенные в режиме zero-shot, показали, что модели эмбеддингов значительно превосходят TF-IDF, достигая Accuracy@1 в диапазоне 0.59–0.63, тогда как базовый метод демонстрирует показатель 0.50. Дополнительно, результаты визуализации с использованием t-SNE свидетельствуют о том, что современные модели способны группировать семантически связанные вопросы и контексты ближе друг к другу, что благоприятно сказывается на качестве ранжирования. Среди рассмотренных моделей наилучшие результаты показали Alibaba GTE и Snowflake Arctic-Embed v2.0, что подтверждает их актуальность для создания систем автоматического поиска ответов на вопросы в образовательных ИИ-приложениях. Работа подчеркивает, что даже без дополнительного обучения на казахских данных предобученные многоязычные модели способны значительно улучшить качество семантического сопоставления, что открывает перспективы для применения данных решений в образовательных системах и других информационных сервисах.