Меню
Том_ 3 № 28 (2025) / 2025-09-30 / Кол. просмотров: 338
Авторы
Ключевые слова
DOI ссылка:
Как цитировать
В данной статье представлен сравнительный анализ эффективности современных моделей эмбеддингов для сопоставления вопросов и контекстов на казахском языке в рамках задач семантического поиска и систем вопросов-ответов (QA). Исследование выполнено на открытом датасете Kundyzka/informatics_kaz, содержащем около 7700 пар «вопрос–контекст», охватывающих основные понятия информатики. Основное внимание уделено сравнению традиционного метода TF-IDF с современными многоязычными моделями, такими как mMiniLM, LaBSE, Alibaba GTE-multilingual-base, intfloat/multilingual-e5-small и Snowflake Arctic-Embed v2.0. Для оценки качества сопоставления применялись метрики Accuracy@1, Mean Reciprocal Rank (MRR) и ROC AUC. Эксперименты, проведенные в режиме zero-shot, показали, что модели эмбеддингов значительно превосходят TF-IDF, достигая Accuracy@1 в диапазоне 0.59–0.63, тогда как базовый метод демонстрирует показатель 0.50. Дополнительно, результаты визуализации с использованием t-SNE свидетельствуют о том, что современные модели способны группировать семантически связанные вопросы и контексты ближе друг к другу, что благоприятно сказывается на качестве ранжирования. Среди рассмотренных моделей наилучшие результаты показали Alibaba GTE и Snowflake Arctic-Embed v2.0, что подтверждает их актуальность для создания систем автоматического поиска ответов на вопросы в образовательных ИИ-приложениях. Работа подчеркивает, что даже без дополнительного обучения на казахских данных предобученные многоязычные модели способны значительно улучшить качество семантического сопоставления, что открывает перспективы для применения данных решений в образовательных системах и других информационных сервисах.