Информационно - коммуникационные и химические технологии

Том_ 4 № 29 (2025) / 2025-12-30 / Кол. просмотров: 357

ПОСТРОЕНИЕ ВЫСОКОКАЧЕСТВЕННОГО АННОТИРОВАННОГО КОРПУСА ДЛЯ КАЗАХСКОГО NLP: ПАЙПЛАЙН-ПОДХОД

Авторы

Международный Университет Информационных Технологий
https://orcid.org/0000-0003-2982-214X

Ключевые слова

казахский язык, аннотированный корпус, обработка естественного языка, агглютинативные языки, конвейер данных, морфологический анализ, язык с низкими ресурсами

DOI ссылка:

https://doi.org/10.58805/kazutb.v.4.29-1092

Как цитировать

Айтим A. «ПОСТРОЕНИЕ ВЫСОКОКАЧЕСТВЕННОГО АННОТИРОВАННОГО КОРПУСА ДЛЯ КАЗАХСКОГО NLP: ПАЙПЛАЙН-ПОДХОД». Вестник КазУТБ, т. 4, вып. 29, декабрь 2025 г., doi:10.58805/kazutb.v.4.29-1092.

Аннотация

В статье представлен конвейер для создания высококачественного многослойного аннотированного корпуса для казахского естественного языка (NLP). Конвейер объединяет масштабное веб-сканирование, агрессивную очистку текста, предварительную аннотацию на основе преобразователя, валидацию с участием лингвиста и контроль качества посредством межаннотационного соглашения (IAA). Финальный релиз содержит более 20 000 документов, около 350 000 предложений и около 6,2 млн токенов, охватывающих 5 доменов (новости, политика, наука, образование, культура), аннотированных с помощью зависимостей POS, морфологии, NER и UD. Мы приводим данные IAA по каждому слою и базовую производительность модели (POS, NER, парсинг) для демонстрации её полезности.

В исследовании публикуются корпус, код и рекомендации для поддержки воспроизводимых исследований. Предлагаемая методология включает в себя полный рабочий процесс от сбора данных посредством целевого веб-сканирования известных новостных агентств на казахском языке до очистки текста, автоматизированного предварительного аннотирования с использованием языковых моделей на основе трансформатора и ручной проверки с помощью специально разработанного интерфейса аннотирования. Особое внимание уделяется агглютинативным характеристикам казахского языка и его обширным морфологическим вариантам, которые представляют особые проблемы при аннотировании и обучении моделей. Сгенерированный корпус включает в себя комплексные аннотации для частей речи (POS), распознавания именованных сущностей (NER), морфологических характеристик и синтаксических зависимостей, создавая фундаментальный набор данных для нескольких последующих приложений NLP.

Исследование дополнительно изучает существенные препятствия в процессе аннотирования, включая поддержание согласованности, оценку межаннотаторского соглашения и оценку адаптивности и функциональности инструментов аннотирования. Базовые модели NLP использовались и оценивались для определения качества и полезности корпуса. Эта работа предоставляет воспроизводимую и гибкую методологию для построения корпусов на языках с низкими ресурсами и морфологически сложными языками. Ее цель - способствовать дополнительному изучению, созданию инструментов и технологическому прогрессу в обработке казахского языка, тем самым продвигая всеобъемлющую цель включения многоязычного NLP.