Меню
Том_ 4 № 29 (2025) / 2025-12-30 / Кол. просмотров: 357
Авторы
Ключевые слова
DOI ссылка:
Как цитировать
В статье представлен конвейер для создания высококачественного многослойного аннотированного корпуса для казахского естественного языка (NLP). Конвейер объединяет масштабное веб-сканирование, агрессивную очистку текста, предварительную аннотацию на основе преобразователя, валидацию с участием лингвиста и контроль качества посредством межаннотационного соглашения (IAA). Финальный релиз содержит более 20 000 документов, около 350 000 предложений и около 6,2 млн токенов, охватывающих 5 доменов (новости, политика, наука, образование, культура), аннотированных с помощью зависимостей POS, морфологии, NER и UD. Мы приводим данные IAA по каждому слою и базовую производительность модели (POS, NER, парсинг) для демонстрации её полезности.
В исследовании публикуются корпус, код и рекомендации для поддержки воспроизводимых исследований. Предлагаемая методология включает в себя полный рабочий процесс от сбора данных посредством целевого веб-сканирования известных новостных агентств на казахском языке до очистки текста, автоматизированного предварительного аннотирования с использованием языковых моделей на основе трансформатора и ручной проверки с помощью специально разработанного интерфейса аннотирования. Особое внимание уделяется агглютинативным характеристикам казахского языка и его обширным морфологическим вариантам, которые представляют особые проблемы при аннотировании и обучении моделей. Сгенерированный корпус включает в себя комплексные аннотации для частей речи (POS), распознавания именованных сущностей (NER), морфологических характеристик и синтаксических зависимостей, создавая фундаментальный набор данных для нескольких последующих приложений NLP.
Исследование дополнительно изучает существенные препятствия в процессе аннотирования, включая поддержание согласованности, оценку межаннотаторского соглашения и оценку адаптивности и функциональности инструментов аннотирования. Базовые модели NLP использовались и оценивались для определения качества и полезности корпуса. Эта работа предоставляет воспроизводимую и гибкую методологию для построения корпусов на языках с низкими ресурсами и морфологически сложными языками. Ее цель - способствовать дополнительному изучению, созданию инструментов и технологическому прогрессу в обработке казахского языка, тем самым продвигая всеобъемлющую цель включения многоязычного NLP.