Меню
Том 4 № 29 (2025) / 2025-12-30 / Көрілім саны: 357
Авторлар
Кілтті сөздер
DOI сілтемесі:
Қалай дәйексөз келтіруге болады
Бұл мақалада Қазақ NLP үшін жоғары сапалы, көп қабатты аннотацияланған корпусты құруға арналған құбыр ұсынылған. Құбыр кең ауқымды веб-шолғышты, агрессивті мәтінді тазалауды, трансформаторға негізделген алдын ала аннотацияны, лингвист-циклді тексеруді және аннотатор аралық келісім (IAA) арқылы сапаны қамтамасыз етуді біріктіреді. Соңғы шығарылым 5 доменді (жаңалықтар, саясат, ғылым, білім, мәдениет) қамтитын 20 000 құжатты, 350 000 сөйлемді және POS, морфология, NER және UD тәуелділіктерімен түсіндірілетін 6,2 миллион таңбалауышты қамтиды. Пайдалылықты көрсету үшін әр қабатқа IAA және негізгі үлгі өнімділігі (POS, NER, талдау) туралы есеп береміз.
Зерттеу қайталанатын зерттеулерді қолдау үшін корпусты, кодты және нұсқауларды шығарады. Ұсынылып отырған әдістеме қазақ тіліндегі көрнекті жаңалықтар агенттіктерін мақсатты веб-шолпинг арқылы деректерді жинаудан бастап, мәтінді тазалауға, трансформаторға негізделген тіл үлгілерін пайдалана отырып, автоматтандырылған алдын ала аннотацияға және тапсырыс бойынша әзірленген аннотация интерфейсі арқылы қолмен тексеруге дейінгі толық жұмыс процесін қамтиды. Қазақ тілінің агглютинативті сипаттамаларына және оның экстенсивті морфологиялық нұсқаларына ерекше назар аударылады, олар аннотация мен модельді оқытуда ерекше қиындықтар туғызады. Жасалған корпус бірнеше төменгі ағындық NLP қолданбалары үшін іргелі деректер жиынтығын құра отырып, сөз бөлігі (POS), аталған нысанды тану (NER), морфологиялық сипаттамалар және синтаксистік тәуелділіктер үшін жан-жақты аннотациялардан тұрады.
Зерттеу қосымша аннотация процесіндегі маңызды кедергілерді, соның ішінде жүйелілікті сақтауды, аннотатор аралық келісімді бағалауды және аннотация құралдарының бейімделуін және функционалдығын бағалауды қарастырады. Корпустың сапасы мен пайдалылығын анықтау үшін негізгі TTӨ үлгілері қолданылды және бағаланды. Бұл жұмыс ресурсы аз және морфологиялық күрделі тілдерде корпустарды құрудың қайталанатын және икемді әдіснамасын ұсынады. Оның мақсаты – қазақ тілін өңдеуде қосымша оқуға, құрал жасауға және технологиялық прогреске жәрдемдесу, осылайша көптілді TTӨ енгізудің негізгі мақсатын алға жылжыту.