Ақпараттық және есептеуіш технологиялар институтының жетекші ғылыми қызметкері, PhD, техника ғылымдарының кандидаты, қауымдастырылған профессор Әйгерім Ерімбетованың жетекшілігімен «Есту және сөйлеу қабілеті бұзылған адамдарға арналған жасанды интеллект негізіндегі сурдо-ресурстар кешені» әзірленіп жатыр. Жобаға Л.Н.Гумилёв атындағы Еуразия ұлттық университеті мен Әл-Фараби атындағы Қазақ ұлттық университетінің зерттеуші ғалымдары тартылған.
Жобаның мақсаты – қазақ және орыс тілдеріндегі ымдау тілін қолданушылардың қоғаммен өзара байланысын арттыруға бағытталған инновациялық кешен құру. Кешенге қимылды тану, мәтінді қимылға және керісінше түрлендіру, сөйлеу синтезі, сондай-ақ аудионы мәтінге айналдыру сияқты бірнеше негізгі компоненттер енеді.
2021–2023 жылдар аралығында жас ғалымдар «Мүмкіндігі шектеулі адамдарды қолдаудың инклюзивті интеллектуалды жүйесінің модельдері мен әдістері» атты гранттық қаржыландыру жобасы аясында елеулі нәтижелерге қол жеткізді. Атап айтқанда, қазақ тіліндегі мәтіндерді өңдеуге арналған лексикалық-морфологиялық талдау блогі әзірленіп, оның негізінде мультимедиялық тезаурустар құрылды және кеңейтілді. Сондай-ақ ымдау сөздік-тезаурус дерекқоры мен дактильді анимация құруға арналған бағдарламалық шешімдер жасалды.
Жаңа жобада ғалымдар жасанды интеллект пен компьютерлік көру алгоритмдері негізінде ауызша сөйлеуді ымға, ал қимылдарды мәтін мен дыбысқа түрлендіретін механизмдерді жетілдіріп жатыр. Нейрондық желілер мен машиналық оқыту әдістерін қолдану арқылы жүйе нақты уақыт режімінде жұмыс істеуге қабілетті модульдерді біріктіреді. Жүйе тиімділігін бағалау мақсатында әртүрлі пайдаланушы тобының қатысуымен кешенді тестілеу жұмыстары жүргізіледі. Сонымен қатар жобаның бір бағыты – білім платформалары мен арнайы оқу материалдарын жасау.
Ым тілінің классификациясы MediaPipe деректері мен F1-score, нәтижесін бағалай отырып, ымды мәтінге айналдыратын EfficientNet и ResNet сияқты машиналық тану модельдерін біріктіреді. Мәтінді ымға айналдыру BLEU, WER метрикасы бойынша бағаланатын Transformer, Seq2Seq модельдерін қолдану арқылы қозғалысты қашықтан қамтып, қазақ тіліндегі-KSL корпусына негізделеді. Барлық компоненттер мобильді қосымшаға біріктірілгеннен кейін пайдаланушылар аватардың көмегімен мәтін мен сөйлемді ым тілінде түсіне алатын болады. Жүйені әзірлеуде PyTorch, TensorFlow, NumPy, pandas, MediaPipe және Unity сияқты алдыңғы қатарлы технологиялар мен құралдар қолданылып жатыр.
Барлық компоненттер біріктірілгеннен кейін жүйе мобильді қосымша түрінде ұсынылады. Қолданушылар мәтінді арнайы аватардың көмегімен ымдау тілінде түсіне алатын болады.
Жоба бағдарламалық-нысаналы және гранттық қаржыландыру шеңберінде жүзеге асырылып отыр. Ғалымдар АҚШ, Малайзия, Ресей сынды елдердің тәжірибесін зерттей отырып, жергілікті қажеттіліктерге бейімделген әдістерді қалыптастырады. Қазіргі уақытта зерттеушілер АҚШ-тан жеткізілген сенсорлы датчиктері бар костюмдер көмегімен үлкен көлемдегі қимыл деректерін жинап, жасанды интеллектіге арналған заманауи және қуатты есептеу жүйелерін қолданып, зерттеу жұмыстарын жүргізіп жатыр. Алайда қазақ тіліндегі материалдардың жеткіліксіздігі – зерттеушілер үшін басты мәселенің бірі. Себебі еліміздегі арнайы мектептердің көпшілігінде білім орыс тілінде, ал қазақ тіліндегі оқулықтар өте аз.
«Қазіргі уақытта бейнеқорлар, телебағдарламалар мен арнайы жазбалардан материалдар жинап жатырмыз. Сонымен қатар телебағдарламаларда қазақ тілінде ымдап түсіндіретін аватар-жазбалар жасау жобаның бір бағытына айналды», дейді жоба жетекшісі Әйгерім Ерімбетова.
Зерттеу барысында 2 мыңнан астам ерекше қимылдар мен ым қозғалыстары тіркеліп, өңделді. Ғалымдардың айтуынша, ымдау тілін қолданатын адамдарды қоғам жиі түсіне бермейді. Осы орайда жасанды интеллект негізіндегі жаңа әзірлеме қоғаммен қарым-қатынасты жеңілдетіп, есту және сөйлеу қабілеті бұзылған жандардың әлеуметтенуіне оң ықпал етеді. Бүгінде Қазақстанда есту қабілеті нашар 30 мыңнан астам адам бар әрі бұл көрсеткіш жыл сайын артып барады.
Жобаның әзірге ел ішінде баламасы жоқ. Келешекте бұл кешенді шешім денсаулық сақтау, құқық қорғау, әкімшілік және ақпараттық қызметтерде, сондай-ақ білім платформаларында қолдануға мүмкіндік береді.
АЛМАТЫ