Management and Future Technologies | Volume 2, Issue 1 | № 005

Читайте выпуск в формате PDF

316 стр. · PDF · 6.30 MB

Скачать
Текстовый вид 181–200 / 316 стр.

Текст автоматически извлечён из PDF-файла, поэтому форматирование может быть нарушено. Откройте PDF-копию для корректного отображения.

181-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 Adabiyotlar 1. Амбарцумян С. А. Теория анизотропных пластин. - М: Наука,1987.-360с. 2. Амбарцумян С.А., Багдасарян Г.Е., Белубекян М.В. Магнитоупругость тонких оболочек и пластин. - М.: Наука, 1977. - 272 с. 3. Амбарцумян С.А., Белубекян М.В. Некоторые задачи электромагнитоупругости пластин. – Ереван: 1991.–144 с. 4. Индиаминов Р.Ш. Математическое моделирование магнитоупругих колебаний анизотропной пластины на упругом основании // Пробл. мех. 2004. №5-6. – С. 15-20. 5. Корнишин М.С. Нелинейная задача теории пластин и пологих оболочек и методы их решения. - М: Наука, 1964. – 192с. 6. Кронрод А.С. Узлы и веса квадратурных формул. -М.: Наука, 1964. - 144 с. 7. Курпа Л.В. Методом R-функции для решения линейных задач изгиба и колебаний пологих оболочек. Харьков НТУ ХПИ 2009. 391 с. 8. Рвачев В.Л. Теория R- функций и некоторые ее приложения. –Киев: Наукава думка, 1982.-552с. 9. Рвачев В.Л., Курпа Л.В. R-функция в задачах теории пластин. - Киев: Наукова думка, 1987. - 176с. 10. Рвачев В.Л., Курпа Л.В., Насриддинов Х.Ф. и др. Метод R-функций в задачах нелинейного деформирования пластин // Прикл. механика. - Киев. - 1987. - 23:N 9. - С.73-78. 11. Рвачев В.Л., Курпа Л.В., Учишвили Л.А. Метод R-функций в задачах об изгибе и колебаниях пластин сложной формы. - Киев: Наукова думка, 1973. – 118с. 12. Самарский А.А., Михайлов А.П. Математическое моделирование: Идеи, Методы, Примеры. -Москва: Физматлит, -2002. - 320 с. 13. Селезов И.Т., Селезова Л.В. Волны в магнитогидроупругих средах. - Киев: Наукова думка, 1975. - 164 с. 14. Халджигитов А. А., Бабаджанов М. Р., Худазаров Р. С. Об одном подходе численного решения упругопластических краевых задач // Проблемы вычислительной и прикладной математики. 2019. -Vol. 3, № 21. -С. 75-86. 181

182-стр.

Volume 2, Issue 1 March 2025 182 Mualliflar Maksud Sharipov Kompyuter ilmlari kafedrasi, “Urganch davlar universiteti, Urganch; m.sharipov@urdu.uz Xushnudbek Adinayev Muhammad al-Xorazmiy nomidagi TATU Urganch, Urganch; hushnudbek.adinaev@gmail.com Mas’ul: m.sharipov@urdu.uz Management and Future Technologies journal.umft.uz O‘ZBEK TILI MATNLARIDA SO‘ROQ GAPLARNI ANIQLASHNING QOIDAGA ASOSLANGAN ALGORITMINI ISHLAB CHIQISH A nnotatsiya: Bu ishda biz o‘zbek tili matnlari so‘roq gaplarini aniqlashning qoidaga asoslangan algoritmini ishlab chiqishni ko‘rib chiqamiz. O‘zbek tili kam resursli til hisoblangaligi sababali hozirgacha bunday algoritmlar ishlab chiqilmagan. O‘zbek tili matnlaridagi gaplarning so‘roq belgilari to‘g‘ri yoki noto‘g‘ri qo‘yilganligini aniqlash masalasini yechishning qoidaga asoslangan algoritmi ishlab chiqilgan va qoidalar bazasi yaratilgan. Kalit so‘zlar: Tinish belgilari, NLP, so‘roq belgisi, so‘roq gaplar, BLSTM modeli, CNN modeli, ASR. Copyright: © 2024 by the authors. Ushbu maqola Creative Commons Attribution (CC BY) litsenziyasi shartlari asosida tarqatiladigan ochiq foydalanish maqolasi hisoblanadi (https://creativecommons.org/ licenses/by/4.0/).

183-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 Materiallar va usullar Nutqni aniqlash tizimlari odatda matnni tinish belgilarisiz chiqaradi. Biroq, yozma matnni tushunish uchun tinish belgilari juda muhimdir. Ushbu muammoni hal qilish uchun tinish belgilarini bashorat qilish modellari ishlab chiqilmoqda. Ushbu muammoni hal qilish uchun tinish belgilarini bashorat qilish modellari ishlab chiqilgan. Ushbu maqolada Poleval 2022 1-topshiriq uchun yechim tasvirlangan: Polyak tilidagi matnlar uchun tinish belgilarini bashorat qilish, u F1 o‘lchashda 71,44 ballni qo‘lga kiritgan. Usul raqobat ma’lumotlari va tashqi ma’lumotlar to‘plamiga moslashtirilgan yagona HerBERT modelidan foydalanadi.[2] ASR tizimi odatda tinish belgilari yoki bosh harflarni bashorat qilmaydi. Tinish belgilarining yetishmasligi natijalarni taqdim etishda muammolarni keltirib chiqaradi va o‘quvchini ham, tabiiy tilni qayta ishlash algoritmlarini ham chalkashtirib yuboradi. Ushbu cheklovlarni bartaraf etish uchun biz tinish belgilarini bashorat qilish uchun chuqur neyron tarmog‘i (DNN) ketma-ketligini belgilash modellarining ikkita variantini ko‘rib chiqilgan ikki tomonlama uzoq muddatli xotira (BLSTM) va konvolyutsion neyron tarmog‘i (CNN). Modellar tinish belgilarini o‘z ichiga olgan Fisher korpusida o‘qitilgan. Tajribalarda ketma-ketlikni to‘g‘irlash algoritmidan foydalangan holda vaqtga moslashtirilgan va tinish belgili Fisher korpusi transkriptlarini birlashtirgan. Neyron tarmoqlar Common Web Crawl GloVe-da suhbat tomoni ko‘rsatkichlari va so‘z vaqti ma’lumotlariga mos keladigan Fisher transkriptlarida so‘zlarni kiritishga o‘qitiladi. [3]CNN yaxshiroq aniqlikni bergan va BLSTMlar yaxshiroq eslab qolishga moyil. BLSTMlar kamroq xato qilsa-da, CNN tomonidan bashorat qilingan tinish belgilari aniqroq bo‘lgan - ayniqsa so‘roq belgilarida. Nutqni avtomatik aniqlash (ASR) tizimlari ko'pincha tinish belgilarini bashorat qilish modellarini chalkashtirib yuboradigan so‘z xatolarini keltirib chiqaradi, bu esa tinish belgilarini tiklashni qiyin vazifaga aylantiradi. Biz domenga xos ma’lumotlarga so‘z kiritishlarini o‘zgartirish ASR xatolarini qanday kamaytirishi mumkinligini ko‘rsatamiz. Bizning asosiy hissamiz omonim qo‘shimchalarini yaxshiroq moslashtirish usuli va tinish belgilarini bashorat qilish muammosi bo‘yicha taqdim etilgan usulni sinab ko‘rish. Biz tinish belgilarini bashorat qilish aniqligining eng zamonaviy modelga nisbatan 6,2% (so‘roq belgilari uchun) dan 9% gacha nuqtalar uchun mutlaq yaxshilanishi qayd etilgan [4]. Tinish belgilarini tahlil qilishning ishlab chiqilgan modellari va usullari hind-evropa guruhini tashkil etuvchi tillar uchun qo‘llaniladi[8].So‘zlar orasidagi semantik bog‘liqlik tabiiy tilni qayta ishlashning asosiy tushunchalaridan biri bo‘lib, semantik baholashni muhim vazifaga aylantiradi [7].Boshqa barcha sohalardagi kabi tilshunoslik ham raqamli texnologiyalarga moslashish jarayonini tezlashtirmoqda. Binobarin, kompyuter dasturlari va axborot tizimlari uchun tabiiy tilning an'anaviy lingvistik normalarini qayta ishlash muhim ahamiyatga ega[9]. Bugungi kunda sinonimatorlar butun dunyo bo‘ylab foydalanuvchilar orasida mashhurlikka erishmoqda. Ular matnning originallik darajasini oshirishga, matnni avtomatik qayta ishlashga va takrorlanishning oldini olishga xizmat qiladi. So‘nggi yillarda jahon tajribasida bunday dasturni shakllantirishning an‘anaviy usullaridan foydalanish bilan bir qatorda, mashinani o‘rganish ham ommalashdi[10]. Morfologik analizatorni loyihalashda bir qator vositalardan foydalanish imkoniyati, ularning 183

184-стр.

Volume 2, Issue 1 184 March 2025 Management and Future Technologies journal.umft.uz vazifasi va xususiyatlari batafsil yoritilgan[11]. Oʻzbekistonda taxminan ikki million kishi soʻzlashadigan kam resursli qoraqalpoq tili uchun Natural Language Processing (NLP) tizimida toʻxtab qolgan soʻzlarni avtomatik ajratib olish muammosini hal qilishga qaratilgan[12]. Lemmatizatsiya tabiiy tilni qayta ishlashning asosiy tushunchalaridan biridir, shuning uchun lemmatizatsiya vositasini yaratish muhim vazifadir. Ushbu maqolada o‘zbek tili uchun lemmatizatsiya algoritmini qurish haqida so‘z boradi. Ishning asosiy maqsadi o‘zbek tilidagi so‘zlarning chekli holat mashinasi yordamida affikslarini olib tashlash va so‘zning lemmasini (lug‘atda uchraydigan so‘z) aniqlashdan iborat[13]. So‘roq gaplarning tuzilishi So‘roq belgisi(?)-gap oxirida qo‘llaniladigan tinish belgilaridan biri. Bu belgi aosan mazmunidan so‘roq anglashilgan gaplar oxirida qo‘yiladi vas hu gapning ifoda maqsadiga ko‘ra so‘roq gap ekanligini ko‘rsatadi. O‘zbek tilida so‘roq gaplar tarkibida so‘roqni bildiruvchi leksik yoki grammatik vositalar: so‘roq olmoshlari, so‘roq yuklamalari va so‘oq ohanggi ishtirok etadi. Quyidagi misollar orqali so‘roq gaplarni ko‘rib chiqamiz va qoidalarini tahlil qilamiz. 1) So‘roq olmoshlari orqali ifodalanishi (kim, nima, qayerda, qachon, nima uchun, qanday…)bu kim?, isming nima? 2) So‘roq yuklamalari orqali ifodalanishi (-mi, -chi, -a, -ya)- ertaga universitetga boramizmi?, men universitetdaman, o‘zingiz-chi?, shu universitetda o‘qiysiz-a?. 3) Ayrim gaplar tarkibida so‘roqni bildiruvchi olmoshlar yoki yuklamalar ishtirok etmasligi ham mumkin. Bunday vaqtda so‘roq ma’nosi ohang yordamida ifodalanadi- Vazifani bajarib bo‘ldim. Vazifani bajarib bo‘ldim?[1] Ba’zi hollarda gaplarda so‘roq olmoshlari va so‘oq yuklamalari qatnashsan ham, so‘roq gap bo‘lmasligi mumkin, quyidagi misollarda ko‘rishimiz mumkin. 1) Avval kitobni o‘qib ko‘ray-chi, oh, naqadar so‘lim joylar-a!. So‘roq gaplarni aniqlash algoritmi Ushbu maqolada matndagi so‘roq gaplarni aniqlash aloritmi ishlab chiqildi. Dastlab dasturimizga o‘zbek tili matnlari kiritiladi (Lotin alfbosida). Kiritilgan matlar gaplarga ajratilib chiqiladi. Aloritm matndagi so‘roq gaplarni so‘roq olmoshlari yoki so‘roq yuklamalari orqali topadi va ekranga chiqarib beradi. Quyida algortmning ishlash jarayonini ko‘ib chiqamiz. 1. 2. 3. 4. Dasturni boshlash. Dasturga matnni kiritish. Tokenizatsiya jarayoni. Ikkita sikl ochiladi. Dastlab sikl gaplarning sonigacha keying sikl gapdagi so‘zlar sonigacha, Xar bir so‘zni so‘roq olmoshlari bilan tekshiradi, keyin xar bir so‘z tarkibini

185-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 so‘roq yuklamalari bilan tekshiradi. Tekshirilgan so‘zlar va yuklamalar bizning so‘roq olmoshlari va so‘roq yuklamalari bazasidagi bilan bir xil bo‘lsa, shu gap ekranga chiqariladi. 5. Dasturni yakunlash. 1-rasm. Matndagi so‘roq gaplarni aniqlash algoritmi. Yuqoridagi 1-rasmda matndagi so‘roq gaplani aniqlash algoritmi keltirilgan. Bu algoritm o‘zbek tilidagi (lotin alifbosida yozilgan) matnlarda so‘roq gaplarni aniqlash algoritmi bo‘lig, matndagi so‘roq gaplarni topib ekranga chiqarish uchun ishlatiladi. https://uzsenttokenization.pythonanywhere.com/ shu xavola orqali dasturimizni ishlatib ko‘rish mumkin. 185

186-стр.

Volume 2, Issue 1 March 2025 Management and Future Technologies journal.umft.uz Natija 186 O‘zbek tili (lotin alifbosida yozilgan) matnlarida so‘roq gaplarni aniqlash algoritmimizni sinovdan o‘takazib ko‘rdik, buning uchun dasturga 30 turdagi o‘zbek tili matnlari, bu matnlar 137 848 gaplar va 1 642 860 so‘zlardan iborat. Uzbek korpusidagi matnlar kerak bo‘ldi. Faylda 7480 ta so‘roq gap mavjud. Dastur 7180 ta so‘roq gapni topdi va 294 tasini so‘roq gap emas deb topdi. Jami 130 368 so‘roq emas gapning 554 tasini so‘roq gap deb topdi. Bu 87.9% aniqlikni berdi. Bunday dastur oldin qilinmagan, bu natijani yaxshilash mumkin. Natijani yaxshilash uchun boshqa statistikaga asoslan N-gramm modelidan foydalanib qilsa bo‘ladi. Keyingi ishlarimizda n-gramm modeli bilan qoidaga asoslangan algoritmimizni birgalikda ishlatib natijalar olinsa bundan ham yaxshi natijaga erishsa bo‘ladi. Olingan natijalar quyidagi jadvlada keltirilgan, jadvalning birinchi ustuni tartib raqami, ikkinchi ustunida matn turlari keltirilgan, uchinchi ustunida xar bir matndagi gaplar soni keltirilgan. To‘rtinchi ustunida aloritmimiz so‘roq gaplarni so‘roq gap ekanligini aniqlaganligi keltirilgan, beshinchi ustunda esa algoritmimiz so‘roq gapni so‘roq gap emas deb topgani keltirilgan. Oltinchi ustunda algoritmimiz so‘roq emas gaplardan so‘roq gap deb topgani keltirilgan, ettinchi ustunda esa so‘roq gap emaslarni so‘roq gap emas deb topganlarining soni keltirilgan. Sakkizinchi ustunda esa har bir matn bo‘yicha algoritmimizning matnlarda so‘roq gaplarni aniqlash foizi keltirilgan. 1-jadval. Matndagi so‘roq gaplarni aniqlash algoritmining natijalari keltirilgan. № Matn turlari Gaplar soni 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. Adabiyot Anatomiya Biologiya Botonika Diniy Fizika Geografiya Huquq Ijtimoiy soha Informatika Iqtisodiyot Kimyo Kino Matematika O‘qish kitobi O‘zbek tili kitob Qishloq xo‘jaligi Qissa 11659 10565 4757 2717 6079 12078 6237 1964 421 2512 520 3566 668 7921 3382 11020 1209 10529 So‘roq gap So‘roq So‘roq gap gap emas 958 11 0 0 211 11 217 12 195 14 1474 13 236 14 102 18 9 2 70 12 0 0 313 21 1 0 569 11 408 12 275 22 0 0 697 14 So‘roq gap emas So‘roq So‘roq gap gap emas 32 10658 24 10541 25 4510 27 2461 24 5846 22 10569 19 5968 20 1824 4 406 12 2418 5 515 20 3212 1 666 23 7318 34 2928 26 10697 12 1197 26 9792 F1 Score 97,8 0,0 92,1 91,7 91,1 98,8 93,5 84,4 76,1 85,2 0,0 93,9 59,6 97,1 94,7 92,0 0,0 97,2

187-стр.

Management and Future Technologies 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. Qonun va qarorlar Rassomchilik Roman San’at Siyosat Sport Tabobat Tarix Texnologiya Tibbiyot Urush Zoologiya jami journal.umft.uz 4360 3673 1896 9570 1222 2565 421 4619 796 5490 1084 4348 137848 0 25 120 189 6 71 5 318 66 201 34 416 7186 March 2025 0 4 21 12 1 5 1 15 12 14 6 16 294 24 12 19 23 2 26 2 24 8 23 11 24 554 Volume 2, Issue 1 4336 3632 1736 9346 1213 2463 413 4262 710 5252 1033 3892 129814 0,0 75,1 85,7 91,5 79,6 82,2 77,9 94,2 87,1 91,6 80,2 95,4 87,9 Xulosa Hozirgi kungacha o‘zbek tili matnlari uchun so‘oq belgilarini tahlil qilish agoritmlari deyarli ishlab chiqilmaganligi sababli ushubu ishda taklif qilingan algoritmlar dolzarb hisoblanadi. O‘zbek tilida tabiiy tilni qayta ishlash masalasi bo‘lgan punktuatsion tahlil(so‘roq belgilari) qilishishni qoidaga asosolangan algoritmlari ishlab chiqildi, punktuatsion tahlil(so‘roq belgilari) uchun qoidalar bazasi yaratildi. Ishlab chiqilgan algoritmlar yordamida o‘zbek tilining 30 ta kategoriyadan iborat 1 642 860 ta so‘z va 137 848 ta gapdan iborat korpus tahlil qilinib natijalar olindi. Ushbu ishning davomi sifatida keljakda o‘zbek tili matnlarini punktuatsion (so‘roq gaplarni) tahlil qilish masalasini sun’iy intellekt modellaridan foydalanib yechish va yaxshiroq aniqlikdagi natijalarni olish maqsad qilingan. 187

188-стр.

Volume 2, Issue 1 188 March 2025 Management and Future Technologies journal.umft.uz Adabiyotlar 1. M. A. , M. N. , A. D. Mahmudov N., O’ZBEK TILI ME"YORLARI (Punktuatsiya), vol. 1. Tashkent: Zamin nashr, 2021. 2. J. Pokrywka, “Punctuation Prediction for Polish Texts using Transformers,” Feb. 2024. doi: 10.48550/arXiv.2410.04621. 3. P. Żelasko, P. Szymański, J. Mizgajski, A. Szymczak, Y. Carmiel, and N. Dehak, “Punctuation Prediction Model for Conversational Speech,” Feb. 2018, pp. 2633–2637. doi: 10.21437/Interspeech.2018-1096. 4. M. S. Sharipov, H. S. Adinaev, and E. R. Kuriyozov, “Rule-Based Punctuation Algorithm for the Uzbek Language,” in International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices, EDM, 2024, pp. 2410 – 2414. doi: 10.1109/EDM61683.2024.10615061. 5. M. Bayraktar, B. Say, and V. Akman, “An analysis of English punctuation: the special case of comma,” International Journal of Corpus Linguistics, vol. 3, Jul. 1998, doi: 10.1075/ijcl.3.1.03bay. 6. D. Hardt, “Comma checking in Danish,” 2001. 7. U. Salaev, E. Kuriyozov, and C. Gomez-Rodríguez, “SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation Dataset for Uzbek Language,” in 1st Annual Meeting of the ELRA/ISCA Special Interest Group on Under-Resourced Languages, SIGUL 2022 - held in conjunction with the International Conference on Language Resources and Evaluation, LREC 2022 - Proceedings, 2022, pp. 199 – 206. [Online]. Available: https://www.scopus.com/inward/record.uri?eid=2-s2.085138700420&partnerID=40&md5=bf476cd74317f06577dd0548c5c600d6 8. A. M. Abdurashetona and I. O. Ismailovich, “Methods of Tagging Part of Speech of Uzbek Language,” in Proceedings - 6th International Conference on Computer Science and Engineering, UBMK 2021, 2021, pp. 82 – 85. doi: 10.1109/UBMK52708.2021.9558900. 9. A. M. Abdurashetona and U. Mokhiyakon, “Software Features and Linguistic Features of Uzbek Synonymizer,” in Proceedings - 7th International Conference on Computer Science and Engineering, UBMK 2022, 2022, pp. 171 – 175. doi: 10.1109/UBMK55850.2022.9919447. 10.B. Mengliyev, S. Shahabitdinova, S. Khamroeva, S. Gulyamova, and A. Botirova, “The morphological analysis and synthesis of word forms in the linguistic analyzer,” Journal of Language and Linguistic Studies, vol. 17, no. 1, pp. 558 – 564, 2021, [Online]. Available: https://www.scopus.com/inward/record.uri?eid=2-s2.085103797274&partnerID=40&md5=8a4052419f721c3c734f8fe1c48984ec 11.K. Madatov, S. Bekchanov, and J. Vicic, “Dataset of Karakalpak language stop words,” Data Brief, vol. 48, 2023, doi: 10.1016/j.dib.2023.109111. 12.M. Sharipov, J. Mattiev, J. Sobirov, and R. Baltayev, ‘Creating a Morphological and Syntactic Tagged Corpus for the Uzbek Language’, CEUR Workshop Proceedings, vol. 3315, pp. 93–98, 2022. 13.D. Mengliev, E. Akhmedov, V. Barakhnin, Z. Hakimov, and O. Alloyorov, “Utilizing Lexicographic Resources for Sentiment Classification in Uzbek Language,” Jan. 2023, pp. 1720–1724. doi: 10.1109/APEIE59731.2023.10347765. 14.K. Madatov, S. Bekchanov, and J. Vicic, “Dataset of stopwords extracted from Uzbek texts”, Data in Brief, vol. 43, 2022.

189-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 Adabiyotlar 1. M. A. , M. N. , A. D. Mahmudov N., O’ZBEK TILI ME"YORLARI (Punktuatsiya), vol. 1. Tashkent: Zamin nashr, 2021. 2. J. Pokrywka, “Punctuation Prediction for Polish Texts using Transformers,” Feb. 2024. doi: 10.48550/ arXiv.2410.04621. 3. P. Żelasko, P. Szymański, J. Mizgajski, A. Szymczak, Y. Carmiel, and N. Dehak, “Punctuation Prediction Model for Conversational Speech,” Feb. 2018, pp. 2633–2637. doi: 10.21437/Interspeech.2018-1096. 4. M. S. Sharipov, H. S. Adinaev, and E. R. Kuriyozov, “Rule-Based Punctuation Algorithm for the Uzbek Language,” in International Conference of Young Specialists on Micro/Nanotechnologies and Electron Devices, EDM, 2024, pp. 2410 – 2414. doi: 10.1109/EDM61683.2024.10615061. 5. M. Bayraktar, B. Say, and V. Akman, “An analysis of English punctuation: the special case of comma,” International Journal of Corpus Linguistics, vol. 3, Jul. 1998, doi: 10.1075/ijcl.3.1.03bay. 6. D. Hardt, “Comma checking in Danish,” 2001. 7. U. Salaev, E. Kuriyozov, and C. Gomez-Rodríguez, “SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation Dataset for Uzbek Language,” in 1st Annual Meeting of the ELRA/ ISCA Special Interest Group on Under-Resourced Languages, SIGUL 2022 - held in conjunction with the International Conference on Language Resources and Evaluation, LREC 2022 - Proceedings, 2022, pp. 199 – 206. [Online]. Available: https://www.scopus.com/inward/record. uri?eid=2-s2.0-85138700420&partnerID=40&md5=bf476cd74317f06577dd0548c5c600d6 8. A. M. Abdurashetona and I. O. Ismailovich, “Methods of Tagging Part of Speech of Uzbek Language,” in Proceedings - 6th International Conference on Computer Science and Engineering, UBMK 2021, 2021, pp. 82 – 85. doi: 10.1109/UBMK52708.2021.9558900. 9. A. M. Abdurashetona and U. Mokhiyakon, “Software Features and Linguistic Features of Uzbek Synonymizer,” in Proceedings - 7th International Conference on Computer Science and Engineering, UBMK 2022, 2022, pp. 171 – 175. doi: 10.1109/UBMK55850.2022.9919447. 10. B. Mengliyev, S. Shahabitdinova, S. Khamroeva, S. Gulyamova, and A. Botirova, “The morphological analysis and synthesis of word forms in the linguistic analyzer,” Journal of Language and Linguistic Studies, vol. 17, no. 1, pp. 558 – 564, 2021, [Online]. Available: https://www.scopus.com/inward/ record.uri?eid=2-s2.0-85103797274&partnerID=40&md5=8a4052419f721c3c734f8fe1c48984ec 11. K. Madatov, S. Bekchanov, and J. Vicic, “Dataset of Karakalpak language stop words,” Data Brief, vol. 48, 2023, doi: 10.1016/j.dib.2023.109111. 12. M. Sharipov, J. Mattiev, J. Sobirov, and R. Baltayev, ‘Creating a Morphological and Syntactic Tagged Corpus for the Uzbek Language’, CEUR Workshop Proceedings, vol. 3315, pp. 93–98, 2022. 13. D. Mengliev, E. Akhmedov, V. Barakhnin, Z. Hakimov, and O. Alloyorov, “Utilizing Lexicographic Resources for Sentiment Classification in Uzbek Language,” Jan. 2023, pp. 1720–1724. doi: 10.1109/ APEIE59731.2023.10347765. 14. K. Madatov, S. Bekchanov, and J. Vicic, “Dataset of stopwords extracted from Uzbek texts”, Data in Brief, vol. 43, 2022. 189

190-стр.

Volume 2, Issue 1 March 2025 190 Muallif Sirojiddin Xalilov “University of management and future technologies” universiteti, Toshkent, 100208, O‘zbekiston; xalilov@umft.uz Management and Future Technologies journal.umft.uz SUN’IY INTELLEKT USULLARI YORDAMIDA VIDEOTASVIRDAN SHAXSNING YUZ TASVIRI HAMDA OBEYKTLARNI ANIQLASH ALGORITMLARI A nnotatsiya: Dunyo tajribasi shuni ko‘rsatadiki, masofaviy ta’lim jarayonlarini tashkil etishda uning uzluksizligini ta’minlash hamda zam’onaviy ta’lim tеxnologiyalarini va kasbiy rivojlanishning yangicha shakllarini o‘zlashtirish orqali mustaqil malaka oshirishga yo‘naltirilgan malaka oshirishning variativ tizimini ishlab chiqish asosiy yo‘nalishlar sifatida qaraladi. Mazkur ilmiy tadqiqod ishda rеal vaqt ichida idеntifikatsiyalash usullariga asoslangan vidеotasvirlardan yuz haqqoniyligini aniqlash, dеskriptorlar asosida vidеotasvirdagi komponеnt-bog‘liqlarni tahlil qilish algoritmi va masofaviy ta’lim platformasida soxta yuzlarni aniqlashni chuqur nеyron tarmoqlarga asoslangan algoritmlarni taklif etilgan. Kalit so‘zlar: real-vaqt,tasvir, Xaara, Viola-Jones, Local Binary Pattern (LBP), Histograms of Oriented Gradients (HOG), OpenVINO. Copyright: © 2024 by the authors. Ushbu maqola Creative Commons Attribution (CC BY) litsenziyasi shartlari asosida tarqatiladigan ochiq foydalanish maqolasi hisoblanadi (https://creativecommons.org/ licenses/by/4.0/).

191-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 191 1-rasm. 25 bosqichli kaskatli hususiyatlarni tasniflagich (T = Ture, F = False) Asosiy qism Ushbu tasvirdan yuzlarni tanib olish uchun kadrlarga ajratishga asoslangan yondashuvlardan foydalaniladi. Birinchi navbat kamеra start bеriladi va kamеrani ishlayotgani tеkshiriladi. Undan so‘ng tasvirlar kadrlarga ajratilib tasvirlardan inson ob’еkti qidiriladi. Inson ob’еktlari ajiratilgandan so‘ng tanlangan tasvirlardan kulrang tasvir yaratib olinadi.

192-стр.

Volume 2, Issue 1 March 2025 Management and Future Technologies journal.umft.uz 192 2-rasm Tasvirdan yuzni aniqlash ketma-ketmaligi. Xususiyatlarni ajratib olish uchun kulrang rang tanlov tasviri 3×3 oyna katakchalariga bo‘linadi va markaziy 8-piksеli soat o‘ynalishi bo‘yicha yoki soat milliga tеskari yo‘nalishda piksеlning har biri bilan taqqoslanadi. Agar atrofdagi piksеllar markaziy piksеldan kattaroq bo‘lsa, u shu 8-pixеl bilan almashtiriladi; aks holda u nolga tеnglashtiriladi. Shunday qilib, olingan 3×3 oynaning markaziy qiymatdan tashqari soat o‘ynalishi bo‘yicha hisoblashni boshlasak, biz 8 bitli ikkilik son natijasini olamiz va asl katakdagi markaziy piksеl bilan ikkilik sonning o‘nlik ekvivalеnti bilan almashtiramiz.

193-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 Bu hisob usuli o‘sha tavirning markaziy xususiyatilarini aks ettirish uchun qo‘llaniladi. 193 Agar 𝑎𝑎� va 𝑎𝑎� , 𝑎𝑎� , 𝑎𝑎� , . . . , 𝑎𝑎��� mos ravishda markaziy piksеl hamda ko‘shini piksеllar dеb hisoblansa �𝑥𝑥, 𝑦𝑦� ning joylashuvsiga qarab markaziy piksеlga nisbatan 8 bitli LBP kodni olishimiz mumkin. ��� 𝐿𝐿𝐿𝐿𝐿𝐿�𝑥𝑥� , 𝑦𝑦� � � ∑��� ��𝑎𝑎� � 𝑎𝑎� �2� (1.1) Yuqorida kеltirilgan tеnglamani quyidagi 𝑠𝑠�𝑓𝑓� chеgara funksiyasi bilan aniqlash mumkin. 𝑠𝑠�𝑓𝑓� � � 1, � � 0 0, � � 0 (1.2.) LBPH algoritmida tеkstura dеskriptori sifatida ishlatiladigan gistogramma asosan kirish tasviri uchun barcha piksеllarning LBP kodlari to‘plamidir, ya’ni: 𝐿𝐿𝐿𝐿𝐿𝐿𝐿𝐿�ℎ� � ∑�� ,�� 𝛿𝛿�𝑖𝑖, 𝐿𝐿𝐿𝐿𝐿𝐿�𝑥𝑥� , 𝑦𝑦� ��, 𝑖𝑖 � 0,1, … , 2��� (1.3) bu erda 𝛿𝛿�𝑖𝑖� Kronеck funksiyasi sifatida tanlangan. Butun kulrang yuz tasviri LBPH algoritmida bir nеchta kichik mintaqalarga bo‘linadi va kеyin har bir kichik mintaqaning LBP xususiyati vеktorlari chiqariladi. Shundan so‘ng, LBP hususiyat vеktorlaridan har bir kichik hududning gistogrammasi hisoblanadi. Kеyin pastki hududlarning barcha gistogrammalari birlashtirilib, olingan to‘liq tasvirning katta o‘lchamli gistogrammasi tasvirning asosiy hususiyatini ifodalaydi. Ushbu tadqiqot ish uchun 10 kishidan iborat shaxslarning malumotlar bazasini yaratdik. Tadqiqot ishida ikkita malumotlar bazasi to‘plami foydalanish uchun yaratildi. Birinchi malmotlar bazasi to‘plamida 200 ta yuz tasviridan iborat bo‘lib, unda jami 2000 ta yuz tasviri mavjud hamda ikkinchi malumotlar bazasi to‘plamida 5000 ta yuz tasvirlari mavjud. Yuzni aniqlash va tanib olish dasturini ishlab chiqish uchun biz JAVA dasturlash tili va Pythonning OpenVINO kutubxonasidan foydalandik. Ilova tasvirdan inson ob’еktni suratga olish jarayonida foydalanuvchidan shaxsning ismi familyasini kiritishni talab etiladi. Kеyinchalik bu nom bilan yuzni tanish bosqichida tasvirdan yuzni tanib olish uchun foydalaniladi. Yuz aniqligini oshirish uchun yuz tasvirlari qayta ishlanadi. Tasvirdagi shovqinni olib tashlash uchun biz mеdian filtrlash usulini foydalandik. Shovqindan tozalangan tasvir bo‘lagika nom avtomatik ro‘yxatdan o‘tilgan profil ismi bilan malumotlar bazasi saqlangan faylga yoziladi va o‘sha fayldan o‘qitish hamda tanib olish uchun ishlatiladi. Malumotlar bazasini yaratish va undan yuz tasvirlarini o‘qitish jarayonining kеtmakеtligi quydagi rasmda kеltirilgan. Malumotlar bazasiga to‘lgan tasvirlarni tanib olish uchun foydalanuvchining yuz tasvirining gistogramma o‘lchamlari taqqoslanadi va eng yaqin bo‘lgan tasvir tanib olinadi. Tasvirlar bazasiga kiritilmagan nomalum shaxsni aniqlash uchun chеgara qiymati o‘rnatiladi. Tasvir chеgara qiymatlarni solishtirish uchun Evklid masofani aniqlash usulidan foydalaniladi.

194-стр.

Volume 2, Issue 1 194 March 2025 Management and Future Technologies journal.umft.uz Tasvirdan idеntifikatsiya qilish quydagicha amalaga oshiralidi.rasm. 3-rasm Malumotlar bazasini yaratish va undan yuz tasvirlarini o‘qitish jarayonining algoritmi Ilmiy tadqiqot ishida yuzni tanib olish tajribasini amalga oshirish uchun noutbookning vеbkamеrasida olingan tasvirlarni tanlab olindi. Bunda aniqlik darajasi past bo‘lgan tasvirlardan aniqlash uchun kadrlarga ajratish usuldan foydalanildi. Tanib olish jarayonida vеb-kamеradan 100 millisеkuni orqalig‘idagi vidеotasvirni kadrlarga ajartildi.

195-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 195 4-rasm Tasvirdan yuzni va obyekt aniqlash ketma-ketmaligi Har safar tanib olish uchun tasvir kadrilari ichidan 200 ta tasvir ustida o‘ndan ortiq sinoblar o‘tkazildi. Tanib olish tеzligi aniqlash uchun 2000 ta ajratilgan tasvirlar hisoblab ko‘rildi. Ushbu bosqichda imtihon qatnashayotgan foydalanuvchining soxtaligini yoki imtihon topshiruvchisiga yordam beradigan boshqa shaxsni aniqlash lozim. Kadrda aniqlangan barcha yuzlar haqiqiy hisoblanadi va qolgan jarayonlarda amalga oshiriladi. Ammo tekshiruv paytida yuzlarni aldash ehtimoli katta bo‘ladi. Yuzning haqoniyligini aniqlash uning jonlilik darajasini tekshirish orqali amalga oshriladi. Quyidagi rasmda ko‘rsatilganidek, yuzni aniqlash moduli kadrdagi yuzni

196-стр.

Volume 2, Issue 1 196 March 2025 Management and Future Technologies journal.umft.uz aniqlaydi, agar kamida bitta yuz tekislangan bo‘lsa, u tekislangan yuzlardan xususiyatlarni chiqaradi. Jonlilikni aniqlash modeli uchun barcha yuzlar uchun noyob bo‘lgan belgilarni alratish uchun 128 o‘lchamli vektor ishlatiladi. Jonlilikni aniqlash algoritmi uchun ko‘z uchlari, og‘iz uchlari, ko‘z va burun uchilari, burun uchi va og‘iz uchi, og‘iz uchlari va iyak orasidagi masofalarni Face-Net yordamida hisoblanadi. Face-Net yordamida diqqatga sazovor joylarni ajratib olish va jonlilikni aniqlash tartibi quyidagicha tasvirlanadi. 5-rasm. Yuzni tanib olish va jonlilikni tekshirish. Jonlilikni aniqlash faqat tekislangan yuzlarda amalga oshiriladi. Jonlilikni aniqlashning eng oddiy modeli bu ketma-ket qatlamli CNN (convolutional neural network) neyron tarmoq modeli hisoblanadi. Biz taklif etayotgan CNN oddiy bir necha bosqichli filtrlardan iborat. Modelga yuklangan barcha rasmlar 32*32 o‘zgartiriladi. Barcha piksellarning intensivligi [0,1] oraliqda o‘lchanadi. Taklif etilayotgan model quyidagi rasmda ketirilgan. 6-rasm. Yuzning jonliligini aniqlash neyron tarmog‘i

197-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 197 Ushbu modelda ReLu (Rectified Linear Unit) funktsiyasi faollashtiriladi hamda MaxPooling 2D uchun har doim 2*2 o‘lcham qabul qilinadi. Navbati bilan sinov uchun turli xil funktsiyalar faollashtiriladi. Ushbu tadqiqotda inson yuzini tanib olish hamda haqoniylik aniqlash uchun taklif etilgan CNN-LSTM arxitekturasi asosida eksperiment o‘tkazildi. Maqsad, turli shovqinlar va holatlar ostida yuzni hamda foydalanuvchi haqiqiyligini aniqlash jarayonini tadqiq qilishdir. Eksperimentda umumiy 10,000 ta yuz tasviridan foydalanildi. Tasvirlar har xil sharoitlarda (yorug‘lik, burchak va h.k.) olingan bo‘lib, ma’lumotlar to‘plami kengaytirildi va normallashtirildi. Taklif etilayotgan CNN-LSTM arxitekturasi quyidagi qismlardan iborat: 1. Chiziqli diffuziya: Tasvirlar ustida bir xil sur’atda teklash jarayoni o‘tkaziladi, shovqinlarni olib tashlash uchun. Bu jarayon tasvirning muhim xususiyatlarini, jumladan, chiziqlar va chetlar ma’lumotlarini hisobga olmaydi. 2. CNN qismi: Yuz tasvirlaridan xususiyatlarni ajratish olishda konvolyutsion qatlamlardan foydalanildi. 3. LSTM qismi: Olingan xususiyatlar orqali vaqt seriyalarini tahlil qilishda LSTM qatlamlaridan foydalanildi. Ushbu qism shovqinli sharoitlarda yuzni aniqlash uchun vaqt ma’lumotlarini saqlaydi. Ishlab chiqilgan modelda 80% ma’lumotlar to‘plami o‘qitildi va 20% ma’lumotlar to‘plami bilan sinovdan o‘tkazildi. O‘qitish jarayonida Adam optimizatori va categorical crossentropy yo‘qotish funksiyasi ishlatildi. Har bir epochda modelning aniqlik darajasi va yo‘qotish qiymati kuzatib borildi. Modelni sinovdan o‘tkazishda olingan natijalar quydagilar: Aniqlik darajasi: Modelning aniqligi 98.3% ni tashkil etdi, bu esa boshqa metodlar bilan solishtirganda yuqori natija hisoblanadi. Yo‘qotish qiymati: O‘qitish jarayonida yo‘qotish qiymati 0.1 gacha kamaydi, bu modelning samaradorligini ko‘rsatadi. Shovqinli sharoitlarda aniqlik darajasi: Shovqinli sharoitlarda model 95.7% aniqlikni ko‘rsatdi. 1-jadval. Turli modellarning solishtirma natijasi. Model CNN-LSTM (Diffuziya) CNN-LSTM (faqat) CNN (Diffuziya) LSTM (faqat) Aniqlik (%) 98.3 95.7 92.7 92 Yo‘qotish 0.1 0.12 0.15 0.18

198-стр.

Volume 2, Issue 1 March 2025 Management and Future Technologies journal.umft.uz 198 2-jadval. Turli modellarning shovqinli saroitlarda solishtirma natijasi. Shartlar Yorug‘lik yaxshi Yorug‘lik o‘rtacha Yorug‘lik yomon Aniqlik (%) 93 91 89 Yo‘qotish 0.12 0.14 0.17 3-jadval. Turli modellarning shovqinli saroitlarda aniqlik va yo‘qotish solishtirma natijasi. Model Aniqlik (%) Yo‘qotish CNN-LSTM (Diffuziya) CNN-LSTM (faqat) CNN (Diffuziya) LSTM (faqat) 98.3 95.7 92.7 92 0.1 0.12 0.15 0.18 Shovqinli sharoitdagi aniqlik (%) 95.7 93 91 89 Shovqinli sharoitdagi yo‘qotish 0.12 0.12 0.14 0.17 7-rasm. Turli modellarning shovqinli saroitlarda aniqlik solishtirma natijasi.

199-стр.

Management and Future Technologies journal.umft.uz March 2025 Volume 2, Issue 1 199 8-rasm. Turli modellarning shovqinli saroitlarda yo‘qotish solishtirma natijasi. Aniqlik: CNN-LSTM modelimizda chiziqli diffuziya qo‘shilganda aniqlik 95.7% ga yetdi, bu esa boshqa modellar bilan solishtirganda (CNN-LSTM 98.3%, LSTM 92%) sezilarli yaxshilanishni ko‘rsatadi. Yo‘qotish: Diffuziya bilan birlashtirilgan modelda yo‘qotish 0.1 ga tushib, eng past ko‘rsatkichni berdi. Bu yuqori aniqlik va past yo‘qotish o‘rtasidagi muvozanatni ko‘rsatadi. Shovqinli sharoitlar: Shovqinli sharoitlarda ham, diffuziya qo‘shilgan model yuqori aniqlikni saqlab qoladi, bu esa uning real dunyo sharoitlarida ishlash imkoniyatini oshiradi. Ushbu tadqiqot inson yuzlarini aniqlashda diffuziya jarayonini qo‘llash orqali sezilarli natijalarga erishganini ko‘rsatadi. Chiziqli diffuziya, shovqinlarni kamaytirishda samarali bo‘lib, modelning aniqligini va barqarorligini oshiradi. Natijalar, shuningdek, tasvirlarni qayta ishlashda asosiy xususiyatlarni saqlash zarurligini ta’kidlaydi. Ushbu tadqiqot natijalari quyidagi sohalarda qo‘llanilishi mumkin: 1. Xavfsizlik Monitoring: Yuzni aniqlash tizimlari, masalan, aeroportlarda yoki muassasalarda xavfsizlikni ta’minlashda. 2. Biometrik Shaxsni Tasdiqlash: Banklar va moliyaviy muassasalarda shaxsni aniqlash va autentifikatsiya jarayonlarida.

200-стр.

Volume 2, Issue 1 200 March 2025 3. Ijtimoiy Tarmoqlar: personalizatsiyalashda. Management and Future Technologies Yuzni aniqlash orqali foydalanuvchilarni journal.umft.uz aniqlash va 4. Sog‘liqni Saqlash: Tibbiy tasvirlarni tahlil qilishda, masalan, yuz orqali muammolarni aniqlashda. Ushbu modelning samaradorligi shovqinli sharoitlarda yuqori aniqlik va past yo‘qotish ko‘rsatkichlari bilan isbotlangan. Bu real vaqt rejimida ishlash uchun ham zarur bo‘lgan ko‘rsatkichlar. Model, ayniqsa, tasvirlar sifatining pastligi yoki murakkab sharoitlarda (masalan, yorug‘likning o‘zgarishi) o‘zini yaxshi ko‘rsatadi. Kelajakda, modelni yanada takomillashtirish uchun quyidagi yo‘nalishlarda ish olib borish mumkin: 1. Ma’lumotlar to‘plamini kengaytirish: Har xil sharoitlarda olingan yanada ko‘p ma’lumotlarni qo‘shish. 2. Modelni optimallashtirish: Real vaqt rejimida ishlash uchun hisoblash samaradorligini oshirish. 3. Qo‘shimcha yondashuvlar: texnologiyalarni sinab ko‘rish. Yuzni aniqlash jarayonida boshqa algoritmlar yoki 4. Yuzni aniqlashni birlashtirish: Yuzni aniqlashni boshqa biometrik texnologiyalar bilan birlashtirish (masalan, barmoq izlari, irish tahlili). Xulosa Ushbu tadqiqotda CNN-LSTM arxitekturasi asosida inson yuzini aniqlash jarayoni muvaffaqiyatli o‘rganildi. Olingan natijalar, turli shovqin va holatlarda yuqori aniqlikni ta’minlaydigan samarali model yaratilganini ko‘rsatdi. Model avtroproctoring tizimlarida foydalanish uchun yuqori imkoniyatga ega bo‘lib, kelajakda boshqa ma’lumotlar to‘plamlari bilan sinovdan o‘tkazish va qo‘shimcha yondashuvlarni tadqiq etish rejalashtirildi.

PDF-документ

Лицензии университета

Предварительный просмотр лицензии