Management and Future Technologies | Volume 2, Issue 3 | № 007

September, 2025 № 007 Management and Future Technologies SCIENTIFIC JOURNAL Volume 2, Issue 3

Jurnal sohalari: menejment, dasturiy injiniring, sun’iy intellekt texnologiyalari, kompyuter injiniringi, infokommunikatsiya injiniringi, axborot xavfsizligi, raqamli iqtisodiyot, pedagogika va psixologiya, matematika va fizika Tahririyat kengashi raisi Muharrirlar t.f.d.,prof. O‘tkirXamdamov “University of Management and Future Technologies” universiteti rektori Farhod Ahmedov (J. Koreya) Sherzod Mustafaqulov (O‘zbekiston) Akmalbek Abdusalomov (J. Koreya) Bahtiyor Akmuradov (O‘zbekiston) Sherzod Abdullayev (O‘zbekiston) Shabir Ahmad (J. Koreya) Dilshod Rahmatov (Germaniya) O.A. Hidayov (Germaniya) Akmaljon Abdullayev (O‘zbekiston) Jinsoo Cho (J. Koreya) Jamshid Elov (O‘zbekiston) Young Im Cho (J. Koreya) Fazliddin Maxmudov (J. Koreya) Alpamis Kutlimuratov (O‘zbekiston) Faheem Khan (J. Koreya) Lilia Tightiz (J. Koreya) Shahnoza Sultanova (O‘zbekiston) Safiullah Khan (Buyuk Britaniya) Seytkamal Medetov (Fransiya) Avaz Qaxxorov (O‘zbekiston) Doston Xasanov (O‘zbekiston) Sabina Umirzakova (J. Koreya) Elmurod Urinov (O‘zbekiston) Muhriddin Umarov (O‘zbekiston) Urmanov Odil (J. Koreya) Sobir Radjabov (O‘zbekiston) Bosh muharrir t.f.f.d.dot. Muhriddin Muxiddinov “University of Management and Future Technologies” universiteti Ilmiy va uslubiy ishlar bo‘yicha prorektori Tahririyat kengashi a’zolari t.f.d., prof. XakimZaynidinov t.f.d., prof. Muxammadjon Musayev t.f.d., prof. Shavkat Fozilov f-m.f.d. prof. Aripov Mersaid f-m.f.d. prof. Аloev Raxmatillo t.f.d., prof. Marat Raxmatullayev t.f.d., prof. Dilnoz Muxamediyeva i.f.d., prof. Toxir Hasanov i.f.d., prof. To‘lqin Boboqulov t.f.d., prof. Jamshid Sultonov f-m.f.d. prof. Dildora Muhamediyeva i.f.d., prof. Sherzod Rajabov p.f.d., prof. Qurbonniyoz Panjiyev p.f.d., prof. Muhabbat Hakimova t.f.d., prof. Nargiza Usmanova p.f.d., prof. Nishonboy Kiyamov p.f.d., prof. Qutlug‘bek Qodirov t.f.d., dot. Halimjon Xujamatov t.f.d., dot. Ibragim Atadjanov Dizayner Abduraximov Dilshod Jurnal O‘zbekiston Respublikasi Prezidenti Administratsiyasi huzuridagi Axborot va ommaviy kommunikatsiyalar agentligidan 212842-raqamli guvohnoma bilan 26.01.2024 sanasida ro‘yxatdan o‘tkazilgan.

MUNDARIJA JOURNAL .UMFT.UZ TEXNIKA FANLARI Musayev Muhammadjon; Jurayev Dilshod PROGRESSIV TRANSFORMER ALGORITMLARI ASOSIDA UZLUKSIZ IMOISHORA TILI HARAKAT NUQTALARINI HOSIL QILISH 6 Khamdamov Utkir, Khalilov Sirojiddin, Omonullayeva Faragiza, Akhmedov Farrukh, Umarov Mukhriddin DEEP LEARNING MODEL FOR HUMAN FACE ANIMITY DETECTION IN A DISTANCE LEARNING PLATFORM 23 Rahmatullayev Ilhom; Abduraximov Baxtiyor NEWHSA OQIMLI SHIFRLASH ALGORITMINING APPARAT DARAJADAGI SAMARALI TADBIQI VA ARXITEKTURAVIY TAHLILI 34 Turgunov Bekzod AVTONOM HARAKATLANISH TIZIMLARIDA OBYEKTGACHA MASOFANI O‘LCHASH ANIQLIGINI OSHIRISH YECHIMINI ISHLAB CHIQISH 47 Shukurov Kamolidddin; Ochilov Mannon; Xasanov Umidjon NUTQ SIGNALLARIGA INTELLEKTUAL ISHLOV BERISH TIZIMLARIDA SO‘ZLOVCHILARNI AJRATISHNING AHAMIYATI 58 Botir Elov; Abdulla Abdullayev O‘ZBEK MATNLARI SENTIMENT TAHLIL TIZIMI: ARXITEKTURA VA LOYIHALASH 67 Aybek Xaytbayev 5G TARMOQLARIDA CHEGARAVIY HISOBLASH RESURSLARINI BOSHQARISHGA MO‘LJALLANGAN AQLLI TIZIM 88 Abduraximov Baxtiyor; Allanov Orif; Turdibekov Baxtiyor BLOKCHAIN TEXNOLOGIYASIDA FOYDALANILADIGAN KRIPTOGRAFIK XESH FUNKSIYALAR TAHLILI 102 Maksud Sharipov; Ogabek Sobirov DEVELOPMENT OF A LEMMATIZATION ALGORITHM: INTERPRETING OPEN COMPOUND WORDS 110 Saidkulov Elyor; Ibrohimova Zulayho DOIRANI GEOMETRIK SHAKILLAR BILAN TO‘LDIRISH YORDAMIDA OROL DENGIZINING FRAKTAL O‘LCHOVINI ANIQLASH 117

JOURNAL .UMFT.UZ Элмурод Уринов; Шохруз Тургуналиев СОСТОЯНИЕ БЕЗОПАСНОСТИ УМНЫХ ДОМАШНИХ УСТРОЙСТВ: КОМПЛЕКСНЫЙ АНАЛИЗ 128 Saidkulov Elyor FRAKTAL TUZILISHLI YER SIRTINI GEOMETRIK MODELLASHTIRISH VA VIZUALLASHTIRISH 137 Musaev Anvar KIBERXAVFSIZLIK VA AXBOROT XAVFSIZLIGINING O’ZIGA HOS XUSUSIYATLARI 145 Umarov Muhriddin; Melibayeva Xilola; Xudoyberdiyev Shaxriyor; Giyasova Gulnoza; Samarov Sherzod GRAFIK PROTSESSORLARDA TASVIRLARDAN YO‘L BELGILARINI TANIB OLUVCHI DASTURIY VOSITALARINING FUNKSIONAL STRUKTURASI 150 Abdulxayev Nodir UNITY PLATFORMASIDA YARATILGAN VIRTUAL REALLIK SIMULYATSIYASIDA INSON HARAKATINI REAL VAQTDA HIS QILISH ALGORITMINI ISHLAB CHIQISH 161 Botir Elov; Mastura Primova O‘ZBEK MATNLARI UCHUN N-GRAM TIL MODELI 166 Xalilov Sirojiddin SUN’IY INTELLEKT USULLARI YORDAMIDA VIDEOTASVIRDAN SHAXSNING YUZ TASVIRI HAMDA OBEYKTLARNI ANIQLASH ALGORITMLARI 177 Jumaboyeva Pokiza SUN’IY INTELLEKT ASOSIDAGI O‘ZBEK IMO-ISHORA TILINI TANIB OLISH VA TABIIY TILGA INTEGRATSIYA QILISH 188 Xudoyberdiyev Rahmatillo SUN’IY YO‘LDOSH ALOQA KANALLARI MODELLASHTIRISH USULLARI VA SIMULYATSIYA TEXNOLOGIYALARI 194 Xolmatov Orzumurod TABIIY TILNI QAYTA ISHLASHGA ASOSLANGAN SAVOLLARGA JAVOB BERISH YONDASHUVLARI VA ALGORITMLARI TAHLILI 202 Axmedov Farrux O‘ZBEK TILIDA MATNDAN NUTQ SINTEZLASH UCHUN MODEL TANLOVI VA UNING O‘QITILISHI 212

JOURNAL .UMFT.UZ Fotima Alimova INTEGRATING BPMN, DMN, AND UML FOR COMPARATIVE ASSESSMENT OF PUBLIC AND COMMERCIAL DIGITAL SERVICES 222 Sotvoldiyeva Dildora; Abdullayeva Mohigul MADANIY MEROSNI RAQAMLASHTIRISH: FOTOGRAMMETRIYA VA 3D SKANERLASHNING AHAMIYATI, MUAMMOLAR VA ISTIQBOLLAR 230 Akmuradov Baxtiyor; Berdimuradov Mirzohid SERVERLARDA YUKLAMANI TAQSIMLASH ALGORITIMLARINI TADQIQ QILISH 241 Xudayberganov Temur; Davlatmuratov Valijon BIOMETRIK AUTENTIFIKATSIYA JORIY ETISH ASOSIDA XAVFSIZLIK DARAJASINI OSHIRISH MODELI VA ALGORTIMLARI TAHLILI 252 Sharipov Maksud; Adinayev Xushnudbek DEVELOPING A CONDITIONAL RANDOM FIELD (CRF) MODEL FOR DETECTING INTERROGATIVE SENTENCES IN UZBEK TEXTS 257 Amirkulov Marufjon WORKING WITH PARALLEL CORPORA: APPROACHES AND TOOLS IN COMPUTATIONAL LINGUISTICS 263 Shohida Yusupova; Ogabek Matyoqubov ADVANCING EDUCATIONAL METHODS THROUGH ICT INTEGRATION 269 Omonullayeva Farangiza JURNALISTIK FAOLIYATNI MONITORING QILISH VA JURNALISTLAR REYTINGINI BAHOLASH JARAYONLARINING MODELLARI VA AXBOROT TIZIMINI DOLZABRLIGI 278 Bozorov Jasurbek VIRTUAL TA’LIM TEXNOLOGIYASI YORDAMIDA O‘QITISH METODIKASINI SHAKLLANTIRISH 282 Yarashbek Yusupov, Nargiza Baymatova YUQORI POZITSIYALI FAZA MODULYATSIYA TURLARI UCHUN BIT XATOLIK EHTIMOLLIGINI BAHOLASH USULLARI 286

TEXNIKA FANLARI 5

PROGRESSIV TRANSFORMER ALGORITMLARI ASOSIDA UZLUKSIZ IMOISHORA TILI HARAKAT NUQTALARINI HOSIL QILISH Musayev Muhammadjon; Jurayev Dilshod Muhammad al-Xorazmiy nomidagi TATU, Sun’iy intellekt kafedrasi E-mail:dilsamtuit@gmail.com Annotatsiya: Ushbu maqolada og‘zaki nutqni uzluksiz imo-ishora tili jumlalariga tarjima qiluvchi Progressiv transformer modeli taklif etiladi. Model turli uzunlikdagi jumlalar ketmaketliklarni boshqarish uchun sanoq bo‘yicha dekodlash mexanizmidan foydalanadi hamda xatoliklarni kamaytirish maqsadida ma’lumotlarni kengaytirish usullari joriy etiladi. Shuningdek, imo-ishora tilidagi tabiiylik va ifodaviylikni oshirish uchun raqobatli o‘qitish va aralash zichlik tarmog‘i qo‘llaniladi. Taklif etilgan yondashuv tayyorlangan ma’lumotlar to‘plamida sinovdan o‘tkazilib, BLEU va ROUGE ko‘rsatkichlari orqali baholandi. Natijalar shuni ko‘rsatdiki, Progressiv transformer arxitekturasi asosidagi model imo-ishora ishlab chiqarishda samarali bo‘lib, kelgusida yanada mukammal imo-ishora tiliga tarjima tizimlari uchun muhim ilmiy asos yaratadi. Kalit so‘zlar: SLT-Sign Language Translation, imo-ishora tili, Progressiv transformer, sanoq bo‘yicha dekodlash, MediaPipe - tana harakat nuqtalari, raqobatli o‘qitish, ma’lumotni kengaytirish, Aralash zichlik tarmog‘i, ma'lumotlar to‘plami, BLEU va ROUGE. Kirish So‘nggi yillarda sun’iy intellekt, chuqur o‘qitish va kompyuter ko‘rish texnologiyalarining rivojlanishi natijasida imo-ishora tillarini avtomatik qayta ishlash bo‘yicha ilmiy izlanishlar jadal sur’atlarda kengaymoqda. Imo-ishora tillari dunyo miqyosida eshitish qobiliyati zaif insonlar uchun asosiy muloqot vositasi hisoblanib, qo‘l harakatlari, tana pozitsiyalari, yuz ifodalari va boshqa noverbal signallar orqali murakkab grammatik hamda semantik ma’nolarni ifodalash imkoniyatini beradi. Jahon sog‘liqni saqlash tashkiloti ma’lumotlariga ko‘ra, dunyo aholining taxminan 5 foizi turli darajadagi eshitish nuqsoniga ega. Shu bois, imo-ishora tilini og‘zaki tilga va aksincha avtomatik tarjima qila oladigan tizimlar eshitish imkoniyati cheklangan insonlarning ijtimoiy hayotga integratsiyasi va kommunikatsiyasini yengillashtirishda katta ahamiyat kasb etadi. Imo-ishora tillarining o‘ziga xosligi ularning nafaqat vizual tabiatida, balki grammatik va sintaktik jihatdan og‘zaki tillardan tubdan farqlanishidadir. Shu sababli imo-ishora tilini og‘zaki tilga tarjima qilish jarayoni an’anaviy tabiiy tilni qayta ishlash usullariga qaraganda murakkabroq vazifa sanaladi. Ilgari olib borilgan tadqiqotlarning aksariyati imo-ishora tanib olish (SLR - Sign Language Recognition) va uni og‘zaki tilga tarjima qilish yo‘nalishiga qaratilgan bo‘lsa-da, eshitish imkoniyati cheklangan jamoa uchun yanada dolzarb bo‘lgan muammo - og‘zaki tilni imo-ishora tiliga avtomatik tarjima qilish (SLT - Sign Language Translation) hisoblanadi. Bu nafaqat real vaqt rejimida muloqotni ta’minlash, balki ta’lim, tibbiyot, huquqiy jarayonlar kabi ko‘plab ijtimoiy sohalarda ham samarali qo‘llanish imkoniyatini beradi. Shunga qaramay, mavjud SLT modellarining asosiy kamchiligi ularning faqat yorliqlangan imo-ishoralarni ketma-ket bog‘lash orqali jumla tuzishga urinishi bo‘lib, natijada hosil bo‘lgan imoishora animatsiyalari tabiiylikdan yiroq, hissiy ifodasiz va sun’iy ko‘rinishga ega bo‘lgan. Bu esa foydalanuvchilar tomonidan bunday tizimlarning qabul qilinish darajasini pasaytirgan. Shu sababli zamonaviy izlanishlarda Transformer arxitekturalariga asoslangan ilg‘or yondashuvlar, xususan 6

Progressive transformer hamda Aralash zichlik tarmoqlari modellaridan foydalanish orqali yanada tabiiy, silliq va uzluksiz 3D imo-ishora ketma-ketliklarini yaratish imkoniyatlari keng tadqiq etilmoqda. Ushbu maqola aynan shu yo‘nalishdagi yangi model arxitekturalari, olib borilgan tajribalar, baholash natijalari hamda foydalanuvchilarning real fikrlari tahliliga bag‘ishlanadi. Bog‘liq ishlar tahlili. Hozirgi kunga kelib imo-ishora tilini qayta ishlash (SLP - Sign Language Processing) sohasi chuqur o‘qitishga asoslangan yondashuvlar, metodologiyalar, yirik hajmdagi multimodal ma’lumotlar to‘plamlari hamda hisoblash quvvatining oshishi tufayli keskin rivojlanmoqda. Agar dastlabki yondashuvlar avatar modellariga yoki qoida asosidagi tizimlarga tayangan bo‘lsa, ularning samaradorligi ko‘pincha cheklangan va tabiiylikdan yiroq bo‘lib chiqqan. Shu bois neyron tarmoqlar, transformer arxitekturalari va generativ modellar tez orada sohada ustunlik qozonib, yangi imkoniyatlar ochib berdi. Natijada, tadqiqotlarning katta qismi imo-ishora tilini tanib olish (SLR - Sign Language Recognition), imo-ishora tilini tarjima qilish (SLT- Sign Language Translation) va imo-ishora tilini generatsiya qilishga qaratildi. Imo-ishora tilini tanib olish va tarjima qilish bo‘yicha olib borilgan izlanishlar ayniqsa 2017yildan keyin keskin faollashdi. Bu jarayon, bir tomondan, katta hajmdagi ma’lumotlar to‘plamlarining shakllanishi, ikkinchi tomondan, transformer arxitekturalarining samaradorligi bilan bog‘liq bo‘ldi. Masalan, SLP bo‘yicha chop etilgan ilmiy maqolalarda SLR va SLT metodlari tizimli o‘rganilib, ushbu sohadagi ilg‘or natijalar umumlashtirilgan [1]. Keyingi tadqiqotlarda ko‘p tilli va ochiq lug‘atli SLT modellariga bo‘lgan qiziqish ortgani kuzatildi va transformer asosidagi yondashuvlar ushbu vazifalarda eng samarali metod sifatida qaraldi. Masalan, SignNet II modeli multimodal xususiyatlarni birlashtirish orqali imo-ishora tilidan og‘zaki tilga va aksincha ikki tomonlama tarjima jarayonida yuqori aniqlikka erishgani ta’kidlanadi [2]. Shuningdek, T2P (textto-pose) modelining yunon imo-ishora tili uchun ishlab chiqarilgan varianti, matndan imo-ishora poza ketma-ketligini generatsiya qilishda samaradorligi bilan boshqalaridan ajralib turadi [3]. Imo-ishora tilini generatsiya qilish esa sohaning eng murakkab, ammo istiqbolli yo‘nalishlaridan biri bo‘lib qolmoqda. Bu yo‘nalishda asosiy muammo tabiiylikni ta’minlash va imo-ishoralardagi xilma-xillikni modellashtirishdir. Masalan, raqobatli yondashuv asosida transformer generator va shartli diskriminator yordamida imo-ishora ketma-ketliklarini yanada tabiiy shaklda hosil qilishga erishilgan [4]. Keyinchalik ishlab chiqilgan MoMP (Mixture of Motion Primitives) arxitekturasi imo-ishora pozalaridagi xilma-xillikni samarali modellashtirish imkonini bergan [5]. Gloss bosqichini yanada takomillashtirish uchun HamNoSys tizimi asosida fonetik imoishora tasvirlaridan foydalanish taklif qilindi [6]. Shuningdek, imo-ishora fragmentlarini birlashtirish orqali tabiiyroq ketma-ketliklar hosil qilishga qaratilgan metodlar ham taklif etilib, ular keyinchalik yanada kengaytirildi [7]. Generativ yondashuvlarning yana bir muhim jihati shundan iboratki, ular SLT tizimlarining sifatini oshirish uchun ma’lumotlarni kengaytirish (data augmentation) vositasi sifatida ham qo‘llanmoqda. Masalan, generativ metodlar (SignGAN) yordamida SLT natijalarini 19% gacha yaxshilash mumkinligi ko‘rsatilgan [8]. Shuningdek, spatio-temporal transformer modellaridan foydalanib, Kolumbiya imo-ishora tilida BLEU-4 = 46.84 ko‘rsatkichiga erishilgan va fazoviy hamda vaqtinchalik bog‘liqliklarni hisobga olishning muhimligi ta’kidlangan [9]. Tarixiy yondashuvlarga murojaat qilsak, dastlabki ishlarda SLT ko‘pincha avatar-asosida amalga oshirilgan. Bu metodlar vizual jihatdan realistik imo-ishoralarni hosil qilgan bo‘lsa-da, ular 7

odatda oldindan yozib olingan iboralarga tayangan va shu sababli keng qo‘llash uchun mos emas deb topilgan [10]. Keyinchalik tana va qo‘llarda bo‘lmagan xususiyatlar - masalan, lab harakatlari va boshning joylashuvi kabi xususiyatlar tizimga qo‘shilgan bo‘lsa-da, ular ko‘pincha “hissiyotsiz” va “tabiiylikdan yiroq” sifatida baholangan [11]. MoCap (Motion Capture) texnologiyalariga asoslangan yondashuvlar imo-ishoralarni yanada realistik shaklda yaratishga yordam bergan bo‘lsada, ularning yuqori narxi va murakkabligi ularni keng miqyosda qo‘llashni cheklagan [12]. Shu bilan birga, statistik mashina tarjimasi (SMT) usullari ham qo‘llanilgan, ammo qoidalarni qayta ishlashning murakkabligi sababli ularning samaradorligi boshqa modellarga nisbatan past bo‘lgan [13]. Zamonaviy izlanishlarda esa chuqur o‘qitishga asoslangan neyron mashina tarjimasi (NMT) asosiy yo‘nalish sifatida qaralmoqda. Dastlab RNN va encoder–decoder arxitekturalaridan foydalanilgan bo‘lsa-da, fiksatsiyalangan uzunlikdagi oraliq ifodalar muammosi e’tibor mexanizmi yordamida hal etildi [14]. Keyinchalik transformer arxitekturasi self-attention mexanizmlaridan foydalanib, butun ketma-ketlikdagi global bog‘liqliklarni samarali modellashtirish imkonini berdi. Bu yondashuv ko‘plab NLP vazifalarida tub burilish yasab, til modellash, multimodal tizimlar, nutq sintezi va video tahlil sohalarida muvaffaqiyatli qo‘llanila boshlandi [15]. Shuningdek, imo-ishora tilini generatsiya qilishda raqobatli o‘qitish va aralash zichlik tarmoqlari keng qo‘llanmoqda. Raqobatli o‘qitish diskriminatorning teskari aloqasi orqali yaratilgan imo-ishoralarning reallikka yaqinligini oshiradi va “o‘rtachaga qaytish” muammosini kamaytiradi [16]. MDN esa imo-ishoralardagi tabiiy xilma-xillikni modellashtirishda, masalan, qo‘l harakati intensivligi yoki yuz ifodalari o‘zgarishini ifodalashda samarali hisoblanadi [17]. Tadqiqotlarda ko‘rsatilishicha, MDNni transformer arxitekturasi bilan birlashtirish imo-ishora generatsiyasida yanada yuqori reallik va silliqlikka olib keladi [18]. Umuman olganda, mavjud ilmiy adabiyotlar imo-ishora tilini qayta ishlash sohasida chuqur o‘qitish, transformer arxitekturalari va generativ yondashuvlarning ustuvorligini yaqqol ko‘rsatmoqda. SLR va SLT vazifalarida samaradorlik sezilarli darajada oshgani, imo-ishora generatsiyasida esa tabiiylik va ifodaviylik tobora yaxshilanib borayotgani kuzatilmoqda. Bundan tashqari, multimodal komponentlarning - yuz ifodalari, lab harakatlari va tana pozalarining birgalikda modellashtirilishi – yanada realistik va keng miqyosda qo‘llanilishi mumkin bo‘lgan tizimlarni yaratishda hal qiluvchi omil bo‘lib xizmat qilmoqda. Shu tariqa, avatar va qoidaviy yondashuvlardan chuqur o‘qitishga asoslangan ilg‘or metodlarga o‘tish sohaga yangi istiqbollar ochib, kelajakdagi rivojlanish yo‘nalishlarini belgilab bermoqda. Metodologiya Ushbu bo‘limda uzluksiz 3D imo-ishora ketma-ketliklarini matndan (yoki glossdan) generatsiya qiluvchi SLT tizimi bayon etiladi. Bunda Progressiv transformer arxitekturasi, sanoq bo‘yicha dekodlash (Counter decoding), xatolarni yig‘ilishini kamaytiruvchi data-augmentatsiya (Future Prediction, Just Counter, Gaussian Noise), shartli diskriminator bilan raqobatli o‘qitish (Adversarial trening) va aralash zichlik tarmoqlari (MDN - Mixture Density Network) chiqishlari kiritish bosqichlari tushuntiriladi. Shuningdek, O‘zbek imo-ishora tili ma’lumotlar to‘plamini tayyorlash tartibi (videoni yozib olish, MediaPipe harakatb nuqtalari) hamda tizimni baholash uchun qo‘llangan metrikalar BLEU va ROUGE orqaga tarjima yondashuvi baholash bayon qilinadi. Uzluksiz 3D imo-ishora tilini yaratish. Ushbu qismda taklif etilayotgan SLT modelimiz ishlash jarayoni yoritib beriladi. Model og‘zaki jumlalarni uzluksiz imo-ishora pozalari ketma8

ketliklariga tarjima qilishni o‘rganadi. Bundan maqsad shartli ehtimollik 𝑝(𝑌 |𝑋) ni o‘qitish, ya’ni 𝑋 = (𝑥1 , … , 𝑥𝑇 ) og‘zaki ketma-ketlik berilganda, 𝑌 = (𝑦1 , … , 𝑦𝑈 ) imo-ishoralar ketma-ketligini generatsiya qilish. Kirish manbasi sifatida glosslardan ham foydalanamiz. Adversarial Loss, 𝐿𝐺𝐴𝑁 Regression Loss, 𝐿𝑟𝑒𝑔 𝑑𝑝 𝑦𝑈 , 𝑐𝑈 Feed forward Feed forward Enkoder-Dekoder e tibori (Encoder-Decoder attention) O zaro e tibor (Self-attention) Niqoblangan o zaro e tibor 𝐏𝐤𝐨𝐝 𝑥0 𝑥𝑡 𝑥𝑇 2D CNN (Masked Self-attention) Uzluksiz embedding Gloss embedding FC + Sigmoid/Softmax 𝑌𝑝𝑎𝑑 Haqiqiy imo-ishora pozalari ketma-ketligi Enkoder Dekoder 𝑦𝑢+1 , 𝑐𝑐+1 Diskriminator 𝑦1 , 𝑐1 Chiquvchi imo-ishora pozalari ketma-ketligi Haqiqiy / Soxta 𝐂𝐞𝐧𝐜 𝑦0 𝑐0 𝑦𝑢 𝑐𝑢 𝑐𝑈 𝑦𝑈 Glosslar 𝑋𝑝𝑎𝑑 Kiruvchi glosslar embeddingi 𝑥0 𝑥𝑡 𝑥𝑇 Glosslar Yig indi (Summation) Birlashtiris h (Concatenation) 1-rasm. Progressiv transformer va shartli diskriminator arxitekturasi. Imo-ishora tili 3D tana harakat nuqtalarining (poza) uzluksiz ketma-ketligi sifatida ifodalanadi; bunda qo‘l shakli va tana joylashuvi hamda lab harakatlari va yuz ifodalari kabi birgalikda modellashtiriladi. Bunda muammoning murakkabligi quydagicha ifodalanadi: - Og‘zaki va ishora tillari o‘rtasida grammatika va sintaksis farqlari sababli bevosita moslik yo‘q. - Ishoralar uzluksiz vektor fazosida ifodalanadi, bu esa klassik tokenlashdan foydalanishni qiyinlashtiradi. - Ma’no bir vaqtning o‘zida qo‘l va qo‘lda bo‘lmagan belgilar orqali sinxron yetkaziladi. Bu yerda umumiy g‘oya shundan iboratki, uzluksiz ketma-ketliklarni generatsiya qilish uchun Progressive Transformer taklif etiladi. Model doimiy kirishlarni (matn yoki gloss) uzluksiz pozalar ketma-ketligi bilan bevosita bog‘laydi. Sanoq bo‘yicha dekodlash mexanizmi vaqt bo‘yicha ishlab chiqarishning “rivojlanish darajasi”ni kuzatadi va shu orqali ketma-ketlik uzunligini bevosita belgilanmagan holda (implitsit tarzda) o‘qitishga imkon beradi. Raqobatli o‘qitish generatorida xatolarni yig‘ilishi (drift) muammosidan himoyalanish uchun turli ma’lumotlarni kengaytirish (data augmentation) usullari qo‘llanadi. Ifodaviylikni oshirish uchun esa Progressive transformer generatoriga shartli diskriminator ulanib, raqobatli o‘qitish amalga oshiriladi. Multimodal xilma-xillikni yanada aniqroq ifodalash uchun chiqish qatlami MDN asosidagi matematik ifoda bilan kengaytiriladi.” Progressive transformer sifatida klassik Transformer modelidan foydalanamiz, u doimiy kirish va yorliqlangan tillar o‘rtasidagi moslikni o‘rganishga mo‘ljallangan. Ushbu arxitektura 9

uzluksiz chiqishlar (masalan, imo-ishora) bilan ishlash uchun moslashtiriladi, hamda sanoq bo‘yicha dekodlash texnikasi joriy etiladi. Mazkur texnika o‘zgaruvchan uzunlikdagi ketmaketliklarni generatsiya qilish va ularning tugash nuqtasini aniqlash imkonini beradi. Model vaqt bo‘yicha generatsiya jarayonining bosqichma-bosqich rivojlanishini kuzatgani uchun Progressive transformer deb ataladi. Ushbu ishda Progressive transformer gloss yoki og‘zaki matn kabi doimiy kirishlarni uzluksiz 3D ishora poza ketma-ketliklariga tarjima qiladi. Bundan maqsad - kirish jumlasining mazmuniga mos, bir vaqtning o‘zida realistik va izchil pozalar ketma-ketligini hosil qilishdir. Model encoderdecoder tuzilmasiga ega bo‘lib, manba ketma-ketlik latent fazoga kodlanadi, so‘ngra dekoder orqali avtomatik yaxshilanuvchi tarzda nishon fazosiga xaritalanadi. Manba embeddinglari standart NMT ishlov berish ketma-ketligiga muvofiq, doimiy tokenlar chiziqli embedding orqali yuqori o‘lchamli fazoga ko‘chiriladi: 𝑤𝑡 = 𝑊𝑥 · 𝑥𝑡 + 𝑏𝑥 (1) So‘ngra manba ketma-ketlikning vaqt infratuzilmasini aks ettirish uchun pozitsion kodlash qo‘llanadi: 𝑤 ̂ 𝑡 = 𝑤𝑡 + 𝑃𝑜𝑧𝑖𝑡𝑠𝑖𝑜𝑛𝑘𝑜𝑑𝑙𝑎𝑠ℎ(𝑡) (2) bu yerda Pozitsion_kodlash - t ga bog‘liq sinusoidal funksiyalar to‘plamidir. Uzluksiz embeddinglar ketma-ketligi imo-ishora diktorning 3D tana joylashuvi koordinatalaridan tashkil topadi. Buning uzluksiz tabiati sababli biz unga yangi vaqt kodli sanoq encodingni qo‘llaymiz. Bu kod 𝑐 ∈ 0, 1 bo‘lib, kadrning butun uzunlikdagi nisbiy o‘rnini bildiradi. Har bir kadr uchun bo‘g‘inlar 𝑦𝑢 mos sanoq qiymati 𝑐𝑢 bilan birlashtiriladi: 𝑗𝑢 = 𝑦𝑢 ; 𝑐𝑢 (3) Har vaqt qadami uchun poza bilan birga sanoq qiymati 𝑐 ham bashorat qilinadi; 𝑐 = 1 bo‘lganda sanoq bo‘yicha dekodlash tugagan deb hisoblanadi. Sanoq qiymati modelga davomiylik va tezlik haqida signal beradi. Model ishlash jarayonida barqarorlik uchun 𝑐 chiziqli vaqt signali 𝑐 ∗ bilan almashtiriladi. So‘ng birlashtirilgan vektorlar chiziqli embedding orqali o‘tkaziladi: 𝑗𝑢 = 𝑊𝑦 · 𝑗𝑢 + 𝑏𝑦 (4) Progressive transformer encoderi 𝐸𝑃𝑇 - L ta bir xil blokdan tashkil topgan bo‘lib, har bir blok ikki kichik qatlamdan iborat. Vaqt bo‘yicha kodlangan 𝑤 ̂ 𝑡 lar avval ko‘p boshli o‘zaro e’tibor (MHA-multi-head self-attention) moduliga uzatiladi. Ushbu modul global kontekstni aks ettiruvchi og‘irliklangan taqsimotni shakllantiradi: 𝑄𝐾 Attention(𝑄, 𝐾, 𝑉) = 𝑆𝑜𝑓𝑡𝑚𝑎𝑥 ( + 𝑀) 𝑉 √𝑑 (5) MHA bir nechta boshlarda parallel ravishda hisoblanadi. MHA(𝑄, 𝐾, 𝑉) = ℎ𝑒𝑎𝑑1 ; … ; ℎ𝑒𝑎𝑑ℎ 𝑊𝑜 (6) ℎ𝑒𝑎𝑑𝑖 = Attention(𝑄𝑊𝑖𝑄 , 𝐾𝑊𝑖𝐾 , 𝑉𝑊𝑖𝑉 ) (7) Bu yerda: 10

mos ravishda 𝑊𝑜 , 𝑊𝑖𝑄 , 𝑊𝑖𝐾 va 𝑊𝑖𝑉 har bir kirish o‘zgaruvchiga mos keluvchi og‘irlik matritsalaridir. Shundan so‘ng feed-forward qatlam qo‘llanadi. Har bir kichik qatlam atrofida qoldiq ulanish (residual connection) va qatlam normalizatsiyasi (layer normalization) mavjud bo‘ladi. Yakuniy kontekst quyidagicha olinadi: ℎ𝑡 = 𝐸𝑃𝑇 (𝑤 ̂ 𝑡 |𝑤 ̂1:𝑇 ) 𝑦1 𝑐1 = 1 𝑈 𝑦𝑢+1 𝑐𝑢+1 = (8) 𝑢+1 𝑈 𝑦𝑈 𝑐𝑈 = 1.0 Progressiv dekoder 𝑗0 𝑦𝑢 𝑦0 𝑗𝑈−1 𝑗𝑢 𝑦𝑈−1 𝑐𝑢 = 𝑐0 = 0 𝑢 𝑈 𝑐𝑈−1 = 𝑈−1 𝑈 2-rasm. Sanoq bo‘yicha dekodlash misoli Progressive transformer dekoderi. 𝐷𝑃𝑇 avtomatik yaxshilanuvchi model bo‘lib, har bir vaqt qadami uchun ishora pozalar kadrini va unga mos sanoq qiymatini generatsiya qiladi. Doimiy transformerlardan farqli ravishda, ushbu dekoder uzluksiz ketma-ketliklarni hosil qiladi. Bu embedinglar sanoq qiymatlari bilan birlashtirilgan 𝑗𝑢 bo‘g‘in embeddinglarining har bir kadrning ishora pozasini ifodalash uchun ishlatiladi. Avvalo, qo‘shma embeddinglarga MHA pastki qatlamI qo‘llanadi. Bu encoderga o‘xshashdi, ammo qo‘shimcha masklash amaliyoti kelajakdagi kadrlarni yashirib, modelning hali dekodlanmagan vaqt qadamlariga e’tibor qaratishining oldini oladi. Keyin qo‘shimcha MHA mexanizmi yordamida encoder tomonidan yaratilgan doimiy tasvirlar dekoderdagi uzluksiz fazoga moslashtiriladi. Shundan so‘ng yakuniy feed-forward pastki qatlam qo‘llanadi. Har bir pastki qatlam atrofida qoldiq ulanish va qatlam normalizatsiyasi mavjud. Dekoderdan chiqish quyidagicha ifodalanadi: 𝑦𝑢 ; 𝑐𝑢 = 𝐷𝑃𝑇 (𝑗1:𝑢−1 , ℎ1:𝑇 ) (8) bu yerda 𝑦𝑢 – 𝑢 kadr uchun generatsiya qilingan uch o‘lchovli tana harakatining joylashuv pozitsiyalari, 𝑐𝑢 esa tegishli sanoq qiymatidir. Dekoder har safar bitta kadrni hosil qilib boradi va 2rasm berilganidek sanoq qiymati 𝑐𝑢 = 1 ga yetganda ketma-ketlik tugagan deb belgilanadi. Model o‘rtacha kvadratik xatolik (MSE-Mean Squared Error) funksiyasi yordamida o‘qitiladi. Bu funksiya bashorat qilgan ketma-ketlik 𝑦1:𝑈 va haqiqiy ketma-ketlik 𝑦1:𝑈 orasidagi farqni o‘lchaydi: 𝑈 1 ℒ𝑀𝑆𝐸 = ∑(𝑦𝑖 − 𝑦𝑢 )2 𝑈 𝑖=1 11 (9)

Modelni sinash bosqichida esa to‘liq ishora poza ketma-ketligi 𝑦1:𝑈 avtomatik yaxshilanish tarzda hosil qilinadi va oldingi qadamda yaratilgan kadrlar keyingi qadam uchun kirish sifatida ishlatiladi. Bashorat qilingan sanoq qiymati 1 ga yetganda dekodlash tugaydi va yakuniy ishora ketma-ketligi shakllanadi. Ma’lumotni kengaytirish (Data Augmentation). Avtomatik yaxshilanuvchi ketma-ketlik bashoratlash ko‘pincha xatolarni yig‘ilishi muammosidan aziyat chekadi, ya’ni noto‘g‘ri bashoratlar vaqt o‘tishi bilan yig‘ilib boradi. Transformer modellarini odatda keyingi vaqt qadamini haqiqiy ma’lumotlar (ground truth) asosida bashorat qilishga o‘rgatilgani sababli, ular bashorat qilingan kirishlardagi shovqinga nisbatan chidamli emas. SLT modeli uchun bu muammo yanada keskinlashadi, chunki tana hatakat nuqtalari uzluksiz tabiatga egaligidir. Qo‘shni kadrlar o‘rtasidagi farq juda kichik bo‘lgani uchun, model shunchaki oldingi haqiqiy kadrni takrorlab ham kichik xato bilan qutulishi mumkin. Modelni sinash jarayonida har bir bashorat keyingi bosqich uchun kirish sifatida ishlatiladi va xatolar butun ketma-ketlik bo‘ylab tezda tarqaladi. Ushbu xatolarni yig‘ilishi muammosini kamaytirish uchun biz uch xil ma’lumotni kengaytirish usulidan foydalanamiz. Ular: Kelajakni bashorat qilish (Future Prediction), Faqat sanash (Just Counter) va Gauss shovqini (Gaussian Noise). Kelajakni bashorat qilish. Model faqat keyingi kadrni emas, balki kelgusi bir nechta kadrlarni ham oldindan bashorat qilishga majbur qilinadi. 3a-rasmda keltirilganidek, 𝑦𝑢+1 : 𝑦𝑢+𝑡 kadrlarini 𝑦1:𝑢 asosida oldindan aniqlash talab etiladi. Qo‘shni kadrlar orasidagi farq juda kichik bo‘lgani sababli, model oddiy shovqin qo‘shib oldingi kadrni takrorlab o‘rganib qolishi mumkin. Kelajakdagi bir nechta kadrlarni bashoratlash esa modelni harakat dinamikasini o‘rganishga majbur qiladi. Modelni sinovi vaqtida esa faqat keyingi kadr bashorati ishlatiladi. Progressiv Transformer 𝑦𝑢+1 𝑦𝑢+𝑡 Progressiv Transformer Progressiv Transformer 𝑦𝑢+𝑡 𝜖1:𝑢 𝑦1:𝑢 𝑐1:𝑢 𝑐1:𝑢 a) b) 𝑦1:𝑢 𝑐1:𝑢 c) 3-rasm. Xatolarni yig‘ilishi muammosini kamaytirish va barqaror SLT modelini yaratishda qo‘llaniladigan ma’lumotni kengaytirish usullari. Faqat sanash. Transformerlarning kuchli yodlash qobiliyatidan ilhomlanib, bu yondashuvda 3b-rasmda berilganidek modelga skelet bo‘g‘inlarining to‘liq pozitsiyalari emas, balki faqat sanoq ketma-ketligi 𝑐1:𝑢 beriladi. Model oldingi kadrlar pozitsiyalari haqida hech qanday ma’lumotga ega bo‘lmasdan, sanoq qiymatlaridan kelib chiqib ishora poza ketma-ketligini hosil qilishi kerak. Bu esa modelni oldingi haqiqiy ma’lumot embeddinglariga tayanmaslikka majbur qiladi va manba tilini chuqurroq tushunishga undaydi. Shuningdek, bu yondashuvda tarmoq tuzilishi o‘qitish va modelni 12

sinash jarayonlarida bir xil bo‘ladi: modelning yangi bashorati kirishlariga emas, balki faqat yangi ma’lumotlarga umumlashtirishga majbur bo‘ladi. Gauss shovqini. O‘qitish jarayonida kirish poza ketma-ketliklariga shovqin qo‘shib, 3crasmda ifodalangandek ma’lumotlar xilma-xilligini oshiramiz. Har bir o‘qitish davrida bo‘g‘inlar bo‘yicha statistik taqsimot yig‘iladi va keyingi epoch uchun tasodifiy olingan shovqinlar qo‘shiladi. Shunday qilib, model shovqinli kirishlarni to‘g‘rilab, harakat nuqtalarini toza chiqishga moslashtirishni o‘rganadi. Natijada sinov vaqtida u shovqinli kirishlarga ko‘proq moslashadi, xatolarni tuzatish qobiliyati ortadi va butun ishora ketma-ketligini aniqroq generatsiya qiladi. Raqobatli o‘qitish. Ishora tillarida tabiiy ravishda katta harakat xilma-xilligi mavjud, chunki har bir imo qiluvchi biroz farqli artikulyatsiya va harakatlar bilan ishora ketma-ketligini ishlab chiqaradi. Haqiqiy imo-ishora butun tana bo‘yicha nozik va aniq harakatlardan tashkil topadi; faqatgina 9-formulada berilgan bo‘g‘in xatolarini minimallashtirishga qaratilgan o‘qitish esa bu nozik tafsilotlarni yo‘qotishi mumkin. Faqat regressiya asosida o‘qitilgan SLP modellarida pozalarning artikulyatsiyasi sust bo‘lib qoladi va ular “o‘rtachaga regressiya” muammosidan aziyat chekadi. 4-rasm. Imo-ishora pozalarida “o‘rtachaga regressiya” muammosi. Xususan, qo‘l shakllarining o‘rtacha ko‘rinishi generatsiya qilinadi va bu yetarlicha boy harakatni ifodalamaydi. 5-rasmda ushbu muammo tasvirlangan bo‘lib, haqiqiy xiralashgan pozalar yig‘indisining o‘rtachasi mazmunni to‘liq ifodalay olmaydigan soddalashtirilgan ishoraga olib keladi. Yetarlicha ifodalanmagan harakat (under-articulation) muammosini bartaraf etish maqsadida, biz SLT uchun raqobatli o‘qitish mexanizmini joriy etamiz. 1-rasmda ko‘rsatilgandek, asosiy generator tarmog‘i 𝐺 yoniga shartli diskriminator 𝐷 qo‘shiladi. Ushbu yondashuvda SLT jarayoni ikki neyron tarmoq o‘rtasidagi min-max o‘yin sifatida qaraladi: diskriminator 𝐷 generator chiqishlarining haqiqiylik darajasini baholaydi, generator esa diskriminatorni chalg‘itib, hosil qilingan imo–ishora poza ketma-ketliklarini yanada realistik qilishga intiladi. Generator sifatida 2rasm chap qismida ta’riflangan Progressive transformer ishlatiladi, diskriminator esa 5-rasmda ko‘rsatilgan konvolyutsion neyron tarmoq arxitektura bo‘lib, u kirish sifatida imo-ishora pozalar ketma-ketligi va unga mos manba ketma-ketligini qabul qiladi hamda chiqishda haqiqiylikni ifodalovchi yagona skalyar qiymat qaytaradi. Raqobatli o‘qitish quyidagicha ko‘rinishda ifodalanadi: min max ℒ𝐺𝐴𝑁 (𝐺, 𝐷) = E 𝑙𝑜𝑔𝐷(𝑌 ∗ | 𝑋) + E 𝑙𝑜𝑔(1 − 𝐷(𝐺(𝑋) | 𝑋)) 𝐺 𝐷 13 (10)

∗ bu yerda 𝑌 ∗ - haqiqiy imo-ishora pozalar ketma-ketligi, 𝑦1−𝑈 ni ifodalasa, 𝐺(𝑋) –generator ̂ hosil qilgan ketma-ketlik 𝑌 = 𝑦1−𝑈 ni ifodalaydi va 𝑋 esa kiruvchi og‘zaki til glosslari ketmaketligidir. Generator 𝐺 kiruvchi og‘zaki til glosslari ketma-ketligi asosida ishora poza ketma-ketliklarini hosil qilishni o‘rganadi va Progressive transformer arxitekturasini generativ raqobatlashuvchi tarmoqlarga (GAN-Generative Advers999arial Network) integratsiya qiladi. An’anaviy GANlardan farqli ravishda, bizda generatsiya shartli bo‘lib, u alohida manba ketma-ketligiga bog‘langan. Shuning uchun klassik GANdagi kabi tasodifiy shovqin vektori ishlatilmaydi, balki generatsiya to‘liq manba ketma-ketligiga tayanadi. Generator quyidagi ikkita asosiy yo‘qotish funksiyasining kombinatsiyasi orqali o‘qitamiz: 9𝐺 formuladagi regressiya yo‘qotishi ℒ𝑅𝑒𝑔 va 10-formuladagi raqabatli yo‘qotish ℒ𝐺𝐴𝑁 orqali. Umumiy yo‘qotish funksiyasi ushbu yo‘qotishlarning vaznli yig‘indisi sifatida aniqlanadi: 𝐺 (𝐺, 𝐿𝐺 = 𝜆𝑅𝑒𝑔 ℒ𝑅𝑒𝑔 (𝐺) + 𝜆𝐺𝐴𝑁 ℒ𝐺𝐴𝑁 𝐷) (11) bu yerda 𝜆𝑅𝑒𝑔 va 𝜆𝐺𝐴𝑁 - mos ravishda regressiya va raqobatli yo‘qotishlarning ahamiyatini belgilovchi koeffitsiyentlardir. Diskriminator. Biz shartli raqobatli diskriminator 𝐷 ni taqdim etamiz, u generator tomonidan yaratilgan imo-ishora poza ketma-ketliklarini 𝑌̂ va haqiqiy imo-ishora poza ketma-ketliklarini 𝑌 ∗ farqlash uchun ishlatiladi. Bu jarayon manba nutq ketma-ketligiga 𝑋 bog‘liq holda bajariladi. Quyidagi 5-rasmda diskriminator arxitekturasining umumiy ko‘rinishi keltirilgan. 𝑦1:𝑈 𝑦0 𝑦𝑢 𝑦𝑝𝑎𝑑 𝑦𝑈 𝐻 Haqiqiy imo-ishora pozalari ketma-ketligi 𝑥0 𝑥𝑡 𝑥𝑇 Imo-ishora glosslari ketma-ketligi 2D CNN 𝑋1:𝑇 Kiruvchi glosslar embeddingi FC + Sigmoid/ Softmax 𝑑𝑝 Haqiqiy / Soxta 𝑋𝑝𝑎𝑑 5-rasm. Taklif etilgan shartli diskriminator modelining arxitektura tuzilishi Har bir kiruvchi manba-yorliq juftligi (𝑋, 𝑌) uchun (haqiqiy yoki generatsiya qilingan imoishora pozasi bo‘lishidan qat’i nazar), 𝐷 ning maqsadi bitta skalyar qiymat 𝑑𝑝 ∈ (0, 1) ni ishlab chiqarishdir. Bu qiymat berilgan ketma-ketlik 𝑌 haqiqiy ma’lumotlar to‘plamidan olinganligini bildiruvchi ehtimollik sifatida talqin qilinadi: 𝑑𝑝 = 𝑃(𝑌 = 𝑌 ∗ | 𝑋, 𝑌) ∈ (0, 1) (12) Diskriminatorga kiritilishdan oldin sanoq qiymatlari olib tashlanadi, shunda baholash faqat ishora mazmuniga qaratiladi. Kadr uzunliklari o‘zgaruvchan bo‘lgani sababli, barcha ketmaketliklar maksimal uzunlikka 𝑈𝑚𝑎𝑥 nol bilan to‘ldiriladi: 14

𝑌𝑝𝑎𝑑 = [𝑌1:𝑈 , ∅𝑈:𝑈𝑚𝑎𝑥 ] (13) bu yerda 𝑌𝑝𝑎𝑑 - nol vektorlar ∅ bilan kengaytirilgan imo-ishora pozalar ketma-ketligi bo‘lib, bu o‘lchami sobit bo‘lgan tensor ustida konvolyutsiyalarni amalga oshirish imkonini beradi. Diskriminatorni manba nutq ketma-ketligiga shartlash uchun, avval manba tokenlari chiziqli embedding qatlamidan o‘tkaziladi. Ularning uzunligi ham turlicha bo‘lgani sababli, embeddinglar maksimal uzunlik 𝑇𝑚𝑎𝑥 ga nol bilan to‘ldiriladi: 𝑋𝑝𝑎𝑑 = [𝑊 𝑋 · 𝑋1:𝑇 + 𝑏 𝑋 ; ∅ 𝑇:𝑇𝑚𝑎𝑥 ] (14) bu yerda 𝑊 𝑋 va 𝑏 𝑋 - kirish embeddingi uchun og‘irlik va bias, ∅ esa nol to‘ldiruvchilardir. Yuqoridagi 5–rasmda ko‘rsatilganidek, manba tasviri keyin 𝑌𝑝𝑎𝑑 bilan birlashtirilib, shartli xususiyatlar 𝐻 hosil qilinadi: 𝐻 = [𝑌𝑝𝑎𝑑 , 𝑋𝑝𝑎𝑑 ] (15) Diskriminator ishora poza ketma-ketligi bo‘ylab 𝑁 ta 2D konvolyutsion filtrlarni qo‘llaydi, bu esa vaqt bo‘yicha harakatlarning lokal kontekstini tahlil qilib, ishora harakatining vaqt bo‘yicha izchillik aniqlash imkonini beradi. Bunday yondashuv reallikni aniqlashda faqat kadr darajasidagi diskriminatordan samaraliroqdir, chunki bitta kadr uchun “o‘rtacha qo‘l shakli” maqbul bo‘lishi mumkin, ammo u katta vaqt oynasi davomida izchil realizmni ta’minlay olmaydi. Har bir qatlamdan so‘ng Leaky ReLU aktivatlashtirish funksiyasi qo‘llanadi, bu trening vaqtida gradientlarning sog‘lom oqimini ta’minlaydi. Yakuniy feed-forward chiziqli qatlam va aktivatlashtirish funksiyasi bilan kombinatsiyalangan xususiyatlarni bitta skalyar 𝑑𝑝 ga proyeksiya qiladi. Bu chiquvchi ketma-ketlikning haqiqiy bo‘lish ehtimolini ifodalaydi. Diskriminator 𝐷 haqiqiy ketma-ketliklar uchun 𝑑𝑝 = 1, generatsiya qilingan ketma-ketliklar uchun esa 𝑑𝑝 = 0 bo‘lish ehtimolini maksimallashtirishga o‘qitiladi. Bu 10-formulaga asoslangan matematik tarzda ifodalanadi va yo‘qotish funksiyasi quyidagicha ifodalanadi: 𝐿𝐷 = 𝐿𝐷𝐺𝐴𝑁 (𝐺, 𝐷) bunda yuqorida berilganidek sinov vaqtida diskriminator tashlab yuboriladi va faqat generator 𝐺 avtomatik yaxshilanuvchi sifatida ishora poza ketma-ketliklarini generatsiya qilishda qo‘llanadi. Aralash zichlik tarmog‘i (MDN-Mixture Density Networks). Yuqorida keltirilgan model arxitekturalari deterministik chiqishlarni hosil qiladi, ya’ni har bir vaqt qadamida yagona stoxastik bo‘lmagan pozalar bashorat qilinadi. Bunday deterministik bashoratlash noaniqlik yoki variativlikni ifodalash imkonini bermaydi, bu esa uzluksiz ketma-ketliklarni generatsiya qilishda sezilarli cheklov hisoblanadi. Natijada, model o‘rtachalashtirilgan va ifodaviyligi past pozalarni ishlab chiqarishi, hamda tabiiy xilma-xillikni yo‘qotishi mumkin. Ushbu deterministik bashoratlash muammolarini bartaraf etish uchun biz Aralash zichlik tarmog‘idan foydalanishni taklif qilamiz. 6-rasmda ko‘rsatilganidek, bashorat fazosi bir nechta ehtimoliy taqsimotlar orqali parametrizatsiya qilinadi. Har bir aralashma komponenti kelajakdagi turli xil mumkin bo‘lgan harakatlarni modellashtiradi. Bu yondashuv barcha potentsial ishora harakatlarini va ularga xos noaniqlikni birgalikda modellashtirish imkonini beradi, natijada yanada xilma-xil va ifodaviy ketma-ketliklar hosil bo‘ladi. Matematik ifodalash. Aralash zichlik tarmog‘i neyron tarmoqdan foydalanib aralash taqsimotni parametrizatsiya qiladi. Modelning bir qismi aralash komponentlarining vaznlarini (𝑎𝑖 ) hisoblaydi, qolgan qismi esa har bir komponentning parametrlarini (o‘rtacha qiymat va dispersiya) 15

generatsiya qiladi. Biz Progressive transformer arxitekturasidan foydalanamiz, biroq chiqish qatlamini Gaussian aralashmalarini modellashtirish uchun moslashtiramiz. Berilgan manba tokeni 𝑥𝑡 uchun ishora poza kadri 𝑦𝑢 ni hosil qilishning shartli ehtimoli quyidagicha ifodalanadi: 𝑀 𝑝(𝑦𝑢 | 𝑥𝑡 ) = ∑ 𝛼𝑖 (𝑥𝑡 )∅𝑖 (𝑦𝑢 | 𝑥𝑡 ) (16) 𝑖=0 bu yerda 𝑀 - aralash komponentlari soni, 𝛼𝑖 (𝑥𝑡 ) - 𝑖-komponent vazni (ya’ni poza shu komponentdan kelib chiqish ehtimoli), ∅𝑖 (𝑦𝑢 | 𝑥𝑡 ) esa Gauss zichlik funksiyasi: ∅𝑖 (𝑦𝑢 | 𝑥𝑡 ) = 1 𝜎𝑖 (𝑥𝑡 )√2𝜋 ‖𝑦𝑢 −𝜇𝑖 (𝑥𝑡 )‖2 𝑒𝑥𝑝 2𝜎𝑖 (𝑥𝑡)2 (17) Bu yerda 𝜇𝑖 (𝑥𝑡 ) va 𝜎𝑖 (𝑥𝑡 )mos ravishda o‘rtacha qiymat va dispersiyani bildiradi. Mixture koeffitsiyentlari softmax aktivatsiyasi orqali normallashtiriladi (ular 0,1 oraliqda va yig‘indisi 1 ga teng). Dispersiya qiymatlariga esa eksponensial funksiya qo‘llanadi, faqat musbat natijalarni ta’minlash uchun. Aralash taqsimot (Mixture Distribution) 𝑚=0 Salbiy logarifmik yo qotish ehtimolligi 𝐿𝑀𝐷𝑁 𝛼0 (𝑥𝑡 ), 𝜇0 (𝑥𝑡 ), 𝜎0 (𝑥𝑡 ) 𝑥𝑡 𝑥𝑇 Aralash pozalar taqsimoti Glosslar 𝑥0 Progressiv Transformer Generator Namuna olish 𝑚=1 𝛼1 (𝑥𝑡 ), 𝜇1 (𝑥𝑡 ), 𝜎1 (𝑥𝑡 ) 𝑦1:𝑈 , 𝑐1:𝑈 𝑚=2 𝑦1:𝑢−1 𝛼2 (𝑥𝑡 ), 𝜇2 (𝑥𝑡 ), 𝜎2 (𝑥𝑡 ) 6-rasm. Aralash zichlik tarmog‘ining (Mixture Density Networks) umumiy tuzilishi. Optimallashtirish. O‘qitish jarayonidan maqsad - haqiqiy tana holati ma’lumotlarni bashorat qilingan aralash taqsimotidan kelib chiqish ehtimolini maksimallashtirishdir. Bu manfiy log ehtimollikni minimallashtirish orqali amalga oshiriladi: 𝑈 𝑈 𝑀 𝐿𝑀𝐷𝑁 = − ∑ log 𝑝 (𝑦𝑢 | 𝑥𝑡 ) = − ∑ log ∑ 𝛼𝑖 (𝑥𝑡 )∅𝑖 (𝑦𝑢 | 𝑥𝑡 ) 𝑢=1 𝑢=1 (18) 𝑖=1 bu yerda 𝑈 - ketma-ketlik uzunligi, 𝑀 - aralash komponentlari soni. Namuna olish. Modelni sinash vaqtida 6-rasmda berilganidek imo-ishora harakat nuqtalari namunalarini 16-formuladagi aralash taqsimotidan tanlab olamiz. Avval eng ehtimollik taqsimot 16

tanlanadi: 𝑖𝑚𝑎𝑥 = 𝑎𝑟𝑔𝑚𝑎𝑥𝑖 𝛼𝑖 (𝑥𝑡 ) so‘ngra ushbu komponentning markazi 𝜇𝑖𝑚𝑎𝑥 (𝑥𝑡 ) bashorat sifatida olinadi. Qo‘l bo‘g‘inlarida keskin o‘zgarishlarni kamaytirish uchun 𝜎(𝑥𝑡 ) = 0 qilib belgilanadi. Bu ayniqsa qo‘l bo‘g‘inlari kabi kichik nuqtalarda katta 𝜎 qiymati keltirib chiqaradigan keskin o‘zgarishlarning oldini oladi. Bir nechta vaqt qadamlari uchun to‘liq ketma-ketlik hosil qilishda, har bir kadr aralash zichlik modelidan autoregressiv tarzda ketma-ket tanlab olinadi. Tanlangan sign kadrlar keyingi transformer vaqt-qadamlariga kiritma sifatida uzatiladi va yakunda to‘liq ishora poza ketma-ketligi 𝑦1:𝑈 generatsiya qilinadi. Aralash zichlik tarmog‘i va raqobatli o‘qitish yondashuvi yuqorida bayon etilgan raqobatli trening rejimi bilan ham birlashtirilishi mumkin. Ushbu holatda Aralash zichlik tarmog‘i modeli raqobatli generator sifatida qaraladi va u shartli diskriminatorga qarshi qo‘yiladi, bunda namuna olingan sign poza diskriminatorga kirish sifatida uzatiladi. Yakuniy yo‘qotish funksiyasi esa 18formuladagi manfiy log ehtimollikva 10-formuladagi raqobatli generator yo‘qotishning og‘irliklangan kombinatsiyasi ko‘rinishida ifodalanadi: 𝐺 (𝐺, 𝐿𝐺𝑀𝐷𝑁 = 𝜆𝑀𝐷𝑁 𝐿𝑀𝐷𝑁 (𝐺) + 𝜆𝐺𝐴𝑁 ℒ𝐺𝐴𝑁 𝐷) (19) Modelni sinov bosqichida diskriminator tashlab yuboriladi, chiqish esa Aralash zichlik tarmog‘ining aralash taqsimotidan tanlab olingan namunalar orqali hosil qilinadi. Imo–ishora poza ketma-ketligi chiqishlari. Mazkur model konfiguratsiyalarining har biri manba og‘zaki til ketma-ketligi 𝑥1:𝑇 asosida imo–ishora poza ketma-ketligini 𝑦1:𝑈 hosil qilishga o‘rgatilgan. Ushbu skelet ketma-ketligidan video yaratish nisbatan oddiy vazifa bo‘lib, bo‘g‘inlarni belgilash va tegishli suyaklarni ulash orqali amalga oshiriladi; vaqt bo‘yicha ma’lumot esa Progressiv transformer hisoblagichi yordamida taqdim etiladi. Hosil qilingan 3D bo‘g‘inlar keyinchalik avatarlarni animatsiya qilish yoki GAN’ni boshqarish uchun ishlatilishi mumkin. Hosil qilingan imo–ishora poza ketma-ketligi berilgan matnning haqiqiy tarjimasi bo‘lsa-da, u ma’lumot to‘plamidagi referensiyadan boshqacha tezlikda bajarilishi mumkin. Bu noto‘g‘ri emas, chunki har bir ishorachi o‘zining o‘ziga xos ritmi va tezligida imo–ishora qiladi, shuningdek, bizning model ham o‘z kadensiga ega bo‘ladi. Biroq, imo-ishora ketma-ketliklari bilan vizual taqqoslashni osonlashtirish uchun Dynamic Time Warping qo‘llanilib, yaratilgan imo–ishora ketma-ketliklari vaqt bo‘yicha moslashtiriladi. Bu amal kontentni o‘zgartirmaydi, balki faqat vizualizatsiya uchun vaqtli uyg‘unlikni ta’minlaydi. Garchi bizning asosiy maqsadimiz real vaqtli tizim qurish bo‘lmagan bo‘lsa-da, joriy implementatsiya deyarli real vaqt rejimida ishlaydi va og‘zaki nutq jumlasini soniyalar ichida imo– ishora tili videosiga tarjima qila oladi. Tarjima tabiati butun jumla kontekstini to‘liq o‘rganishni talab qilgani sababli, kichik kechikish mavjud bo‘ladi. Shu bois, avtomatik tizim tomonidan kiritilgan ushbu kichik kechikish qo‘shimcha sezilarli kechikishga olib kelmaydi. Ma'lumotlar to‘plami (DATASET). Mazkur tadqiqot doirasida ishlab chiqilgan ma’lumotlar to‘plami O‘zbek imo-ishora tiliga asoslangan bo‘lib, dinamik imo-ishoralarni avtomatik tanib olish va ilmiy-tadqiqot ishlari uchun foydalanishga mo‘ljallangan. Ushbu dataset yuqori aniqlikdagi video ma’lumotlarga ehtiyoj sezmaydigan, MediaPipe platformasi asosidagi yengil va hisoblash jihatidan samarali metodologiyaga moslashtirilgan. Ma’lumotlar to‘plamning yaratilishidan ko‘zlangan asosiy maqsad imo-ishora tilini soddalashtirilgan, biroq real sharoitga maksimal 17

darajada yaqin holda aniqlash imkonini beruvchi modelni ta’minlashdir. To‘plam tarkibida kundalik muloqotda keng qo‘llaniladigan asosiy imo-ishoralar majmuasi jamlangan. Mazkur tadqiqot uchun tuzilgan ma’lumotlar to‘plami qat’iy talablarga asoslangan bo‘lib, har bir imo-ishora uch nafar suxandon tomonidan ijro etilgan va ular tomonidan har bir ishora uchun uchta video yozib olingan. Shu tariqa, umumiy hajm 200 ishora × 3 suxandon × 3 video formulasi asosida 1800 ta video namunani tashkil etdi. Videolar HD Pro Webcam C920 qurilmasi yordamida USB kabel orqali kompyuterga ulanib, OpenCV kutubxonasining VideoCapture funksiyasi orqali yozib olindi. Har bir video 1 soniya davomiylikka, 30 FPS (kadr/sekund) tezlikka va 640×480 piksel o‘lchamga ega bo‘ldi. Yozib olish jarayonida imo-ishoralarni aniq va bir xil ifodalashga e’tibor qaratildi, hamda, bu jarayon maxsus ishlab chiqilgan soddalashtirilgan yozib olish modeli asosida amalga oshirildi. Bunday yondashuv murakkab texnik vositalardan foydalanmagan holda modelni o‘qitish va baholash imkonini beradi [19]. Baholash usullari: Modelning samaradorligini baholash uchun BLEU va ROUGE kabi baholash metrikalari qo‘llanildi. Ushbu metrikalar tabiiy til modellarida keng tarqalgan bo‘lib, matn generatsiyasi jarayonida hosil bo‘lgan chiqishlarning tabiiyligi va maqsadli matnga mazmuniy yaqinligini o‘lchashda muhim ahamiyatga ega. Quyida ushbu metrikalarning har biri haqida qisqacha ma’lumot beriladi. BLEU (Bilingual Evaluation Understudy): BLEU ko‘rsatkichi imo-ishora tarjimasi tizimlarida glossdan poza ketma-ketliklarini generatsiya qilish sifatini baholashda qo‘llanilishi mumkin. Bu metrika hosil qilingan poza ketma-ketliklari va ground-truth orasidagi N-gram darajasidagi o‘xshashlikni o‘lchaydi. Biroq, BLEU faqat statistik aniqlikka asoslanganligi sababli, imo-ishoralarning ravonligi, ifodadorligi va semantik aniqligini to‘liq qamrab olmaydi. Shuningdek, imo ketma-ketligining uzunligi yoki artikulyatsiya tafovutlari natijaga sezilarli ta’sir ko‘rsatishi mumkin. Shu sababli, BLEU ko‘pincha boshqa baholash ko‘rsatkichlari bilan birgalikda ishlatiladi. ROUGE (Recall-Oriented Understudy for Gisting Evaluation): ROUGE glossdan poza tarjimasi natijalarini baholashda hosil bo‘lgan ketma-ketlik va asl (ground-truth) ketma-ketlik orasidagi N-gram darajasidagi moslikni hisoblash orqali qo‘llanadi. Ushbu ko‘rsatkich imoishoralarning semantik tarkibini qanchalik saqlab qolishini ko‘rsatadi. ROUGE ayniqsa imo-ishora ketma-ketligida mazmuniy moslikni baholash uchun muhimdir, chunki u imo-ishoralarning ma’nosini ifodalashdagi aniqlikni avtomatik tarzda o‘lchash imkonini beradi. Natijalar Model samaradorligini baholash uzluksiz ketma-ketliklarda murakkab masalalardan biri hisoblanadi, chunki an’anaviy MSE ko‘rsatkichi imo-ishoradagi semantik mazmunni to‘liq ifodalay olmaydi. Shu sababli biz baholash jarayonida orqaga tarjima (back translation) usulidan foydalanib, yaratilgan tana harakati nuqtalarini og‘zaki tilga qayta tarjima qildik. Bu yondashuv generatsiya qilingan ketma-ketliklarning qanchalik tushunarli va mazmuniy jihatdan saqlanganini ko‘rsatib berdi. Natijalar shuni ko‘rsatdiki, tana belgilari va yuz belgilarini birlashtirgan konfiguratsiya eng yuqori BLEU ko‘rsatkichlariga erishdi, faqat yuz belgilari asosidagi konfiguratsiya esa eng past natijani berdi. Bu esa tana belgilari va yuz belgilari xususiyatlar bir-birini to‘ldiruvchi muhim komponent ekanini tasdiqlaydi. Jadvaldan ko‘rinadiki, tana belgilari + yuz belgilari konfiguratsiyasi ham train, ham test bosqichlarida eng yuqori natija ko‘rsatgan, bu esa qo‘l va yuz belgilarini birgalikda ishlatishning afzalligini tasdiqlaydi. Faqat yuz belgilariga asoslangan konfiguratsiya eng 18

past ko‘rsatkichni berdi, bu esa yuz belgilarisignallarning o‘zi yetarli emasligini bildiradi. Quyidagi 1-jadvalda turli konfiguratsiyalar uchun BLEU-4 natijalari keltirilgan: 1-jadval. Poza turlari uchun haqiqiy tarjima natijalari. O‘quv to‘plami Test to‘plami Poza turlari (Train) BLEU- (Test) BLEU4 4 Tana belgilari 11.05 9.97 Yuz belgilari 8.65 9.18 Tana belgilari + Yuz 11.44 11.01 belgilari Qiziqarli jihati shundaki, ayrim hollarda modelimiz yaratgan ketma-ketliklar hatto groundtruth ma’lumotlardan ham yuqori natija berdi, sababi generatsiya qilingan chiqishlar silliqlashgan va barqaror bo‘lib, asl ma’lumotlarda esa 2D–3D xaritalash va ma’lumot sifati sababli soxta effektlar uchraydi. Vizual tahlillar ham ushbu natijalarni tasdiqlaydi. Model tomonidan yaratilgan sign ketmaketliklar haqiqiyga, silliq va semantik jihatdan mos chiqdi. Tana harakatlari aniq va izchil, qo‘l shakllari esa ma’noni ifodalashda yetarli bo‘lsa-da, biroz kamroq artikulyatsiyaga ega. Yuz belgilari bo‘yicha bosh harakatlari aniq saqlangan, biroq lab artikulyatsiyasi biroz cheklangan. Sifat baholash. Baholash natijalari shuni ko‘rsatadiki, bizning SLT modelimiz gloss-to-pose vazifasida vizual jihatdan ishonchli va realistik ketma-ketliklarni generatsiya qila oladi. 7-rasmda ko‘rsatilganidek, modelning chiqishi kiruvchi videodan olingan harakat nuqtalari bilan yonma-yon taqqoslanganda, yaratilgan ketma-ketliklar vizual jihatdan silliq va semantik jihatdan mos kelishi kuzatiladi. Tana harakatlari aniq va izchil, qo‘l shakllari esa ma’noli bo‘lsa-da, ba’zan yetarli darajada ifodalanmagan. Yuz belgilaribelgilar bo‘yicha bosh harakatlari yaxshi aks ettirilgan, biroq lab artikulyatsiyasi biroz sustroq ko‘rinadi. Quyidagi 2-jadvalda Gloss →Pose aylantirish uchun turli usullar konfiguratsiyalarning BLEU-4 va ROUGE ko‘rsatkichlarini taqdim etadi: 2-jadval. Turli model konfiguratsiyalari uchun Gloss-to-Pose modelining natijalari. O‘quv to‘plami Test to‘plami (Train) (Test) Usullar BLEU-4 ROUGE BLEU-4 ROUGE Asosiy (Base) 7.30 26.11 6.79 25.02 Gauss shovqini 10.75 32.02 10.08 31.66 Raqobatli o‘qitish 11.41 33.59 10.16 32.03 Aralash zichlik tarmog‘i 11.54 33.40 11.68 32.79 Aralash zichlik tarmog‘i + 11.49 33.92 11.18 33.43 Raqobatli o‘qitish Taqqoslash natijalari shuni ko‘rsatadiki, Gaussian Noise konfiguratsiyasi modelni sezilarli darajada yaxshilasa-da, qo‘l shakllarida ifodalilik hali ham cheklangan bo‘lsa. Raqobatli o‘qitish bu kamchilikni kamaytirib, chiqishlarni yanada ifodaliroq va reallikka yaqinlashtiradi. Aralash zichlik tarmog‘i konfiguratsiyasi esa eng yuqori BLEU-4 va ROUGE natijalarini qayd etib, ground-truth 19