Management and Future Technologies | Volume 2, Issue 2 | № 006

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 321 Figure 3. Transformative effects of cloud computing across industries (Source: Author’s work) The evolution of cloud computing solidified into distinct service models, each offering different levels of abstraction and control: Infrastructure as a Service (IaaS): Provides fundamental computing resources over the internet, including virtual machines, storage, networks, and operating systems. Users have the most control over their infrastructure. (e.g., AWS EC2, Google Compute Engine, Azure Virtual Machines). Platform as a Service (PaaS): Offers a platform for developers to build, run, and manage applications without managing the underlying infrastructure (hardware and operating systems). (e.g., Google App Engine, AWS Elastic Beanstalk, Heroku). Software as a Service (SaaS): Delivers ready-to-use applications over the internet, typically on a subscription basis. Users simply access the software through a web browser or mobile app. (e.g., Salesforce, Gmail, Microsoft 365, Dropbox). Beyond service models, cloud computing has also developed various deployment models to cater to different organizational needs and security requirements: Public Cloud: Services are offered over the public internet and shared among multiple customers (tenants). It offers high scalability and cost-effectiveness. (e.g., AWS, Azure, Google Cloud). Private Cloud: Cloud infrastructure is operated exclusively for a single organization. It can be managed internally or by a third party. Offers greater control and security. Hybrid Cloud: A combination of two or more distinct cloud infrastructures (private, public, or community) that remain unique entities but are bound together by standardized or proprietary technology that enables data and application portability. Community Cloud: Cloud infrastructure is shared by several organizations from a specific

Volume 2, Issue 2 322 June 2025 Management and Future Technologies journal.umft.uz community with shared concerns (e.g., security requirements, compliance considerations). Conclusion The evolution of cloud computing is a testament to continuous innovation in the IT sector. From the conceptual seeds of time-sharing to the sophisticated, global infrastructure of today, cloud computing has transformed from a futuristic vision into an indispensable reality. It has democratized access to powerful computing resources, fueled digital transformation across industries, and enabled the proliferation of new technologies like AI and IoT. While challenges related to security, cost management, and vendor lock-in persist, the ongoing advancements in areas like edge computing, serverless architectures, and specialized cloud services promise to further expand the capabilities and reach of the cloud. The journey of cloud computing is far from over; it remains a dynamic and evolving paradigm that will continue to shape the future of technology and human interaction for decades to come.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 References 1. NIST. (2011). The NIST Definition of Cloud Computing. National Institute of Standards and Technology. 2. Abdulaxatov, M. (2024). INFRASTRUCTURE OF BACKEND AND FRONTEND INFORMATION SYSTEMS. Nordic_Press, 3(0003). 3. Abdulaxatov, M., & Zoirov, U. (2023). The implementation process of designing a digital organization. The problem to determine. Science and Education, 4(3), 168-173. 4. Mirzarakhimova, A., & Abdulakhatov, M. (2023, December). Analysis of Healthcare Services in the Digital Economy. In Proceedings of the 7th International Conference on Future Networks and Distributed Systems (pp. 410-414). 5. Abdulakhatov, M., & Jaloliddinova, M. (2022). THE MAIN IMPACTS OF DIGITAL TRANSFORMATION ON SMALL TO MEDIUM-SIZED BUSINESS ENTERPRISES. Raqamli iqtisodiyot va axborot texnologiyalari, 2(3), 43-47. 6. Abdulaxatov, M. (2024). CMS TIZIMLARIDAN FOYDALANIGAN HOLDA SAYT KONTENTINI YARATISH. Nordic_Press, 3(0003). 7. Kobilov, A., Abdulakhatov, M., & Jaloliddinova, M. (2021). PECULIARITIES OF THE USE OF ARTIFICIAL INTELLIGENCE IN THE EDUCATIONAL PROCESS. Raqamli iqtisodiyot va axborot texnologiyalari, 1(3), 32-37. 8. Abdulaxatov, M. (2024). THE MAIN ASPECTS OF INFORMATION AND DATA SYSTEMS. Nordic_Press, 3(0003). 9. Abdulakhatov, M. M. THE APPLICATION OF DIGITAL MARKETING STRATEGIES. Management and future technologies, Issue 1, 4. 2024 10. Salesforce.com. (n.d.). About Salesforce. Retrieved from https://www.salesforce.com/company/ 11. Amazon Web Services. (n.d.). About AWS. Retrieved from https://aws.amazon.com/about-aws/ (Note: Specific historical launch dates for EC2/S3 are well-documented as 2006.) 12. Google Cloud. (n.d.). About Google Cloud. Retrieved from https://cloud.google.com/about 323

Volume 2, Issue 2 June 2025 324 Mualliflar Elov Botir Xusainova Zilola “Kompyuter lingvistikasi va raqamli texnologiyalar” kafedrasi, Alisher Navoiy nomidagi Toshkent davlat o‘zbek tili va adabiyoti universiteti, Toshkent, 100208, O‘zbekiston; elov@navoiy-uni.uz, xusainovazilola@navoiy-uni.uz Mas’ul: elov@navoiy-uni.uz Copyright: © 2025 by the authors. Ushbu maqola Creative Commons Attribution (CC BY) litsenziyasi shartlari asosida tarqatiladigan ochiq foydalanish maqolasi hisoblanadi (https://creativecommons.org/ licenses/by/4.0/). Management and Future Technologies journal.umft.uz TIL KORPUSINI TEGLASH JARAYONIDA ANNOTATORLARNING ROLI, IAA O‘LCHOVLARI VA TEGLASH SIFATINI TA’MINLASH METODLARI A nnotatsiya: Tabiiy tilni qayta ishlash (NLP) sohasida ishonchli teglangan ma’lumotlar mashinali o‘qitish (ML) va modellarni baholash uchun muhim ahamiyatga ega. Ushbu maqolada teglash jarayonining bosqichlari keltiriladi va annotatorlararo kelishuv (IAA) mezonlari asosida teglash izchilligi baholanadi. Matnli korpus tayyorlash, uni teglash ko‘rsatmalarini ishlab chiqish, hamda bir nechta annotatorlar tomonidan mustaqil ravishda matnni teglash bosqichlari bayon etiladi. Annotatorlar mustaqil tarzda so‘z turkumlarini teglash (POS) va nomlangan obyektlarni aniqlash (NER) kabi NLP vazifalari bo‘yicha matnni teg bilan belgilaydi. Annotatorlararo kelishuv darajasi Kohen Kappasi (ikki annotator o‘rtasidagi kelishuv), Fleiss Kappasi (bir nechta annotatorli holatda) va Krippendorff Alphasi (umumiy kelishuv o‘lchovi) kabi statistik ko‘rsatkichlar yordamida baholanadi. Olingan natijalar o‘rtacha 0,75 atrofidagi Kappa qiymatini va yuqori kelishuv darajasini ko‘rsatadi. Bu esa teglash natijasining yuqori ekanligini tasdiqlaydi. Shuningdek, annotatorlar o‘rtasidagi tafovutlar teglash bo‘yicha ko‘rsatmalarni yanada takomillashtirish zarurligini ko‘rsatadi. Teglash ko‘rsatmalari qanchalik aniq ishlab chiqilgan bo‘lsa, kelishuv darajasi shunchalik yuqori bo‘ladi. Teglash jarayonida IAA kelishuv ko‘rsatkichlarini qo‘llash ma’lumotlar sifatini oshirishga xizmat qiladi. Kalit so‘zlar: Teglash jarayoni, annotatorlararo kelishuv, Inter-Annotator Agreement (IAA), Kohen Kappasi, Fleiss Kappasi, Krippendorff Alpha, tabiiy tilni qayta ishlash (NLP), o‘lchov metrikalari.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 Kirish Tabiiy tilda ishlov berish (NLP) sohasida ma’lumotlarni qo‘lda teglash (annotatsiya) jarayoni muhim o‘rin tutadi. Teglash – bu matn, tasvir yoki boshqa ma’lumotlarga mutaxassislar tomonidan teglar yoki kategorial belgi qo‘yish jarayoni bo‘lib, mashinali o‘qitish (ML) modellari uchun ma’lumotlar to‘plamini tayyorlashga xizmat qiladi. Teglash sifatli amalga oshirilsa, modelni o‘qitish va baholash jarayonlari aniqroq bo‘ladi. Aksincha, noto‘g‘ri teglangan ma’lumot – NLP tizimi natijalarining yomonlashuviga olib keladi[1]. Shuning uchun annotatorlar, ya’ni teglashni amalga oshiruvchi mutaxassislar hal qiluvchi ahamiyatga ega. Annotatorlar jamoasi odatda soha bo‘yicha mutaxassislar (Subject Matter Experts)dan iborat bo‘lib, ular maxsus yo‘riqnomalar (guidelines) asosida teglashni amalga oshiradi[2]. Teglash jarayonida har bir annotator mustaqil ishlashi, ammo umumiy qoidalarga amal qilishi lozim. Annotatorlar o‘rtasida bir xil ma’lumotga bir xil teg berish annotatsiya sifatining muhim ko‘rsatkichi hisoblanadi. Annotatorlarning qarorlari o‘zaro qanchalik mos kelishini Inter-Annotator Agreement (IAA), ya’ni annotatorlararo kelishuv ko‘rsatkichi orqali o‘lchash qabul qilingan[3]. IAA aslida bir xil ma’lumotlar ustida bir necha annotator mustaqil ishlaganda, ularning natijalari necha foiz hollarda o‘zaro mos tushishini ifodalaydi[4]. Ma’lumotlarni teglash natijasi past bo‘lsa, bu annotatsiya jarayonida muammo borligini va ma’lumotlar sifati pastligini anglatadi. IAA darajasi yuqori bo‘lsa, aksincha, teglash ishonchliroq va “oltin standart”ga yaqin bo‘ladi[5]. Ushbu maqolada teglash jarayoni va annotatorlar roli (mutaxassislarni tanlash, ularni tayyorlash va ishini monitoring qilish) tahlil qilinadi. Shuningdek, Inter-Annotator Agreement (IAA) jarayonidagi o‘lchov metrikalari – bevosita kelishuv (Observed Agreement), Kohen Kappasi[6], Fleiss Kappasi va Krippendorff Alpha[7] formulalar bilan ko‘rsatiladi. So‘ngra teglash sifatini ta’minlash metodlari – konsensusga erishish, annotatorlarni o‘qitish, bir nechta annotator ishtirokida sinovlar va tafovutlarni hal etish jarayoni haqida so‘z yuritiladi. Natijada, teglash sifati va IAA ko‘rsatkichlari o‘rtasidagi bog‘liqlik tahlil qilinadi. Teglash sifati past bo‘lganda, mashinali o‘qitish modeli natijalariga ta’siri tajribalar va ilmiy manbalar asosida muhokama qilinadi. Metodologiya Annotatorlarni tanlash, tayyorlash va monitoring qilish Teglash jarayonini samarali tashkil qilish maqsadida annotatorlarni to‘g‘ri tanlash va ularni teglash vazifasiga tayyorlash zarur. Amaliyotda, avvalo, teglash talab qilinayotgan soha bo‘yicha yetarli bilim va ko‘nikmaga ega mutaxassislar jalb etiladi[1]. Masalan, matnlardagi POS teglash NLP vazifasi uchun tilshunoslar, tibbiy ma’lumotlarni teglash uchun tibbiyot mutaxassislari tanlanadi. Agar vazifa murakkab bo‘lsa, annotatorlar maxsus o‘quv-treningda o‘qitilishi tavsiya etiladi. 325

Volume 2, Issue 2 326 June 2025 Management and Future Technologies journal.umft.uz Teglash yo‘riqnomasi – har bir annotator amal qilishi lozim bo‘lgan qoidalar to‘plami bo‘lib, oldindan ishlab chiqiladi va mutaxassislarga tushuntiriladi. Aniq va batafsil ko‘rsatmalar annotatorlarning vazifani bir xil tushunib, izchil teglashiga yordam beradi. Teglash jarayonida annotatorlar ishini monitoring qilish nihoyatda muhim bosqich hisobalanib, quyidagi ikki xil yondashuv asosida amalga oshiriladi: 1) Individual taqsimlash. Har bir annotator ma’lumotlar to‘plamining alohida (o‘zaro ustmaust tushmagan) qismini teglaydi. Bunda, annotatorlar natijalari to‘g‘ridan-to‘g‘ri solishtirib bo‘lmaydi, shuning uchun sifat nazorati uchun har bir annotator teglagan ma’lumotlarning bir qismini alohida ekspert tomonidan ko‘rib chiqish talab etiladi. Masalan, har bir annotator ishlagan hujjatlarning ma’lum foizi boshqasi tomonidan tekshirilishi mumkin. Bu orqali yopiq ko‘rinishdagi xatolar aniqlanadi. 2) Ustma-ust tushuvchi taqsimlash. Bu yondashuvda har bir ma’lumot bir necha (kamida ikki) annotator tomonidan mustaqil teglanadi. Bunda, biror matn bo‘yicha annotatorlar orasidagi tafovutlarni aniqlash mumkin bo‘ladi va to‘plam bo‘yicha o‘rtacha IAAni hisoblash imkoniyati paydo bo‘ladi. Annotatorlar kelishuv darajasi past bo‘lsa, loyiha rahbarlari yo‘riqnomani qayta ko‘rib chiqishi yoki annotatorlarni qayta o‘qitishi zarur. Amalga oshirilgan tajribalar shuni ko‘rsatadiki, katta hajmdagi korpusni teglashni boshlashdan oldin kichikroq sinov bosqichida IAA yuqori qiymatga erishilishiga ta’minlash kerak. Bir necha iterativ teglash va muhokamalar orqali jamoa yo‘riqnomani takomillashtirishi va annotatorlar bir xil tushunishini ta’minlashi lozim. Shundan so‘ng, asosiy korpusni teglash tavsiya etiladi. Annotatorlar faoliyatini nazorat qilish davomida doimiy fikr-mulohaza (feedback) va treninglar o‘tkazish kerak. Tadqiqotlar shuni ko‘rsatadiki, muntazam tazrda annotatorlarni o‘qitish va aloqalar teglash sifatini sezilarli darajada oshiradi. Annotatorlar ishidagi nomuvofiqliklar va qiyinchiliklar muhokama qilinib borilsa, ular keyingi vazifalarda xatolarini tuzatadi va izchillik ortadi. Annotatorlarning kelishuv ko‘rsatkichlari (masalan, kappa)ni davriy ravishda hisoblab borish orqali qaysi annotator ko‘proq xato teglayotganligi, qaysi kategoriyalar noaniqlik keltirayotgani aniqlanadi. Shu tariqa, teglash jarayonini real vaqt rejimida monitoring qilib, sifati pasayib ketishining oldi olinadi. Inter-Annotator Agreement (IAA) va uning o‘lchovlari Annotatorlararo kelishuv – bir ma’lumot ustida ishlagan ikki yoki undan ortiq annotatorlar tomonidan teglangan ma’lumotlarning o‘zaro mos kelish darajasi. IAA qiymati qanchalik yuqori bo‘lsa, ma’lumotlarni teglash sifati shunchalik yaxshi hisoblanadi. IAAni turli usullar bilan miqdoriy ifodalash mumkin. Eng sodda usul – bevosita kelishuv foizini topish, ya’ni annotatorlar necha hollarda bir xil teg qo‘yganini aniqlash. Biroq, kelishuv foizi ba’zan xato bo‘lishi mumkin, chunki annotatorlarning tasodifan bir xil javob tanlashi ehtimoli ham mavjud. Shu sabab, tadqiqotlarda “chance-corrected” (tasodifiy moslikka tuzatilgan) ko‘rsatkichlar qo‘llaniladi[8]. Quyida IAAni

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 o‘lchashda eng ko‘p qo‘llaniladigan metrikalar keltirilgan: 1. Bevosita kelishuv (Observed Agreement, Po) – Bu ko‘rsatkich annotatorlar nechta obyekt bo‘yicha to‘liq bir xil teg qo‘yganini foizi sifatida aniqlanadi. Masalan, ikki annotator 100 ta holatdan 85 tasida bir xil teg qo‘ygan bo‘lsa, Po=0.85 (ya’ni 85%). 𝑃𝑃� � 𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎𝑎 𝑏𝑏𝑏𝑏𝑏𝑏 𝑥𝑥𝑥𝑥𝑥𝑥 𝑞𝑞𝑞𝑞𝑞𝑞𝑞𝑞𝑞𝑞 𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐𝑐 ℎ𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢𝑢 ℎ𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜𝑜 𝑠𝑠𝑠𝑠𝑠𝑠𝑠𝑠 Po ko‘rsatkich tasodifiy moslikni hisobga olmaydi va shuning uchun yuqori qiymatlar doimo yuqori sifatni anglatmasligi mumkin. Masalan, kam kategoriyali yoki notekis taqsimlangan ma’lumotlarda tasodifan kelishuv yuqori chiqishi mumkin. 2. Kohen kappasi (Cohen’s Kappa, κ) – ikki annotator uchun kelishuv ko‘rsatkichi bo‘lib[9], Kohen Kappa statistikasi ikki annotator bergan teglarning mosligi tasodifiy mos kelish ehtimolidan aniq farq qiladimi degan savolga javob beradi. Kappa qiymati quyidagi formula orqali hisoblanadi[10]: 𝜅𝜅 � 𝑃𝑃� � 𝑃𝑃� 1 � 𝑃𝑃� bu yerda 𝑷𝑷𝒐𝒐 – yuqoridagi kuzatilgan (bevosita) kelishuv, 𝑷𝑷𝒆𝒆 esa tasodifan kelishib qolish ehtimoli. 𝑷𝑷𝒆𝒆 qiymatni hisoblash uchun har bir annotatorning teg taqsimotlari olinib, ixtiyoriy holatda bir xil teg berilish ehtimoli topiladi. Kappaning qiymati [-1..1] oralig‘ida bo‘lib, � � � to‘liq kelishuvni, � � � tasodifiy darajadagi moslikni, � � � esa tasodifdan yomon va sistematik nomuvofiqlik borligini bildiradi. Amaliyotda kappa 0.80 dan yuqori bo‘lsa, “deyarli mukammal” kelishuv, [0.60..0.80] oralig‘ida bo‘lsa, “yuqori” yoki “yetarli” kelishuv, [0.40..0.60] oralig‘ida “o‘rtacha” kelishuv, bundan past qiymat esa jiddiy muammo borligini ko‘rsatadi (Landis va Koch mezonlari)[11]. Kohen Kappa qiymati faqat ikki annotator va nominal klassifikatsiya uchun mo‘ljallangan. 3. Fleiss Kappasi. Ushbu metrika Cohen kappasining 𝑁𝑁 ta annotator ishtirokidagi umumiy holga tatbiq qilingan shaklidir[12]. Fleiss kappa tasodifiy moslikka tuzatilgan kelishuvni baholaydi va kategorik ma’lumotlar uchun qo‘llanadi. Bunda, har bir obyekt bo‘yicha annotatorlar orasidagi kelishuv darajasi avval topiladi, so‘ngra butun korpus bo‘yicha bu qiymatlar o‘rtacha olinadi. Buni 𝑷𝑷 deb belgilaymiz. Xuddi shu tarzda, har bir kategoriya bo‘yicha annotatorlarning umumiy tanlash ehtimoli kvadratlari yig‘indisi hisoblanadi. Bu tasodifiy kelishuv kutilmasi 𝑷𝑷𝒆𝒆 bo‘ladi[13]. Fleiss kappasi formulasi ham Kohen kappa kabi: 𝜅𝜅� � 𝑃𝑃 � 𝑃𝑃� 1 � 𝑃𝑃� Ushbu metrikani bo`yicha baholash Kohen kappaga o‘xshash tarzda amalga oshiriladi. Fleiss kappa metrikasida har bir obyekt bir xil sondagi annotatorlar tomonidan baholashga mo‘ljallangan. Masalan, har bir hujjatni 3 tadan annotator ko‘rgan bo‘lsa, foydalanish mumkin. 327

Volume 2, Issue 2 328 June 2025 Management and Future Technologies journal.umft.uz 4. Krippendorff Alpha (α) – universal kelishuv ko‘rsatkichi hisoblanadi. IAAni o‘lchash uchun eng moslashuvchan va mukammal ko‘rsatkichlardan biri bo‘lib, u istalgan sonli annotatorlar, turli tipdagi ma’lumotlar (nominal, ordinal, interval, nisbiy) va hatto to‘liq belgilarga ega bo‘lmagan ma’lumotlar (masalan, ba’zi obyektlar faqat bitta annotator tomonidan baholangan holatlar) uchun ham hisoblash imkonini beradi. Krippendorff alpha metrikasida juftliklar orasidagi nomuvofiqlik (disagreement)ni tahlil qilinib, uni tasodifiy nomuvofiqlik bilan solishtiriladi: 𝐷𝐷� � �1� 𝐷𝐷� bu yerda 𝑫𝑫𝒐𝒐 – kuzatilgan nomuvofiqlik darajasi (annotatorlar orasidagi farqlar yig‘indisi), 𝑫𝑫𝒆𝒆 esa tasodifiy kutilgan nomuvofiqlik. Shuningdek, 𝜶𝜶 ham (kappa kabi) kuzatilgan va kutilgan qiymatlarning nisbatiga asoslanadi, lekin bu yerda to‘g‘ridan-to‘g‘ri moslik emas, balki farqlar ko‘rib chiqiladi. Nominal ma’lumotlar uchun 𝜶𝜶 ning hisoblash natijasi Kohen kappa va Fleiss kappa bilan bir xil natija berishi mumkin[14], biroq 𝜶𝜶 metrikasi ko‘p qirrali: masalan, ordinal reytinglar uchun farqlar kvadratik og‘irlik bilan olinib, Weighted Kappaga teng natija beradi. 𝜶𝜶 qiymatining interpretatsiyasi ham kappa kabi: 1 – mukammal kelishuv, 0 – tasodifiy, manfiy – kelishmovchilik kuchli. Ko‘p hollarda teglash natijasini baholashda Krippendorff’s alpha metrikasi tavsiya etiladi. Chunki u turli hollarda qo‘llaniladi va bir necha turdagi kelishuv ko‘rsatkichlarini umumlashtiradi. Teglash sifatini baholashga qaratilgan tadqiqotlarda boshqa IAA ko‘rsatkichlari ham mavjud. Masalan, Scott’s Pi (Scott, 1955)[15] Kohen kappa metrikasiga o‘xshash metrika bo‘lib, ikki annotator uchun bir xil formulaga ega (faqat 𝑃𝑃� boshqacha hisoblanadi). Shuningdek, Gwet’s AC1/AC2, Pearson va Spearman korrelyatsiyalari kabi o‘lchovlar muayyan hollarda qo‘llaniladi. Biroq, yuqorida sanab o‘tilgan to‘rtta metrikalaridan ko‘p hollarda foydalaniladi. Kelishuv ko‘rsatkichlari vositasida teglash jarayonining ishonchliligini miqdoran baholash mumkin bo‘ladi. Quyidagi 1-jadvalda IAA va uning asosiy o‘lchovlari bo‘yicha tahlil keltirilgan. Ushbu jadvalda har bir metrikaning maqsadi, formulasi, qo‘llanilish holati va afzalliklari qisqacha yoritilgan. Teglash sifatini ta’minlash usullari Teglash sifatini yuqori darajada ta‘minlash uchun bir qator metodik yondashuvlar qo‘llaniladi. Quyida asosiy usullar keltirilgan: 1. Aniq yo‘riqnoma. Teglash jarayonini boshlash uchun aniq va to‘liq yozma yo‘riqnoma ishlab chiqiladi. Unda har bir kategoriya yoki tegning ta’rifi, misollar, chegaraviy holatlar (edge cases) bo‘yicha ko‘rsatmalar bo‘ladi. Annotatorlar ushbu ko‘rsatmalarni to‘liq tushunganiga ishonch hosil qilish uchun birgalikdagi trening o‘tkaziladi. Shuningdek, teglash jarayoni davomida yangi noaniq holatlar yuzaga kelganda, yo‘riqnoma dinamik tarzda yangilanib boradi. 2. Bir necha annotator va konsensus: Muhim ma’lumotlar albatta kamida ikki nafar annotator tomonidan teglanishi va ularning natijalari solishtirilishi kerak. Agar natijalar orasida farq

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 bo‘lsa, oddiy konsensus algoritmlari qo‘llaniladi: masalan, ko‘pchilikning fikri bo‘yicha final yorliq tanlanadi yoki muhokama orqali umumiy qarorga kelinadi[16]. Konsensusli teglash individual annotator subyektivligining ta’sirini kamaytiradi va aniqroq natijani topishga xizmat qiladi. Ba’zi platformalar avtomatik konsensus olish vositalarini taklif qiladi. Masalan, agar 3 annotatordan 2 nafari bir xil teg qo‘ysa, shu teg qabul qilinadi, agar annotatirlar uch xil teg qo‘ysa, bu obyekt “nizo” sifatida belgilanib, keyingi tekshiruvga uzatiladi. 3. Adjudikatsiya (nizolarni hal etish): Bir nechta annotatorlar bergan teglarida tafovut yuzaga kelganda, adjudikator deb ataluvchi tajribali mutaxassis yakuniy hakamlikni amalga oshiradi[17]. Adjudikatsiya – bu bir obyektga tegishli bir necha versiyadagi teglarni solishtirib, ziddiyatlarni bartaraf etish jarayoni. Ko‘pincha adjudikator jamoaning katta tajribaga ega a’zosi bo‘ladi yoki annotatorlar guruhi birgalikda muhokama qilib, bahsli holatlar yuzasidan kelishilgan qarorga keladi. Masalan, matnning bir qismi bitta annotator tomonidan “neytral”, boshqasi tomonidan “salbiy” deb teglangan bo‘lsa, adjudikator matnni qayta ko‘rib, yo‘riqnoma mezonlariga muvofiq to‘g‘ri tegni belgilaydi va shu bilan oltin standartni shakllantiradi. Adjudikatsiya jarayoni ayniqsa teglash jarayoni boshlanishida muhim hisoblanib, jamoa birgalikda murakkab holatlarni tahlil qilib, kelgusida qanday teglash borasida bir qarashga ega bo‘ladi. 4. Davriy nazorat va tahlil (review cycle): Teglash davomida sifatni oshirish uchun doimiy nazorat va tahlillar o‘tkazib turiladi. Tajribali annotatorlar yangi teglangan ma’lumotlarni tekshiradi, bir-birining ishini ko‘rib chiqadi va nomuvofiqliklarni muhokama qiladi. Bu jarayon xatolarni dastlabki bosqichda tuzatishga va barchaning izchil ishlashiga xizmat qiladi. Masalan, har hafta jamoa to‘planib, murakkab teglangan misollarni (difficult cases) muhokama qilishi lozim. Teglangan ma’lumotlarni birgalikda ko‘rib chiqish annotatorlar o‘rtasida muloqotni kuchaytiradi va tushunmovchiliklarni bartaraf etadi. 329

Formulasi 1-jadval. IAA va uning asosiy o‘lchovlari bo‘yicha tahlil Asosiy maqsadi 𝜅𝜅 � Metrika nomi Bevosita Annotatorlar orasidagi kelishuv umumiy to‘g‘ri kelishuv ulushini (Observed Agreement, Pₒₒ) o‘lchaydi Tasodifiy kelishuvdan Kohen Kappasi tuzatilgan 2 annotatorli nominal kelishuvni (κ) o‘lchaydi 𝜅𝜅� � Faqat 2 annotator Nominal Tasodifdan ajratilgan real kelishuvni beradi. Aniqlikni oshiradi. Kohen Kappasi umumlashgan varianti. Annotatorlar soni farq qilishi mumkin. Noaniq, bo‘sh yoki yarim teglangan ma’lumotlarda ham ishlaydi. Moslashuvchan. Hisoblash murakkab, dasturiy vosita kerak. Farq (disagreement) tushunchasi asosida ishlaydi. Har bir obyekt bir xil miqdorda baholangan bo‘lishi kerak. Faqat 2 annotator, teng baholangan obyektlar kerak. Ma’lumot Annotatorlar soni Afzalliklari Cheklovlari turi Tasodifiy kelishuvni hisobga Har qanday Juda oddiy. olmaydi. Ko‘rsatilgan ≥ 2 annotator (nominal, Umumiy tasavvur qiymat chalg‘ituvchi bo‘lishi ordinal) beradi. mumkin. 𝑃𝑃� � 𝑃𝑃� 1 � 𝑃𝑃� Nominal ≥ 2 annotator ≥ 2 annotator 𝐷𝐷� 𝐷𝐷� Nominal, ordinal, interval, baho 𝑃𝑃 � 𝑃𝑃� 1 � 𝑃𝑃� 𝐴𝐴 𝑁𝑁 Fleiss Kappasi Ko‘p annotatorli (N > 2) holatlarda nominal kelishuvni o‘lchaydi � �1� 𝑃𝑃� � Krippendorff Alpha (α) Bunda, Har qanday tipdagi ma’lumot va annotatorlar soniga moslashuvchan IAA metrikasi 330 journal.umft.uz Management and Future Technologies June 2025 Volume 2, Issue 2

Management and Future Technologies journal.umft.uz A: Annotatorlar bir xil teg qo‘ygan holatlar soni N: Umumiy baholangan obyektlar soni 𝑷𝑷𝒐𝒐 : Kuzatilgan kelishuv 𝑷𝑷𝒆𝒆 : Tasodifiy kelishuv ehtimoli 𝑫𝑫𝒐𝒐 : Kuzatilgan nomuvofiqlik 𝑫𝑫𝒆𝒆 : Tasodifiy nomuvofiqlik June 2025 Volume 2, Issue 2 331

Volume 2, Issue 2 332 5. June 2025 Management and Future Technologies journal.umft.uz Avtomatlashtirilgan sifat nazorati: Katta hajmdagi ma’lumotlarni teglashda inson nazorati bilan birga avtomatik sifat tekshiruvlari (quality screens) joriy etilishi mumkin. Bunda teglangan ma’lumotlardagi mantiqiy bog‘liqsizliklar yoki qoidalarga zid holatlar dastur vositasida aniqlanadi. Masalan, agar annotator matnning biror segmentiga ikki xil teg qo‘ysa yoki noto‘g‘ri formatda kiritsa, tizim buni alohida nazoratga oladi. Yana bir usul – oldindan ma’lum “oltin” namunalarni teglashga qo‘shib, annotatorning ulardagi aniqligini kuzatish. Agar annotator bu nazorat namunalarida xato qilsa, uni ogohlantirish yoki qo‘shimcha trening o‘tkazilishi kerak. Sifat nazorati yordamida teglash jarayonidagi aniqlik va ishonchlilik saqlab qolinadi. 6. Baholash: Teglash sifati muntazam ravishda IAA metrikalari orqali baholanib boriladi. Masalan, har bir yangi 100 ta teglangan obyekt uchun jamoa Kohen yoki Fleiss kappasini hisoblab ko‘rishi mumkin. Agar kutilmaganda IAA pasaysa, darhol sabablarini o‘rganish lozim. Ba’zi hollarda, qo‘shimcha baholash vazifalari ham joriy etilishi mumkin. Masalan, vaqti-vaqti bilan annotatorlarga sinov testlari berilib, ularning qanchalik to‘g‘ri teglayotgani aniqlanadi. Bu natijalar bo‘yicha har bir annotator uchun sifat ko‘rsatkichi hisoblanib, eng yaxshi va eng yomon ko‘rsatkichga ega annotatorlar aniqlanadi. Natijada umumiy jarayon sifati yuqori darajada ushlab turiladi. Yuqoridagi chora-tadbirlarning barchasi ma’lumotlar to‘plamini izchil va ishonchli teglangan holatda shakllantirishga qaratilgan. Yuqori sifatli teglash – kelgusida quriladigan ML modellari muvaffaqiyatining poydevori hisoblanadi. Sifatli teglangan korpuslardan o‘rgatilgan modellar aniq va ishonchli natijalar beradi, noaniq teglangan ma’lumotlar esa model samaradorligini pasaytiradi. Natijalar Annotatsiya sifati va IAA o‘lchovlari o‘rtasidagi bog‘liqlik Annotatorlararo kelishuv (IAA) teglash sifatining bilvosita ko‘rsatkichi bo‘lib xizmat qiladi. Umuman olganda, teglash sifati oshgan sari IAA ham oshadi va aksincha[2]. Ushbu bog‘liqlik, o‘z navbatida, mashinali o‘qitish modellari natijalariga ham ta’sir qiladi. Yuqori sifatli teglangan ma’lumotlar bilan o‘qitilgan model odatda yuqori aniqlikka erishadi, past sifatli (kelishuvsiz) teglangan ma’lumotlar bilan o‘qitilgan model esa past natija ko‘rsatadi. Quyidagi 1-rasmda IAA o‘lchovlari o‘rtasidagi bog‘liqlik tavsiflangan.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 333 1-rasm. IAA o‘lchovlari o‘rtasidagi bog‘liqlik. Yuqoridagi 1-rasmdan ko‘rinib turibdiki, IAA oshgan sari modelning samaradorligi ham oshmoqda. Odatda, IAA va modelning aniqligi o‘rtasida ijobiy korrelyatsiya mavjud. Olib borilgan tadqiqot natijalariga ko‘ra bu korrelyatsiya r≈0.48 atrofida ekanligi ko‘rsatilgan. ya’ni sezilarli darajada musbat bog‘liqlik borligi statistik jihatdan tasdiqlangan[10]. Agar IAA qiymati yuqori bo‘lsa, model uchun maksimal erishish mumkin bo‘lgan aniqlik darajasi ham baland bo‘lishi zarur. Quyidagi 2-jadvalda teglash sifati pasayishi IAA metrikalarida va model natijasida qanday aks etishi keltirilgan. 2-jadval. Teglash sifati turli holatlarida IAA ko‘rsatkichlari va model aniqligi Annotatsiya sifati holati A’lo (deyarli mukammal) Yaxshi (yuqori) O‘rtacha Past (kelishmovchilik mavjud) Juda yomon (tasodifiy) 𝑷𝑷𝒐𝒐 (kelishuv) 1.00 0.90 0.75 Kohen 𝜿𝜿 1.00 0.80 0.50 Fleiss 𝜿𝜿 1.00 0.78 0.48 Krippendorff 𝜶𝜶 1.00 0.85 0.55 Taxminiy model aniqligi 0.99 (99%) 0.90 (90%) 0.75 (75%) 0.60 0.20 0.18 0.25 0.60 (60%) 0.50 0.00 0.00 0.00 0.50 (50%) Teglash sifati yuqori bo‘lsa, annotatorlar deyarli barcha holatda kelishadi (P� va kappasi 1 ga teng) va model aniqligi yuqori bo‘ladi. Teglash sifati pasaysa, kelishuv foizi va kappa keskin tushadi, model aniqligi ham shunga mos ravishda yomonlashadi. 50% kelishuv – bu taxminan tasodifiy teg berish darajasi bo‘lib, bunday ma’lumotdan o‘rgangan model ham 50% aniqlikdan oshmaydi. Muayyan ML modellarini ishlab chiqishda model aniqligi faqat IAA ga bog‘liq emas. Modelning arxitekturasi, ma’lumot hajmi va murakkabligi kabi omillar ham muhim rol o‘ynaydi. Ammo teglash sifati past bo‘lsa, hatto eng kuchli model ham yuqori natija bermaydi. Chunki model “shovqinli” ma’lumotni o‘rganadi. Masalan, teglarda xatolik yoki kelishmovchilik mavjud bo‘lsa, model noto‘g‘ri qolip (shablon)larni o‘zlashtirib olishi mumkin. Bu esa model sifatiga salbiy ta’sir

Volume 2, Issue 2 334 June 2025 Management and Future Technologies journal.umft.uz qiladi. Shu bois, teglash sifati past bo‘lsa, modelning xatosi ham ortadi. Bu amalga oshirilgan tajribalarda ko‘p kuzatilgan holatdir. Biroq, ayrim hollarda model IAAdan yuqori natija ko‘rsatishi ham mumkin[10]. Bu, odatda, annotatorlar o‘rtasidagi ba’zi farqlar tizimli bo‘lmagan yoki tasodifiy bo‘lganda yuzaga keladi. Model ko‘p ma’lumot ko‘rib, ikkala annotator qolipini ham qisman o‘rganadi va ba’zi hollarda har ikkisidan yaxshiroq bashorat qilishi mumkin. Masalan, ikki annotator baholagan matnlar to‘plamida annotatorlar 80% holatda kelishgan bo‘lsa (ߢ ൎ 0.6), model ba’zan 85% to‘g‘ri bashorat qila olishi mumkin. Bu holat ayniqsa annotatorlar o‘zaro bir-biridan biroz farqli xatolar qilganda kuzatiladi. Model bu xatolarni “o‘rtacha qilib”, asl mantiqni topishi mumkin. Shunday bo‘lsa-da, IAA model aniqligi uchun yuqori chegarani belgilamaydi, lekin ishonchli indikator vazifasini bajaradi. Tajribalar shuni ko‘rsatadiki, IAA va model aniqligi odatda bir-biriga mos ravishda o‘zgaradi. Shuning uchun IAA kelishuvni oshirish ustida ishlash bevosita model natijalarini ham yaxshilaydi. Teglash jarayonining real misollari Hozirgi kunda turli tillar bo‘yicha katta hajmli teglangan korpuslar yaratilmoqda. Ingliz tilida Brown Corpus[19], Penn Treebank kabi dastlabki ishlar mashhur bo‘lsa[20], o‘zbek tilida ham so‘nggi yillarda teglangan korpuslar yaratishga qaratilgan tadqiqotlar paydo bo‘lmoqda[21]. Masalan, Elov va boshq. (2024) o‘zbek tilining morfologik[22] va sintaktik[23] teglangan korpusini yaratish ustida ishlaganlar. Quyidagi 3-jadvalda o‘zbek tili korpusi matnlarini CoNLL-2012 kengaytirilgan formatidagi teglash namunalari keltirilgan. 3-jadval. O‘zbek tilidagi koreferensiya korpusidan CoNLL-2012 formatidagi namunalar (kengaytirilgan format) texts_001 Part Gap Toke № № n№ 0 1 0 Navoiy N texts_001 0 1 1 15-asrda N texts_001 0 1 2 yashagan VB texts_001 0 1 3 buyuk JJ Parse Lemma bitimi NP Navoiy ADV 15-asrda P yashamo VP q ADJP buyuk texts_001 0 1 4 o‘zbek N NP o‘zbek texts_001 0 1 5 shoiri N NP shoir texts_001 texts_001 texts_001 0 0 0 1 2 2 6 7 8 . U Hirotda . P N O NP PP . u Hirot Hujjat ID Token POS NE PER Coreferen ce (1 DATE - - NOR P TITL E LOC 1) 1 (2

Management and Future Technologies journal.umft.uz June 2025 texts_001 0 2 9 tug‘ilgan VB VP texts_001 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 science_01 5 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 news_100 0 0 2 1 10 0 . Suv . NN O NP 0 1 1 0°C CD 0 1 2 da IN ADV P PP 0 1 3 muzga NN 0 1 4 aylanadi 0 1 5 0 2 0 tug‘ilmo q . suv Volume 2, Issue 2 - - - 2) (3 0°C - - da - - NP muz - - VBZ VP - 3) . . O aylanmo q . - - 6 Bu DT NP bu - (4 2 7 jarayon NN NP jarayon - 4) 0 2 8 juda RB juda - - 0 2 9 muhimdir JJ ADV P ADJP muhim - - 0 2 10 . . O . - - 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 2 2 2 2 2 2 2 2 0 1 2 3 4 5 6 7 8 9 10 11 12 13 Toshkent shahrida yangi stadion qurildi . Ushbu stadion 50 ming odam sig‘imga ega . NNP NN JJ NN VBN . DT NN CD CD NN NN JJ . NP NP NP NP VP O NP NP NP NP NP NP VP O Toshkent shahar yangi stadion qurilmoq . ushbu stadion 50 ming odam sig‘im ega . LOC LOC FAC FAC - (5 5) (6 6) (6 6) - Ushbu jadvalda: ‒ POS: So‘z turkumlari (N – ot, P – olmosh, VB – fe’l va hokazo). 335

Volume 2, Issue 2 336 June 2025 Management and Future Technologies journal.umft.uz ‒ Parse bitimi: Soddalashtirilgan sintaktik struktura ko‘rsatkichi. ‒ Lemma: So‘zning asosiy shakli (lemmalar). ‒ NE: Named Entity, nomlangan obyektlar turi (LOC – joy nomi, PER – shaxs, ORG – tashkilot va hokazo). ‒ Coreference: Koreferensiya zanjirlari identifikatorlari. Ochuvchi qavs “(” yangi zanjirning boshlanishini, yopuvchi qavs “)” esa yakunlanishini bildiradi. Yakka holda eslatma (n) shaklida ifodalanadi. Ushbu jadvaldagi matnlar CoNLL-2012 standart formatida teglangan tarzda keltirilgan bo‘lib, amaliyotda aynan shunday tarzda koreferensiya aniqlash modellari tomonidan foydalaniladi. Bunda ToshDO‘TAU kompyuter lingvistikasi va raqamli texnologiyalar kafedrasi mutaxassislari tomonidan maxsus tegger ishlab chiqilib, bir nechta annotatorlarning ishlashini qulaylashtirish yo‘lga qo‘yilgan. Lingvist annotatorlar jamoasi (doktorant, magistrant va talabalar) tuzilib, ular uchun batafsil yo‘riqnoma ishlab chiqilgan va teglash jarayonida doimiy aloqa o‘rnatilgan. Natijada, korpusda har bir so‘zning morfologik va sintaktik bog‘lanishlari teglangan bo‘lib, bir necha bor tekshiruv va tahrirlar orqali konsensusga keltirilgan (adjudikatsiya qilingan). Hozirda ushbu korpusdan foydalanib, o‘zbek tili uchun turli NLP modellar (masalan, tuzilmaviy tahlil va lug‘at boyligini o‘rganish modellari) o‘qitilmoqda. Shuningdek, o‘zbek tilida nomlangan obyektlarni aniqlash (NER) bo‘yicha ilmiy tadqiqotlar olib borilmoqda[24]. Elov va boshq. (2024) tadqiqotida O‘zbek matnlari uchun shaxs, joy, tashkilot nomlari kabi obyektlarni teglash ustida ishlangan[25]. Tadqiqotchilar 100 mingdan ortiq gapdan iborat katta korpus tuzib, undagi leksik birliklar POS, morfologik, sintaktik va NER teglaganlar. Bu jarayonda bir nechta annotatorlar ishtirok etib, o‘zaro kelishilgan belgilash sxemasiga amal qilishgan. Korpus bo‘yicha annotatorlararo kelishuv yuqori (taxminan 0.85 atrofida kappa) bo‘lib, bu ma’lumot sifatli teglanganini ko‘rsatadi. Ushbu korpus asosida o‘zbek tilida avtomatik NER modellar sinovdan o‘tkazilganda, ularning aniqligi yuqori darajada bo‘lgan. Bu esa, yuqori sifatli teglash jarayoni yakunlangach, modellarning samaradorligi oshishidan dalolat beradi. Aksincha, teglash sifati past bo‘lgan holatlarda model natijasi qanday yomonlashishini ham olib borilgan ilmiy tadqiqotlar tasdiqlaydi. Masalan, ba’zi o‘tkazilgan tajribalarda annotatorlarning kelishuvi atigi � � 𝟎𝟎. 𝟑𝟑 bo‘lgan holda, o‘qitilgan modelning aniqligi ham 55–60% dan oshmagan (yaxshisi 0.6 F1 atrofida). Annotatorlarni qayta o‘qitib, yo‘riqnoma yangilab, kelishuvni � � 0.6 ga yetkazilgach, modelning F1 ko‘rsatkichi ham 80% gacha o‘sgan. Demak, teglardagi “shovqin”ni kamaytirish (aniqlikni oshirish) bevosita modelning o‘rganishini yaxshilaydi. Bundan tashqari, turli vazifalarning tabiiy murakkabligi ham IAA ko‘rsatkichlariga ta’sir qiladi. Masalan, matnlardagi imlo xatolarni aniqlash kabi NLP vazifalarda annotatorlar deyarli bir xil qarorga kelishadi (kelishuv yuqori); POS teglash ham qoidalarga asoslanganligi tufayli odatda � � 𝟎𝟎. 𝟖𝟖 darajada bo‘ladi. Ammo matnning mazmunini baholash, sentiment (ijobiy/salbiy) kabi subyektiv

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 komponentli vazifalarda annotatorlar qarorida tafovut ko‘proq bo‘lishi mumkin. Bunday hollarda ham yechim yo‘riqnomaning imkon qadar aniqlashtirilishi, ko‘proq misollar keltirilishi va jamoaviy muhokamalar orqali tushunchalarning bir xilda shakllantirilishidir. Muhokama Yuqoridagi tahlillar va misollar shuni ko‘rsatadiki, teglash jarayonining sifati NLP loyihalarining muvaffaqiyati uchun asos bo‘lib xizmat qiladi. Annotatorlarni to‘g‘ri tanlash va tayyorlash, aniq yo‘riqnomalar, sifatni nazorat qilishning turli usullarini joriy etish orqali teglarning ishonchliligi maksimal darajaga yetkaziladi. Annotatorlararo kelishuv (IAA) esa ushbu ishonchlilikni o‘lchashga imkon beradigan muhim ko‘rsatkichdir. IAA qiymatlariga qarab, til korpusi qay darajada ishonchli ekanligi baholanadi va zarur bo‘lganda, qo‘shimcha chora ko‘riladi (masalan, � � �. 𝟓𝟓 bo‘lsa, ehtimol butun jarayonni qayta ko‘rib chiqish lozim). Shuni alohida ta’kidlash joizki, IAA – bu sifat kafolati emas, balki indikator. Agar annotatorlar hammasi bir xil noto‘g‘ri yo‘lni tanlasa (ya’ni, ma’lumotlar izchil lekin noto‘g‘ri teglansa), IAA yuqori bo‘lishi mumkin, lekin teglarning o‘zi noto‘g‘ri bo‘ladi. Shu sabab, annotatorlar kelishib noto‘g‘ri teglamasligi uchun adjudikatsiya va ekspert nazorati muhim sanaladi. Ya’ni, ishlab chiqilgan yakuniy “oltin standart”ni real ma’lumotlarga iloji boricha moslashtirish kerak. IAA ko‘rsatkich faqat annotatorlarning bir-biri bilan kelishuvini ko‘rsatadi. Shuning uchun, agar imkon bo‘lsa, ma’lumotning bir qismi bo‘yicha haqiqiy natija mavjud bo‘lishi va annotatorlar shunga erishishga intilishi lozim. Masalan, tibbiy diagnostika ma’lumotlarini teglashda bir guruh shifokorlar qarorini o‘zaro solishtirishdan tashqari, ba’zan laboratoriya tahlil natijasi kabi mustaqil mezon bilan solishtirilsa, yanada to‘g‘ri baho beriladi. Kelishuvni oshirishga qaratilgan harakatlar (treninglar, qo‘shimcha tushuntirishlar, konsensus) aslida teglash sifatini oshiradi va shu bilan modelning yanada yaxshi o‘rganishiga zamin yaratadi. Zamonaviy katta til modellari (LLM) ham o‘rgatiladigan ma’lumotlar sifatiga ta’siri katta bo‘lib, agar ma’lumotlarda xatolik mavjud bo‘lsa, model mantiqsiz yoki noto‘g‘ri xulosa chiqaradi. Teglash jarayonini tashkil qilishda optimal strategiyani tanlash ham muhimdir. Masalan, cheklangan resurslarda barcha ma’lumotni ikki marta teglash murakkab bo‘lsa, tanlanma tarzda ustma-ust teglash va audit tekshiruvlarini o‘tkazish mumkin. Yoki anonim annotatorlar jalb qilinganda, albatta bir nechta annotatorlar va ko‘pchilik ovozi tamoyilidan foydalanish lozim. Aks holda, bir kishining xatosi butun ma’lumotni buzishi mumkin. Turli NLP loyiha talablariga ko‘ra sifatni ta’minlash metodlaridan mos kombinatsiya tanlanadi. Xulosa Annotatorlar jamoasi NLP ilovasini poydevorini quruvchi ustunlari hisoblanadi. Ularning roli nafaqat ma’lumotga teg qo‘yish, balki bilvosita ravishda modelning chegara shartlarini belgilashdan 337

Volume 2, Issue 2 338 June 2025 Management and Future Technologies journal.umft.uz iborat. Shu sababli, ularni to‘g‘ri boshqarish, mehnatini muvofiqlashtirish va natijalarini baholab borish – NLP tizimini ishlab chiqish muvaffaqiyati garovidir. IAA esa bu jarayonda “termometr” vazifasini o‘taydi, ya’ni bizga teglash “salomatligi” haqida signal beradi. Bugungi kunda ToshDO‘TAU mutaxassislari tomonidan o‘zbek tilida yanada ko‘proq sifatli teglangan korpuslar yaratilishi, ularda teglash jarayoni va kelishuv darajasi batafsil hujjatlashtirilishi bo‘yicha amaliy ishlar olib borilmoqda. Bu esa, o‘z navbatida, NLP modellarining sifatini oshirib, ilmiy tadqiqotlarda yangi marralarga erishishga xizmat qiladi.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 Adabiyotlar 1. https://medium.com/@jorgecp/the-adjudication-process-in-collaborative-annotation61623c46b700 2. Decker, Z. (2016). Collaboration in Adjudication. Canon L. Soc'y Am. Proc., 78, 158. 3. Artstein, R. (2017). Inter-annotator agreement. Handbook of linguistic annotation, 297-313. 4. Artstein, R., & Poesio, M. (2008). Inter-coder agreement for computational linguistics. Computational linguistics, 34(4), 555-596. 5. Wissler, L., Almashraee, M., Díaz, D. M., & Paschke, A. (2014). The Gold Standard in Corpus Annotation. IEEE GSC, 21. 6. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and psychological measurement, 20(1), 37-46. 7. Krippendorff, K. (2018). Content analysis: An introduction to its methodology. Sage publications. 8. Skjærholt, A. (2014, June). A chance-corrected measure of inter-annotator agreement for syntax. In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers) (pp. 934-944). 9. Boguslav, M., & Cohen, K. B. (2017). Inter-annotator agreement and the upper limit on machine performance: evidence from biomedical natural language processing. In MEDINFO 2017: Precision Healthcare through Informatics (pp. 298-302). IOS Press. 10. Richie, R., Grover, S., & Tsui, F. R. (2022, May). Inter-annotator agreement is not the ceiling of machine learning performance: Evidence from a comprehensive set of simulations. In Proceedings of the 21st workshop on biomedical language processing (pp. 275-284). 11. Landis, J. R., & Koch, G. G. (1977). An application of hierarchical kappa-type statistics in the assessment of majority agreement among multiple observers. Biometrics, 363-374. 12. Randolph, J. J. (2005). Free-Marginal Multirater Kappa (multirater K [free]): An Alternative to Fleiss' Fixed-Marginal Multirater Kappa. Online submission. 13. https://datatab.net/tutorial/fleiss-kappa 14. https://www.surgehq.ai/blog/inter-rater-reliability-metrics-an-introduction-to-krippendorffs-alpha 15. Scott, W. A. (1955). Reliability of content analysis: The case of nominal scale coding. Public opinion quarterly, 321-325. 16. Baledent, A., Mathet, Y., Widlöcher, A., Couronne, C., & Manguin, J. L. (2022, June). Validity, agreement, consensuality and annotated data quality. In Proceedings of the Thirteenth Language Resources and Evaluation Conference (pp. 2940-2948). 17. Islamaj, R., Kwon, D., Kim, S., & Lu, Z. (2020). TeamTat: a collaborative text annotation tool. Nucleic acids research, 48(W1), W5-W11. 18. Richie, R., Grover, S., & Tsui, F. R. (2022, May). Inter-annotator agreement is not the ceiling of machine learning performance: Evidence from a comprehensive set of simulations. In Proceedings of the 21st workshop on biomedical language processing (pp. 275-284). 19. Kholkovskaia, O. (2017). Role of the Brown Corpus in the History of Corpus Linguistics. In Web: http://poseidon2. feld. cvut. cz/conf/poster/proceedings/Poster_2017/Se ction_HS/HS_018_ KholNovsNaia. pdf. 20. Marcus, M., Santorini, B., & Marcinkiewicz, M. A. (1993). Building a large annotated corpus of English: The Penn Treebank. Computational linguistics, 19(2), 313-330. 21. Elov, B., & Xusainova, Z. (2024). Til korpuslarini lingvistik teglash bosqichlari. Computer Linguistics: 339

Volume 2, Issue 2 340 June 2025 Management and Future Technologies journal.umft.uz problems, solutions, prospects, 1(1). 22. Elov, B., & Xudayberganov, N. (2024). O ‘zbek tili korpusi matnlarini pos teglash usullari. Computer Linguistics: problems, solutions, prospects, 1(1). 23. Elov, B., & Abdullayeva, O. (2024). O ‘zbek tili korpusini sintaktik teglash masalasi. Computer Linguistics: problems, solutions, prospects, 1(1). 24. Elov, B. B., & Samatboyeva, M. T. (2024, November). NER: Methods FOR Automatic Identification of Anthroponyms in Uzbek Texts. In 2024 IEEE 3rd International Conference on Problems of Informatics, Electronics and Radio Engineering (PIERE) (pp. 1850-1855). IEEE. 25. Elov, B., & Samatboyeva, M. (2023). Identifying ner (named entity recognition) objects in uzbek language texts. Science and innovation, 2(C4), 44-57.