Management and Future Technologies | Volume 2, Issue 2 | № 006

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 Xulosa 301 Zamonaviy kiberxavfsizlik sohasida global tahdidlarning murakkablashuvi, tarmoqlarning diversifikatsiyasi va raqamli infratuzilmalarning o‘sishi sababli intruziyani aniqlash va oldini olish tizimlariga (IDS/IPS) bo‘lgan ehtiyoj har qachongidan kuchaymoqda. Ushbu dissertatsiyada Snort va Suricata kabi ochiq manbali IDS/IPS tizimlari solishtirildi, ularning samaradorlik ko‘rsatkichlari real trafik asosida baholandi, va bu tizimlar yordamida ishlab chiqilishi mumkin bo‘lgan kiberxavfsizlik strategiyalari tizimli tarzda taklif qilindi. Snort, uzoq yillik tajriba va keng foydalanuvchi bazasiga ega bo‘lgan, signatura asosidagi aniqlashga ixtisoslashgan tizim bo‘lib, tarmoq xavfsizligida minimal resurslar bilan ishlovchi muhitlar uchun qulay vositadir. Biroq, u yagona yadroda ishlashi, anomaliya asosidagi tahlilni cheklangan darajada qo‘llashi sababli yuqori trafik va zamonaviy, murakkab tahdidlarni aniqlashda to‘liq imkoniyat bermaydi. Suricata esa ko‘p yadroli ishlash, real vaqtli oqim (streaming) tahlili, keng protokol qo‘llabquvvatlashi (masalan, TLS, HTTP2), va JSON formatdagi qaydlar orqali SIEM tizimlariga to‘g‘ridanto‘g‘ri integratsiyalanish imkoniyatlari bilan ajralib turadi. Ushbu afzalliklar uni murakkab va ko‘p qatlamli tahdidlarni aniqlashda ancha ustun qiladi. Suricata’ning anomaliya asosidagi yondashuvga tayyorligi, xususan mashina o‘rganish (machine learning) modellarini integratsiyalash imkoniyati kiberxavfsizlikda proaktiv yondashuv sari muhim qadamdir. Tadqiqot davomida ishlab chiqilgan strategik tavsiyalar shuni ko‘rsatadiki, kiberhujumlarni samarali aniqlash va ularga javob berishda quyidagi yondashuvlar dolzarbdir: Gibrid arxitektura: Snort va Suricata’ning kuchli jihatlarini bir tizimda uyg‘unlashtirish orqali har xil turdagi hujumlarni keng qamrovli aniqlash mumkin. AI integratsiyasi: IDS loglaridan olingan ma’lumotlar asosida sun’iy intellekt yondashuvlarini qo‘llash kiberxavfsizlikni proaktiv bosqichga olib chiqadi. Mahalliylashtirilgan tahdid modeli: O‘zbekiston yoki Markaziy Osiyo hududi uchun moslashtirilgan qoida bazasi va tahdidlar modellari yordamida regional xavflarni tezroq aniqlash va tahlil qilish mumkin. SIEM va avtomatlashtirish: Real vaqtli monitoring va avtomatlashtirilgan tahdidga javob strategiyalari orqali inson xatosini kamaytirish va xavfsizlikni mustahkamlash imkoniyati tug‘iladi. IoT va cheklangan resursli muhitlar uchun yengil IDS dizayni: Bu orqali yangi avlod tarmoqlar (5G, IoT) uchun ham tahdid monitoringi joriy etilishi mumkin. Olib borilgan amaliy tajribalar va tahlillar shuni ko‘rsatdiki, Snort va Suricata asosida qurilgan tarmoqli kiberxavfsizlik yechimlari faqatgina texnik vosita sifatida emas, balki ilmiy asoslangan, kengaytiriluvchi va milliy strategiyaga moslashtiriladigan platforma bo‘lishi mumkin. Ushbu tadqiqot natijalari O‘zbekiston va boshqa rivojlanayotgan davlatlar uchun ochiq manbali, iqtisodiy jihatdan samarali, lekin yuqori aniqlikdagi xavfsizlik tizimlarini yaratishda asosiy model sifatida xizmat qilishi mumkin.

Volume 2, Issue 2 302 June 2025 Management and Future Technologies journal.umft.uz Adabiyotlar 1. O‘zbekiston Respublikasi Prezidentining 2021-yil 12-fevraldagi PQ-4996-son qarori – “Kiberxavfsizlik sohasidagi davlat siyosatini takomillashtirish chora-tadbirlari to‘g‘risida”. 2. O‘zbekiston Respublikasi Jinoyat kodeksi, 278-1-moddasi – “Axborot tizimlariga ruxsatsiz kirish”, va 278-2-moddasi – “Axborot tizimining ishlashini buzish”. 3. O‘zbekiston Respublikasi raqamli xavfsizlik siyosatiga oid strategik hujjatlar – Telekommunikatsiya tarmoqlari va axborot infratuzilmalari uchun xavfsizlik standartlari va texnik reglamentlar to‘g‘risida me’yoriy hujjatlar to‘plami (Raqamli texnologiyalar vazirligi materiallari, 2022–2024). 4. Roesch, M. (1999). Snort - Lightweight Intrusion Detection for Networks. Proceedings of the 13th USENIX Conference on System Administration (LISA '99), 229–238. 5. The Open Information Security Foundation (OISF). (2023). Suricata: Open Source IDS / IPS / NSM Engine. 6. Scarfone, K., & Mell, P. (2007). Guide to Intrusion Detection and Prevention Systems (IDPS). National Institute of Standards and Technology (NIST) Special Publication 800-94. 7. Garcia-Teodoro, P., Diaz-Verdejo, J., Maciá-Fernández, G., & Vázquez, E. (2009). Anomaly-based network intrusion detection: Techniques, systems and challenges. Computers & Security, 28(1-2), 18–28. https://doi.org/10.1016/j.cose.2008.08.003 8. Zuech, R., Khoshgoftaar, T. M., & Wald, R. (2015). Intrusion detection and Big Heterogeneous Data: a Survey. Journal of Big Data, 2(1), 3. 9. Shone, N., Ngoc, T. N., Phai, V. D., & Shi, Q. (2018). A deep learning approach to network intrusion detection. IEEE Transactions on Emerging Topics in Computational Intelligence, 2(1), 41–50. 10. Sommer, R., & Paxson, V. (2010). Outside the closed world: On using machine learning for network intrusion detection. 2010 IEEE Symposium on Security and Privacy, 305–316. 11. Kumar, A., & Sachdeva, M. (2019). A Survey on Intrusion Detection Systems for Cloud Computing. International Journal of Information Technology, 11(3), 525–533. 12. Alshamrani, A., Myneni, S., Chowdhary, A., & Huang, D. (2019). A survey on advanced persistent threats: Techniques, solutions, challenges, and research opportunities. IEEE Communications Surveys & Tutorials, 21(2), 1851–1877. 13. Salah, K., Kahtan, H., & Al-Bazzaz, H. (2019). Performance evaluation of Snort and Suricata IDS/ IPS engines for high throughput environments. Journal of Network and Computer Applications, 100, 132–150. https://doi.org/10.1016/j.jnca.2017.11.001 14. Axelsson, S. (2000). Intrusion detection systems: A survey and taxonomy. Technical Report No. 9915, Department of Computer Engineering, Chalmers University of Technology. 15. Chandola, V., Banerjee, A., & Kumar, V. (2009). Anomaly detection: A survey. ACM Computing Surveys (CSUR), 41(3), 1–58. 16. Garcia, S., Grill, M., Stiborek, J., & Zunino, A. (2014). An empirical comparison of botnet detection methods. Computers & Security, 45, 100–123. 17. Moustafa, N., & Slay, J. (2015). UNSW-NB15: a comprehensive data set for network intrusion detection systems (UNSW-NB15 network data set). 2015 Military Communications and Information Systems Conference (MilCIS), IEEE. 18. Mishra, R., & Garg, K. (2020). A comparative study of Snort and Suricata in cloud environment. International Journal of Information Security and Privacy (IJISP), 14(4), 1–12.

Management and Future Technologies Авторы Aбдуллахўжаев Саидисломбек Эсонов Жавоҳирбек Ҳенгзҳе Зҳанг Мадаминов Aдҳамбек Маратов Бахтияр Мухиддинов Муҳриддин Ташкентский университет информационных технологий имени Мухаммада ал-Хоразмий, Ташкент, 100200, Узбекистан; javoxir3001753@gmail.com Copyright: © 2025 by the authors. Ushbu maqola Creative Commons Attribution (CC BY) litsenziyasi shartlari asosida tarqatiladigan ochiq foydalanish maqolasi hisoblanadi (https://creativecommons.org/ licenses/by/4.0/). journal.umft.uz June 2025 Volume 2, Issue 2 РАЗРАБОТКА РАСПРЕДЕЛЕННОГО ВЕБ-КРАУЛЕРА С ИСПОЛЬЗОВАНИЕМ ПАРАЛЛЕЛЬНОЙ ОБРАБОТКИ ДЛЯ ЭФФЕКТИВНОГО СКАНИРОВАНИЯ БОЛЬШИХ ОБЪЕМОВ ВЕБ-ДАННЫХ А ннотация: В условиях стремительного роста объемов веб-данных, достигающих петабайт в 2025 году, веб-краулеры становятся ключевым инструментом для сбора, обработки и анализа информации. Традиционные последовательные подходы к веб-краулингу не справляются с задачами обработки больших массивов данных в реальном времени из-за ограничений производительности одного процессора. В данной статье представлена разработка распределенного веб-краулера, оптимизированного для сайта topar.uz, использующего параллельную обработку на основе моделей Symmetric Multiprocessing (SMP) и Dask Cluster. Проведен детальный сравнительный анализ производительности последовательного, параллельного и распределенного режимов по метрикам времени выполнения, ускорения (speedup), эффективности (efficiency) и потребления ресурсов. Результаты демонстрируют, что параллельный режим сокращает время выполнения в 2.98 раза, а распределенная модель обеспечивает масштабируемость и устойчивость для обработки больших объемов данных. Работа ориентирована на образовательные и исследовательские приложения, поддерживая цели цифровизации в Узбекистане, включая автоматизацию сбора данных для образовательных платформ и научных исследований. Дополнительно рассмотрены потенциальные сценарии применения краулера, такие как анализ цен, мониторинг ассортимента и поддержка рекомендательных систем. Ключевые слова: веб-краулинг, параллельная обработка, распределенные системы, Python, BeautifulSoup, ProcessPoolExecutor, Dask, масштабируемость, производительность. 303

Volume 2, Issue 2 June 2025 Management and Future Technologies journal.umft.uz Введение 304 Интернет в 2025 году насчитывает более 2 миллиардов веб-сайтов, генерирующих терабайты данных ежедневно. Этот объем данных создает значительные вызовы для вебкраулеров, используемых для индексации, анализа и сбора информации. Последовательные краулеры, работающие на одном процессоре, ограничены в производительности, что делает их неэффективными для обработки больших объемов данных в реальном времени. Например, сканирование одного сайта с тысячами страниц может занимать часы, что неприемлемо для приложений, требующих актуальной информации, таких как мониторинг цен или анализ трендов. Параллельная обработка и распределенные системы позволяют распределять задачи между несколькими процессорами или узлами, значительно ускоряя процесс и обеспечивая масштабируемость. В Узбекистане цифровизация остается приоритетом, закрепленным в Указе Президента № ПФ-5847 от 8 октября 2019 года, который акцентирует внедрение современных информационно-коммуникационных технологий в образование, науку и экономику [1]. Вебкраулинг играет важную роль в достижении этих целей, обеспечивая сбор данных для образовательных платформ, аналитических систем, рекомендательных сервисов и исследований. Например, сбор данных о книгах с сайта topar.uz может поддерживать создание цифровых библиотек, анализ спроса на литературу или разработку систем рекомендаций для студентов. Цель исследования – разработка распределенного веб-краулера для сайта topar.uz, использующего параллельную обработку для эффективного сбора данных о книгах (название, цена, наличие, рейтинг). Задачи исследования: Реализация краулера с использованием моделей SMP и Dask Cluster. Сравнительный анализ производительности режимов (последовательный, параллельный, распределенный) с учетом времени выполнения, энергопотребления и стабильности. Оценка применимости решения в образовательных и исследовательских проектах, включая интеграцию с аналитическими платформами. Исследование ограничений и потенциальных улучшений, таких как обработка динамического контента и фильтрация данных. Гипотеза: параллельная обработка сокращает время выполнения задач краулинга, а распределенные системы обеспечивают масштабируемость и устойчивость к сбоям при обработке больших объемов данных.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 Дополнительно исследование включает анализ устойчивости краулера к ошибкам (например, таймаутам HTTP-запросов) и его адаптивности к изменениям структуры сайта, что делает решение более надежным для долгосрочного использования. Анализ литературы Современные исследования веб-краулинга сосредоточены на интеллектуальных методах, масштабируемых архитектурах и интеграции с технологиями машинного обучения. В работе [2] представлен скрытый веб-краулер IHWC, разработанный для извлечения данных из "глубокой" сети, таких как городские данные о загрязнении воздуха или медицинские записи. IHWC использует алгоритмы машинного обучения SVM и KNN для классификации веб-форм, определяя их пригодность для извлечения данных. KNN достигает точности 92% при k=5, а SVM – 90% с линейной моделью soft margin. Harvest rate составляет 27%, что превосходит аналоги (FFC – 22%, EEFC – 24%). Многопоточная архитектура IHWC распределяет задачи по географическим регионам, демонстрируя преимущества параллельной обработки. Авторы также подчеркивают важность обработки динамического контента, такого как формы, генерируемые JavaScript, что остается актуальной проблемой для современных краулеров. В статье [3] описан фокусированный краулер SDVSM, основанный на семантической дезамбигуации (SDG) и векторной модели (SVSM). SDG устраняет неоднозначности терминов (например, различая "Apple" как фрукт или бренд), а SVSM рассчитывает тематическое сходство текста с использованием косинусного расстояния. SDVSM достигает harvest rate 0.474, превосходя BF Crawler (0.438) и VSM Crawler (0.472). Эксперименты показывают, что модель эффективно приоритезирует ссылки, связанные с целевой темой, что делает ее подходящей для тематического краулинга, например, для сбора данных о научной литературе. Авторы также обсуждают проблему масштабируемости, предлагая использовать распределенные системы для обработки больших графов ссылок. Работа [4] предлагает систему рекомендаций DAE-SR, интегрирующую веб-краулинг и глубокое обучение. Модель, оптимизированная алгоритмом Jaya, анализирует отзывы пользователей и достигает точности 98.33%, превосходя аналоги (RS-LOD – 84.1%, Ensemble – 92.36%). Использование TF-IDF и стемминга повышает качество предобработки данных, а распределенная архитектура на основе Apache Spark обеспечивает масштабируемость. Исследование подчеркивает важность предварительной обработки данных для повышения точности рекомендаций, что может быть применено к данным, собранным с topar.uz, для создания рекомендательных систем для книг. В [5] представлена система классификации новостей с анализом тональности, использующая методы NLP (NLTK, Word2Vec) и краулинг данных с сайта BBC. Алгоритм 305

Volume 2, Issue 2 306 June 2025 Management and Future Technologies journal.umft.uz VADER показывает точность 85%, превосходя SentiWordNet (80%) и AFINN-111 (82%), особенно в задачах определения эмоциональной окраски. Многопоточная обработка ускоряет сбор данных, а предварительная фильтрация ссылок снижает объем ненужной информации. Авторы также обсуждают проблему обработки больших текстовых корпусов, предлагая использовать распределенные фреймворки, такие как Dask или Hadoop. Таблица 1. Сравнение методов веб-краулинга из литературы. Метод/Модель IHWC (SVM, KNN) SDVSM Точность/Harvest Rate 92% (KNN), 27% HR 0.474 HR DAE-SR 98.33% VADER 85% Особенности Многопоточность, скрытый веб Семантическая дезамбигуация Распределенная обработка, рекомендации Анализ тональности, NLP Эти исследования подчеркивают, что комбинация параллельной обработки, машинного обучения и семантического анализа повышает эффективность веб-краулинга. Однако большинство работ не уделяют достаточного внимания устойчивости к сбоям и обработке динамического контента, что стало дополнительным фокусом данного исследования. Например, краулер для topar.uz включает механизмы повторных попыток при HTTP-ошибках и логирование для диагностики проблем. Технический анализ Архитектура веб-краулера. Разработанный веб-краулер для сайта topar.uz представляет собой масштабируемую и модульную систему, предназначенную для эффективного сбора структурированных данных о книгах, включая название, цену, наличие и рейтинг. Архитектура краулера спроектирована с учетом требований высокой производительности, устойчивости к сбоям и адаптивности к изменениям структуры веб-страниц. Она опирается на принципы параллельной и распределенной обработки, что позволяет справляться с большими объемами данных, характерными для современных веб-приложений. В условиях цифровизации Узбекистана, закрепленной в Указе Президента № ПФ-5847 от 8 октября 2019 года [1], данная система поддерживает образовательные и исследовательские инициативы, обеспечивая сбор данных для аналитических платформ, цифровых библиотек и рекомендательных систем. Например, данные о книгах с topar.uz могут быть использованы для анализа спроса на учебную литературу или создания платформ для студентов, что соответствует целям национальной стратегии. Архитектура краулера включает пять ключевых компонентов: мастер-узел, рабочие узлы, очередь задач, хранилище данных и модуль мониторинга. Эти компоненты взаимодействуют

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 через четко определенные интерфейсы, обеспечивая гибкость и возможность интеграции с другими системами, такими как базы данных или облачные кластеры. Ниже представлено подробное описание каждого компонента, их реализации и роли в общей системе. Разработанный веб-краулер собирает данные о книгах (название, цена, наличие) с сайта topar.uz. Архитектура включает следующие компоненты: Мастер-узел. Мастер-узел является центральным элементом архитектуры, отвечающим за координацию всего процесса краулинга. Реализованный в Python-скрипте webcrawler.py, он выполняет следующие функции: Генерация задач: Формирует список задач в виде кортежей, содержащих название сайта, шаблон URL и номер страницы. Например, для topar.uz задачи генерируются как ("Topar.uz – knigi", "https://topar.uz/books?page={}", 1). Для оптимизации задачи сортируются по предполагаемой сложности (оценивается по объему HTML или историческим данным), что сокращает время ожидания в параллельных режимах. Распределение задач: Передает задачи рабочим узлам через очередь, используя либо локальную память (в режиме SMP), либо распределенный планировщик Dask (в кластерном режиме). Мастер-узел динамически адаптирует число задач на воркер в зависимости от их производительности. Агрегация результатов: Собирает данные от рабочих узлов, проверяет их целостность (исключая дубликаты и пустые записи) и сохраняет в JSON-файлы. Для предотвращения потери данных при сбоях результаты периодически сохраняются в промежуточный файл temp_results.json. Обработка ошибок: Обрабатывает исключения, такие как сбои воркеров или таймауты сети, инициируя повторные попытки или перераспределение задач. Логирование ошибок ведется с использованием модуля logging в файл crawler.log. Мастер-узел поддерживает конфигурацию через файл config.yaml, что позволяет задавать параметры, такие как число воркеров, таймауты запросов и уровень логирования, без изменения кода. Это делает систему удобной для использования в образовательных проектах, где пользователи могут не обладать глубокими техническими знаниями., Рабочие узлы. Рабочие узлы выполняют основную задачу краулинга: получение вебстраниц, их парсинг и извлечение данных. Каждый воркер работает независимо, что минимизирует конфликты и упрощает масштабирование. Ключевые аспекты реализации: HTTP-запросы: Используется библиотека requests для отправки GET-запросов к страницам topar.uz. Для повышения надежности реализован механизм повторных попыток 307

Volume 2, Issue 2 308 June 2025 Management and Future Technologies journal.umft.uz (до 3 раз с экспоненциальной задержкой) при сбоях, таких как ConnectionError или Timeout. Таймаут запросов настраивается через config.yaml (по умолчанию 10 секунд). Парсинг HTML: Библиотека BeautifulSoup используется для извлечения данных из HTML-структуры страниц. Парсер настроен на обработку специфических CSS-селекторов (например, .book-item, .book-title), что обеспечивает устойчивость к мелким изменениям структуры сайта. Для страниц с нестандартным форматированием (например, отсутствием рейтинга) реализована обработка исключений, возвращающая значение по умолчанию ("–"). Оптимизация сети: Воркеры ограничивают число одновременных соединений (максимум 10 на воркер) и используют кэширование DNS-запросов, что сокращает задержку сети на 10–15%. Для снижения нагрузки на сервер topar.uz добавлены случайные задержки между запросами (0.1–0.5 с). Логирование: Каждый воркер записывает статистику (время выполнения, объем данных, ошибки) в crawler.log, что упрощает диагностику проблем. Рабочие узлы оптимизированы для параллельной обработки, что позволяет эффективно использовать многоядерные процессоры в режиме SMP или кластеры в режиме Dask. Их независимость делает систему устойчивой к сбоям отдельных воркеров, так как мастер-узел может перераспределить задачи. Очередь задач. Очередь задач хранит список URL страниц, подлежащих обработке. В зависимости от режима работы реализация очереди различается: SMP-режим: Очередь реализована как список в памяти Python, что минимизирует накладные расходы (менее 1 мс на операцию). Для оптимизации задачи приоритезируются по предполагаемому объему данных (оценивается по предварительному запросу заголовков HTTP). Распределенный режим: Используется распределенная очередь Dask, которая хранит задачи в памяти планировщика и узлов кластера. Это увеличивает накладные расходы (до 50 мс на задачу), но обеспечивает масштабируемость и устойчивость к сбоям. Сохранение состояния: Для поддержки паузы и возобновления краулинга очередь периодически сохраняется в файл queue.json. Это позволяет восстановить процесс после сбоев без повторной генерации задач. Очередь поддерживает динамическую приоритезацию: страницы с большим числом книг (на основе исторических данных) обрабатываются первыми, что сокращает общее время краулинга на 5–10%. Также реализована валидация URL перед добавлением в очередь, исключающая некорректные или устаревшие ссылки.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 Модели параллельных вычислений 1. 309 Symmetric Multiprocessing (SMP): Рисунок 1. Код архитектуры распределенного веб-краулера. Использует ProcessPoolExecutor для создания пула процессов, где каждый процесс обрабатывает отдельную страницу. Балансировка нагрузки: ProcessPoolExecutor автоматически распределяет задачи, освобожденные процессы немедленно берут новые задания. Преимущества: низкие накладные расходы, простота реализации. Ограничения: масштабирование ограничено числом ядер на одной машине. Dask Cluster: Использует распределенный планировщик Dask для обработки задач на локальном или удаленном кластере. Балансировка нагрузки: планировщик динамически распределяет задачи, перераспределяя их при сбоях или перегрузке. Преимущества: масштабируемость за пределы одного узла, встроенный веб- интерфейс для мониторинга (порт 8787). Ограничения: высокие накладные расходы на настройку кластера для малых задач.

Volume 2, Issue 2 June 2025 Management and Future Technologies journal.umft.uz 310 Рисунок 2. Код Dask Cluster. Формирование задач и синхронизация Задачи формируются как список кортежей, где каждый кортеж содержит название сайта, шаблон URL и номер страницы. Пример: Рисунок 3. Код формирование задач и синхронизации. Балансировка нагрузки: ProcessPoolExecutor и Dask автоматически распределяют задачи. В SMP быстрые процессы немедленно берут новые задачи, в Dask планировщик перераспределяет тяжелые задачи. Синхронизация: Задачи независимы, поэтому синхронизация минимальна. Результаты собираются через as_completed (SMP) или dask_as_completed (Dask). Производительность и метрики Производительность оценивалась на задаче сканирования 15 страниц сайта topar.uz с 4 воркерами. Метрики включают время выполнения, ускорение (speedup) и эффективность (efficiency).

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 Таблица 2. Сравнение производительности режимов. Режим Последовательный Параллельный Распределенный Время выполнения (с) 12.50 4.20 4.80 Ускорение (Speedup) 1.00 2.98 2.60 311 Эффективность (Efficiency) – 0.74 0.65 SMP показывает лучшее ускорение (2.98) благодаря низким накладным расходам. Dask менее эффективен для малых задач из-за времени на настройку кластера, но его масштабируемость делает его предпочтительным для больших объемов данных. Установка и настройка Краулер требует Python 3.7+ и библиотек, указанных в requirements.txt: beautifulsoup4==4.12.3 requests==2.32.3 dask[distributed]==2025.3.0 Установка: pip install --upgrade pip pip install -r requirements.txt Запуск: Последовательный: python webcrawler.py Параллельный/распределенный: python webcrawler.py --workers 4 Для изоляции окружения рекомендуется использовать virtualenv: python -m venv venv source venv/bin/activate pip install -r requirements.txt Анализ результатов Результаты сохраняются в JSON-файлы: books_serial.json: Данные, собранные в последовательном режиме. books_parallel.json: Данные из параллельного режима (SMP). books_distributed.json: Данные из распределенного режима (Dask). Пример структуры данных:

Volume 2, Issue 2 312 June 2025 Management and Future Technologies journal.umft.uz [ { "site": "Topar.uz – knigi", "page": 1, "title": "Название книги", "price": "100 000 UZS", "stock": "В наличии", "rating": "–" } ] Анализ показал, что все режимы собирают идентичные данные, но параллельный и распределенный режимы значительно быстрее. SMP оптимален для локальных задач, тогда как Dask поддерживает масштабирование на кластерах. Ограничения и улучшения 1. Ограничения: SMP ограничен числом ядер на машине. Dask имеет высокие накладные расходы для малых задач. Краулер не учитывает динамический контент (JavaScript). 2. Улучшения: Интеграция Puppeteer для обработки JavaScript. Использование Redis для управления очередью задач. Применение алгоритмов машинного обучения (например, SVM, KNN) для фильтрации данных, как в [2]. Выводы Разработанный веб-краулер для сайта topar.uz демонстрирует высокую эффективность параллельной обработки. Модель SMP (ProcessPoolExecutor) обеспечивает ускорение 2.98 и эффективность 0.74, что делает ее оптимальной для локальных задач с ограниченным числом страниц. Dask Cluster, с ускорением 2.60 и эффективностью 0.65, подходит для масштабируемых систем, где требуется обработка больших объемов данных на кластерах.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 В контексте образовательных и исследовательских проектов Узбекистана краулер может использоваться для сбора данных для аналитических платформ, поддерживая цели цифровизации, изложенные в [1]. Для небольших проектов рекомендуется SMP, для крупномасштабных – Dask. Будущие улучшения включают интеграцию машинного обучения для повышения точности и обработку динамического контента. 313

Volume 2, Issue 2 314 June 2025 Management and Future Technologies journal.umft.uz Литература 1. Указ Президента Республики Узбекистан № ПФ-5847 от 8 октября 2019 года «Об утверждении Концепции развития системы высшего образования Республики Узбекистан до 2030 года». 2. Kaur, G., & Bhatia, M. P. S. IHWC: intelligent hidden web crawler for harvesting data in urban domains // Complex & Intelligent Systems. – 2021. – Vol. 7. – P. 2123–2136. – DOI: 10.1007/s40747-02100471-1. 3. Liu, Z., Fan, X., & Zhang, Z. A focused crawler based on semantic disambiguation vector space model // Complex & Intelligent Systems. – 2023. – Vol. 9. – P. 309–324. – DOI: 10.1007/s40747-02200707-8. 4. Venugopal, G., & Sandhya, P. Distributed Focused Web Crawling for Context Aware Recommender System using Machine Learning and Text Mining Algorithms // International Journal of Advanced Computer Science and Applications (IJACSA). – 2023. – Vol. 14, No. 3. – P. 646–654. – DOI: 10.14569/IJACSA.2023.0140376. 5. Nkongolo, M. News Classification and Categorization with Smart Function Sentiment Analysis // Proceedings of the 2022 Thirteenth International Conference on Computing, Communication and Networking Technologies (ICCCNT). – 2022. – DOI: 10.1109/ICCCNT56475.2022.10060471. 6. https://docs.python.org/3/library/concurrent.futures.html – Документация ProcessPoolExecutor. 7. https://docs.dask.org/en/stable – Документация Dask. 8. https://www.crummy.com/software/BeautifulSoup/bs4/doc/ – Документация BeautifulSoup. 9. Zhang, Y., & Wang, L. Scalable Web Crawling with Adaptive Task Scheduling and Load Balancing // IEEE Transactions on Parallel and Distributed Systems. – 2022. – Vol. 33, No. 8. – P. 1890–1902. – DOI: 10.1109/TPDS.2021.3123456. 10. Patel, R., & Sharma, S. Distributed Web Crawling with Dynamic Resource Allocation for Big Data Analytics // Journal of Big Data. – 2023. – Vol. 10, No. 1. – P. 45–60. – DOI: 10.1186/s40537-02300712-4.

Management and Future Technologies Author Abdulakhatov Muzaffarjon International Nordic University, muzaffar.abdulakhatov@gmail.com Copyright: © 2025 by the authors. Ushbu maqola Creative Commons Attribution (CC BY) litsenziyasi shartlari asosida tarqatiladigan ochiq foydalanish maqolasi hisoblanadi (https://creativecommons.org/ licenses/by/4.0/). journal.umft.uz June 2025 Volume 2, Issue 2 EVOLUTION OF CLOUD COMPUTING A bstract: Cloud computing has fundamentally reshaped the landscape of information technology, moving from a niche concept to a ubiquitous infrastructure that underpins modern digital life. This paper traces the evolution of cloud computing, from its theoretical origins and early precursors like time-sharing and grid computing, through its commercial emergence in the early 2000s, to its current state as a dominant force in IT. It explores the development of key service and deployment models, highlights significant milestones, and discusses the profound impact of cloud computing on businesses, individuals, and the global economy. Furthermore, the paper addresses the ongoing challenges and future trends that continue to shape this dynamic technological paradigm. Keywords: Cloud technology, IaaS, PaaS, SaaS, internet, data, Google Cloud, Azure, Dropbox, information technology, platform, model, internet service, technology. 315

Volume 2, Issue 2 June 2025 Management and Future Technologies journal.umft.uz Introduction 316 The term "cloud computing" has become synonymous with modern IT infrastructure, representing a paradigm shift in how computing resources are delivered and consumed. It enables ubiquitous, convenient, on-demand network access to a shared pool of configurable computing resources (e.g., networks, servers, storage, applications, and services) that can be rapidly provisioned and released with minimal management effort or service provider interaction (NIST, 2011). This model has revolutionised everything from enterprise operations and software development to personal data storage and entertainment. However, cloud computing did not emerge overnight. It culminated decades of research and development in various computing disciplines, including distributed computing, virtualisation, and web services. This paper aims to provide a comprehensive overview of cloud computing‘s evolutionary journey, from its conceptual roots to its current multifaceted landscape, highlighting the key technological advancements and market forces that have shaped its trajectory. Cloud computing refers to the delivery of computing services—including servers, storage, databases, networking, software, and analytics—over the internet (the cloud). This model allows users to access and utilize technology resources without the need for physical infrastructure, enabling a more agile and cost-effective approach to IT management. The phrase “Cloud Computing” was first introduced in the 1950s to describe internet-related services, and it evolved from distributed computing to the modern technology known as cloud computing. Cloud services include those provided by Amazon, Google, and Microsoft. Cloud computing allows users to access a wide range of services stored in the cloud or on the Internet. Cloud computing services include computer resources, data storage, apps, servers, development tools, and networking protocols. As early as 1961, the idea of computers as a utility, comparable to water or electricity, was put out. Computer scientist John McCarthy proposed that computing resources may be bought and sold on demand while delivering a speech at MIT. But at that time, technology was not developed enough to support this goal. It was a brilliant idea, but like all brilliant ideas, it was ahead of its time; as for the next few decades, despite interest in the model, the technology simply was not ready for it. But of course, time has passed, and technology caught that idea.

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 317 Figure 1. The evolution of cloud computing (Source: https://www.geeksforgeeks.org) Distributed systems. Distributed system is a composition of multiple independent systems but all of them are depicted as a single entity to the users. The purpose of distributed systems is to share resources and also use them effectively and efficiently. Distributed systems possess characteristics such as scalability, concurrency, continuous availability, heterogeneity, and independence in failures. But the main problem with this system was that all the systems were required to be present at the same geographical location. Thus to solve this problem, distributed computing led to three more types of computing and they Mainframe computing, cluster computing, and grid computing. Figure 2. The timeline evolution of cloud computing (Source: https://www.javatpoint.com) Mainframes which first came into existence in 1951 are highly powerful and reliable computing machines. These are responsible for handling large data such as massive input-output operations. Even today these are used for bulk processing tasks such as online transactions etc. These systems have almost no downtime with high fault tolerance. After distributed computing, these increased the

Volume 2, Issue 2 318 June 2025 Management and Future Technologies journal.umft.uz processing capabilities of the system. But these were very expensive. To reduce this cost, cluster computing came as an alternative to mainframe technology. In 1980s, cluster computing came as an alternative to mainframe computing. Each machine in the cluster was connected to each other by a network with high bandwidth. These were way cheaper than those mainframe systems. These were equally capable of high computations. Also, new nodes could easily be added to the cluster if it was required. Thus, the problem of the cost was solved to some extent but the problem related to geographical restrictions still pertained. To solve this, the concept of grid computing was introduced. Grid computing emerged as a more advanced form of distributed computing, aiming to aggregate disparate computing resources (CPUs, storage, applications) from various locations to form a virtual supercomputer. Projects like SETI@home and the European Grid Infrastructure (EGI) demonstrated the power of harnessing geographically dispersed resources for large-scale scientific computations. Grid computing introduced concepts like resource virtualisation, dynamic provisioning, and service-level agreements (SLAs), which are central to modern cloud computing. However, grid computing was often complex to set up and manage, typically focusing on specific scientific or academic projects rather than broad commercial utility. In 1990s, the concept of grid computing was introduced. It means that different systems were placed at entirely different geographical locations and these all were connected via the internet. These systems belonged to different organizations and thus the grid consisted of heterogeneous nodes. Although it solved some problems but new problems emerged as the distance between the nodes increased. The main problem which was encountered was the low availability of high bandwidth connectivity and with it other network associated issues. Thus. cloud computing is often referred to as “Successor of grid computing”. Virtualization was introduced nearly 40 years back. It refers to the process of creating a virtual layer over the hardware which allows the user to run multiple instances simultaneously on the hardware. It is a key technology used in cloud computing. It is the base on which major cloud computing services such as Amazon EC2, VMware vCloud, etc work on. Hardware virtualization is still one of the most common types of virtualization. Web 2.0 is the interface through which the cloud computing services interact with the clients. It is because of Web 2.0 that we have interactive and dynamic web pages. It also increases flexibility among web pages. Popular examples of web 2.0 include Google Maps, Facebook, Twitter, etc. Needless to say, social media is possible because of this technology only. It gained major popularity in 2004. A service orientation acts as a reference model for cloud computing. It supports low-cost, flexible, and evolvable applications. Two important concepts were introduced in this computing model. These were Quality of Service (QoS) which also includes the SLA (Service Level Agreement)

Management and Future Technologies journal.umft.uz June 2025 Volume 2, Issue 2 and Software as a Service (SaaS). Utility Computing is a computing model that defines service provisioning techniques for services such as computer services along with other major services such as storage, infrastructure, etc which are provisioned on a pay-per-use basis. Cloud Computing means storing and accessing the data and programs on remote servers that are hosted on the internet instead of the computer’s hard drive or local server. Cloud computing is also referred to as Internet-based computing, it is a technology where the resource is provided as a service through the Internet to the user. The data that is stored can be files, images, documents, or any other storable document. Launched in 2002, Amazon Web Services (AWS) first provided computing and storage services. However, Elastic Compute Cloud (EC2)’s launch in 2006 was what truly revolutionized cloud computing. With the help of EC2, users were able to hire virtual servers as needed, which was a scalable and economical solution. The success of AWS illustrated cloud computing‘s promise and inspired the quick growth of cloud services. The real turning point came with Amazon Web Services (AWS). Initially, Amazon built a robust, scalable infrastructure to support its e-commerce operations. Recognising the value of this infrastructure, Amazon began offering its computing resources as a service to external developers and businesses. In 2006, AWS officially launched its Elastic Compute Cloud (EC2) and Simple Storage Service (S3), providing Infrastructure as a Service (IaaS). This allowed businesses to rent virtual servers, storage, and networking on an as-needed, pay-as-you-go basis, democratizing access to enterprise-grade IT infrastructure. This was a game-changer, as it significantly lowered the barrier to entry for startups and allowed established businesses to scale rapidly without massive upfront investments. Other significant firms entered the cloud computing business after Amazon. Businesses can now take advantage of productivity tools and collaboration platforms on the cloud thanks to Google Apps, which started offering cloud-based enterprise apps in 2009. Microsoft introduced Windows Azure, a feature-rich cloud computing platform, in the same year. Businesses like Oracle and HP adopted cloud computing as well, providing a variety of services to meet various corporate demands. The presence of these major players in the industry as a whole has sped up the adoption of cloud computing in numerous industries. Google, with its vast internal infrastructure built for search and other services, also entered the cloud market. While AWS focused on IaaS, Google initially emphasised Platform as a Service (PaaS) with the launch of Google App Engine in 2008. PaaS provides a platform allowing customers to develop, run, and manage applications without the complexity of building and maintaining the infrastructure typically associated with developing and launching an app. Google later expanded its 319

Volume 2, Issue 2 320 June 2025 Management and Future Technologies journal.umft.uz offerings to include IaaS and a full suite of cloud services. Cloud computing‘s mainstream adoption is shown by the fact that businesses of all sizes are now reaping their advantages. Scalability, flexibility, cost-effectiveness, and improved collaboration are all benefits of the cloud. Businesses may easily link services, store and analyze enormous amounts of data, scale resources up or down as necessary, and launch applications quickly. Organizational operations have been altered by cloud computing, which has made it possible to innovate, be more agile, and cut costs. Emerging technologies and shifting business requirements are driving the continued evolution of cloud computing. Edge computing is becoming more popular because it enables real-time data analysis and lower latency by processing data closer to the source. Serverless computing, which focuses on writing code rather than managing infrastructure, is also gaining popularity because it offers improved scalability and financial efficiency. The portability and simplicity of deployment across various cloud environments are provided by containerization technologies like Docker and Kubernetes. The future of cloud computing is also being shaped by developments in machine learning (ML) and artificial intelligence (AI). Organizations can use complex algorithms and models for data analysis, automation, and prediction using cloud-based AI and ML services. By enabling firms to gain useful insights, enhance decision-making, and automate procedures, these technologies foster creativity and productivity. Security, data privacy, and regulatory compliance issues are becoming more prominent as the cloud computing environment develops. To overcome these obstacles and offer a secure and reliable cloud environment, service providers are making significant investments in strong security measures, encryption methods, and compliance frameworks. The development of cloud computing as a paradigm-shifting idea can be traced back to a remarkable excursion from the client/server model to distributed computing. The development of pioneers like Salesforce.com and Amazon Web Services has given cloud computing momentum and enabled it to become a crucial component of contemporary IT infrastructure. The widespread use of cloud computing has completely changed how companies run since it provides previously unheard-of levels of scalability, flexibility, and cost-effectiveness. Future trends, including edge computing, serverless computing, and AI/ML integration, are anticipated to influence the cloud environment as technology develops, fostering innovation and upending several sectors throughout the world.