Kontent qismiga oʻtish

Maʼlumotlar ilmi

ZiyoSfera, erkin ensiklopediya


NEOWISE kometasining mavjudligi (bu yerda qizil nuqtalar qatori sifatida tasvirlangan) keng maydonli infraqizil tadqiqot kuzatuvchisi nomli kosmik teleskop tomonidan olingan astronomik kuzatuv maʼlumotlarini tahlil qilish natijasida aniqlangan.

Maʼlumotlar ilmi – bu statistikalar, ilmiy hisoblash, ilmiy usullar, maʼlumotlarni qayta ishlash, ilmiy vizualizatsiya, algoritmlar va tizimlardan foydalanib tartibga solingan yoki solinmagan maʼlumotlardan axborotni ajratib olish yoki uni umumlashtirish bilan shugʻullanuvchi tarmoqlararo akademik sohadir[1][2].

Maʼlumotlar ilmi, shuningdek, qoʻllanilayotgan sohaga oid – masalan, tabiiy fanlar, axborot texnologiyalari yoki tibbiyot kabi fanlarga xos bilimlarni ham oʻz ichiga oladi[3]. Maʼlumotlar ilmi koʻp qirrali soha boʻlib, uni fan, tadqiqot paradigmasi, Ilmiy metod, mustaqil yoʻnalish, ish jarayoni yoki kasb sifatida ham tavsiflash mumkin[4].

Maʼlumotlar ilmi – bu statistika, maʼlumotlarni tahlil qilish, informatika va ular bilan bogʻliq usullarni birlashtiruvchi tushuncha boʻlib, uning maqsadi maʼlumotlar yordamida real hodisalarni anglash va tahlil qilishdir[5]. U oʻz ichiga matematika, statistika, kompyuter fanlari, axborot texnologiyalari hamda sohaga oid maxsus bilimlardan olingan usul va nazariyalarni qamrab oladi[6]. Biroq, maʼlumotlar ilmi kompyuter fanlari va axborot texnologiyalaridan farq qiladi.Turing mukofoti sovrindori Jim Grey maʼlumotlar ilmini ilm-fanning toʻrtinchi paradigmasi sifatida tasavvur qilgan (empirik, nazariy, hisoblash va endilikda maʼlumotlarga asoslangan) hamda „Axborot texnologiyalari va maʼlumotlar oqimi taʼsirida ilm-fanning barcha jihatlari oʻzgarib bormoqda“, deb taʼkidlagan[7][8].

Maʼlumotlar ilmi bilan shugʻullanuvchilar – bu dasturlash koʻnikmalarini statistik bilimlar bilan uygʻunlashtirib, maʼlumotlarni tahlil qilish va umumlashtirish bilan shugʻullanuvchi mutaxassislardir[9].

Asosi

Maʼlumotlar ilmi – bu odatda katta hajmdagi maʼlumotlar toʻplamidan axborotni ajratib olish va ushbu axborotni boshqa amaliy sohalardagi muammolarni hal qilishda qoʻllashga yoʻnaltirilgan tarmoqlararo sohadir[10]. Ushbu yoʻnalish maʼlumotlarni tahlilga tayyorlash, maʼlumotlar ilmi boʻyicha muammolarni shakllantirish, tahlil qilish va natijalarni umumlashtirish bosqichlarini oʻz ichiga oladi. Shu sababli, u raqamli sohalar, matematika, maʼlumotlar vizualizatsiyasi, grafik dizayn, kommunikatsiya va biznes kabi yoʻnalishlarda zarur koʻnikmalarni birlashtiradi[11].

Vasant Dharning yozishicha, statistika asosan miqdoriy maʼlumotlar va ularning tavsiflanishiga urgʻu beradi. Aksincha, maʼlumotlar ilmi esa miqdoriy hamda sifatli maʼlumotlar (masalan: tasvirlar, matnlar, sensorlar, tranzaksiyalar, mijozlarga oid maʼlumotlar va boshqalar) bilan ishlaydi va koʻproq bashorat qilish va amaliy harakatlarga yoʻnaltirilgan boʻladi[12]. Kolumbiya universiteti professori Andrew Gelman statistikani maʼlumotlar ilmining asosiy boʻlmagan qismimlaridan biri sifatida taʼriflagan[13]. Stenford universiteti professori David Donoho esa maʼlumotlar ilmida statistikani faqat katta hajmdagi maʼlumotlar yoki hisoblash texnologiyalaridan foydalanish orqali ajratib koʻrsatish notoʻgʻri ekanini taʼkidlaydi. Uning fikriga koʻra, koʻplab magistratura dasturlari oʻzlarining analitika va statistika boʻyicha taʼlimlarini notoʻgʻri tarzda maʼlumotlar ilmining mohiyati sifatida targʻib qilmoqda. Donohoning fikricha, maʼlumotlar ilmi – bu anʼanaviy statistikadan ajralib chiqqan chiqqan amaliy yoʻnalishdir[14].

Maʼlumotlar ilmi va maʼlumotlar tahlili

summary statistics and scatterplots showing the Datasaurus dozen data set
Eksplorator maʼlumotlar tahlilining foydaliligi – Datasaurus Dozen misolida

Maʼlumotlarni tahlil qilish odatda tuzilgan (strukturaviy) maʼlumotlar toʻplamlari ustida ishlashni oʻz ichiga oladi va maʼlum savollarga javob topish yoki aniq muammolarni hal qilishga qaratilgan boʻladi. Bu jarayonga, odatda, maʼlumotlarni tozalash va vizualizatsiya qilish kabi vazifalar kiradi – ular orqali maʼlumotlar umumlashtiriladi hamda oʻzgaruvchilar orasidagi bogʻliqliklar haqida farazlar (gipotezalar) ilgari suriladi. Maʼlumotlar tahlilchilari ushbu gipotezalarni sinash va maʼlumotlar asosida xulosalar chiqarish uchun koʻpincha statistik usullardan foydalanadilar[15].

Maʼlumotlar ilmi koʻpincha katta hajmdagi maʼlumotlar bilan ishlashni oʻz ichiga oladi va bunday maʼlumotlarni tahlil qilish uchun ilgʻor hisoblash hamda statistik usullardan foydalanishni talab etiladi. Maʼlumotlar ilmi bilan shugʻullanuvchi olimlar koʻpincha matn yoki tasvir kabi tuzilmagan maʼlumotlar bilan ishlaydilar va bashoratli modellar yaratishda mashinaviy oʻrganish algoritmlaridan foydalanadilar. Maʼlumotlar ilmida odatda statistik tahlil, maʼlumotlarni oldindan qayta ishlash va nazoratli o‘rganish usullari qoʻllaniladi[16][17].

Bulutli hisoblashning maʼlumotlar ilmidagi oʻrni

Katta hajmdagi maʼlumotlarni tahlil qilish uchun bulutga asoslangan arxitektura. Maʼlumotlar shaxsiy kompyuterlar, noutbuklar va smartfonlar kabi turli manbalardan bulutli xizmatlar orqali oʻtib, qayta ishlanadi va tahlil qilinadi. Bu jarayon natijasida turli xil katta maʼlumotlar ilovalarini yaratish imkoniyati paydo boʻladi.

Bulutli hisoblash bu katta hajmdagi hisoblash resurslari va saqlash xotirasiga masofaviy kirishni taʼminlovchi texnologiyadir[18]. Bu texnologiya, ayniqsa, katta maʼlumotlar bilan ishlashda muhim ahamiyat kasb etadi, chunki bunday sohalarda maʼlumotlar doimiy ravishda ishlab chiqiladi va tahlil qilinadi. Bulutli platformalar murakkab, koʻp resurs talab qiluvchi analitik jarayonlarni tezkor va samarali tarzda amalga oshirish imkonini beradi[19].

Baʼzi tarqatilgan hisoblash tizimlari aynan katta hajmdagi maʼlumotlar bilan ishlash uchun moʻljallangan. Ushbu ramkalar maʼlumotlar ilmi bilan shugʻullanuvchilarga katta hajmdagi maʼlumotlar toʻplamlarini bir vaqtning oʻzida bir nechta hisoblash tugunlari (uzellari) orqali qayta ishlash va tahlil qilish imkonini beradi. Natijada, maʼlumotlarni qayta ishlash jarayoni tezlashadi va resurslardan samarali foydalanish imkoniyati yaratiladi[20].

Manbalar

  1. ↑ Donoho, David (2017). "50 Years of Data Science". Journal of Computational and Graphical Statistics 26 (4): 745–766. doi:10.1080/10618600.2017.1384734. 
  2. ↑ Dhar, V. (2013). "Data science and prediction". Communications of the ACM 56 (12): 64–73. doi:10.1145/2500499. http://cacm.acm.org/magazines/2013/12/169933-data-science-and-prediction/fulltext. Qaraldi: 2 September 2015. Maʼlumotlar ilmi]]
  3. ↑ Danyluk, A.; Leidig, P. (2021). "Computing Competencies for Undergraduate Data Science Curricula". ACM Data Science Task Force Final Report. https://dstf.acm.org/DSTF_Final_Report.pdf. 
  4. ↑ Mike, Koby; Hazzan, Orit (2023-01-20). "What is Data Science?". Communications of the ACM 66 (2): 12–13. doi:10.1145/3575663. ISSN 0001-0782. 
  5. ↑ Hayashi, Chikio „What is Data Science ? Fundamental Concepts and a Heuristic Example“, . Data Science, Classification, and Related Methods, Studies in Classification, Data Analysis, and Knowledge Organization (en). Springer Japan, 1998-01-01 — 40–51-bet. DOI:10.1007/978-4-431-65950-1_3. ISBN 9784431702085. 
  6. ↑ Cao, Longbing (2017-06-29). "Data Science: A Comprehensive Overview". ACM Computing Surveys 50 (3): 43:1–43:42. doi:10.1145/3076253. ISSN 0360-0300. 
  7. ↑ ; Stewart Tansley; Kristin Michele TolleThe Fourth Paradigm: Data-intensive Scientific Discovery. Microsoft Research, 2009. ISBN 978-0-9825442-0-4 (2017-yil 20-martda asl nusxadan arxivlangan). 
  8. ↑ Bell, G.; Hey, T.; Szalay, A. (2009). "Computer Science: Beyond the Data Deluge". Science 323 (5919): 1297–1298. doi:10.1126/science.1170411. ISSN 0036-8075. PMID 19265007. https://archive.org/details/sim_science_2009-03-06_323_5919/page/1296. 
  9. ↑ Davenport, Thomas H.; Patil, D. J. (October 2012). "Data Scientist: The Sexiest Job of the 21st Century". Harvard Business Review 90 (10): 70–76, 128. PMID 23074866. https://hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/. Qaraldi: 2016-01-18. Maʼlumotlar ilmi]]
  10. ↑ Emmert-Streib, Frank; Dehmer, Matthias (2018). "Defining data science by a data-driven quantification of the community". Machine Learning and Knowledge Extraction 1: 235–251. doi:10.3390/make1010015. 
  11. ↑ „1. Introduction: What Is Data Science?“ (en). Doing Data Science [Book]. O’Reilly. Qaraldi: 2020-yil 3-aprel.
  12. ↑ Vasant Dhar (2013-12-01). "Data science and prediction" (en). Communications of the ACM 56 (12): 64–73. doi:10.1145/2500499. http://archive.nyu.edu/handle/2451/31553. 
  13. ↑ „Statistics is the least important part of data science « Statistical Modeling, Causal Inference, and Social Science“. statmodeling.stat.columbia.edu. Qaraldi: 2020-yil 3-aprel.
  14. ↑ Manba xatosi: Invalid <ref> tag; no text was provided for refs named :7
  15. ↑ James, Gareth; Witten, Daniela; Hastie, Trevor; Tibshirani, Robert. An Introduction to Statistical Learning: with Applications in R. (en). Springer, 2017-09-29. 
  16. ↑ Provost, Foster; Tom Fawcett „Data Science for Business: What You Need to Know about Data Mining and Data-Analytic Thinking.“ (en). O'Reilly Media, Inc. (2013-yil 1-avgust).
  17. ↑ Han, Kamber; Pei. Data Mining: Concepts and Techniques. (en), 2011. ISBN 9780123814791. 
  18. ↑ Hashem, Ibrahim Abaker Targio; Yaqoob, Ibrar; Anuar, Nor Badrul; Mokhtar, Salimah; Gani, Abdullah; Ullah Khan, Samee (2015). "The rise of "big data" on cloud computing: Review and open research issues" (en). Information Systems 47: 98–115. doi:10.1016/j.is.2014.07.006. https://linkinghub.elsevier.com/retrieve/pii/S0306437914001288. 
  19. ↑ Qiu, Junfei; Wu, Qihui; Ding, Guoru; Xu, Yuhua; Feng, Shuo (2016). "A survey of machine learning for big data processing" (en). EURASIP Journal on Advances in Signal Processing 2016 (1). doi:10.1186/s13634-016-0355-x. ISSN 1687-6180. 
  20. ↑ Armbrust, Michael; Xin, Reynold S.; Lian, Cheng; Huai, Yin; Liu, Davies „Spark SQL: Relational Data Processing in Spark“, . Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data (en). ACM, 2015-05-27 — 1383–1394-bet. DOI:10.1145/2723372.2742797. ISBN 978-1-4503-2758-9.