Intellektual matn tahlili

Matn yaratish (IMT, inglizcha: text mining) ― sunʼiy intellektning asosiy yoʻnalishidan biri boʻlib, uning maqsadi mashinani oʻrganish va tabiiy tilni qayta ishlashning amaliy usullarini qoʻllash asosida matnli hujjatlar toʻplamidan maʼlumot olishdir. „Matn yaratish“ nomi „maʼlumotlar orasidan matn qazib olish“ tushunchasiga mos keladi (AID, inglizcha: data mining), bu ularning maqsadlari, axborotni qayta ishlashga yondashuvlari va qoʻllanilish sohalarining oʻxshashligini ifodalaydi; farq nafaqat yakuniy usullarda, yoki, AID elektron kutubxonalar va matn korpuslari bilangina emas, balki omborlar va maʼlumotlar bazalari bilan shugʻullanishida namoyon boʻladi.

AIT vazifa guruhlari

AIT vazifalarining asosiy guruhlari quyidagilardan iborat: matnni turkumlash, maʼlumotlarni ajratib olish va qidirish, matn toʻplamlaridagi oʻzgarishlarni qayta ishlash va foydalanuvchiga maʼlumot taqdim etish vositalarini ishlab chiqishdir.

Hujjatlarni turkumlashtirish toʻplamdan hujjatlarni oʻxshash matnlarning bir yoki bir nechta guruhiga (sinflari, klasterlari) (masalan: mavzu yoki uslub boʻyicha) ajratishdan iborat. Kategoriyalashtirish shaxs ishtirokida ham, usiz ham sodir boʻlishi mumkin. Hujjatlar tasnifi deb ataladigan birinchi holatda, AIT tizimi matnlarni allaqachon aniqlangan (uning uchun qulay) sinflarga kiritishi kerak. Mashinani oʻrganish nuqtai nazaridan, bu nazorat ostida oʻrganishni talab qiladi, buning uchun foydalanuvchi AIT tizimiga sinflar toʻplamini va ushbu sinflarga tegishli hujjatlar namunalarini taqdim etishi kerak.

Kategoriyalashtirishning ikkinchi holati hujjatlarni klasterlash deb ataladi. Shu bilan birga, AIT tizimi matnlar tarqatilishi mumkin boʻlgan klasterlar toʻplamini oʻzi aniqlashi kerak — mashinani oʻrganishda tegishli vazifa deyiladi nazoratsiz oʻrganish. Bunday holda, foydalanuvchi IAT tizimiga qayta ishlanayotgan toʻplamni boʻlishni xohlagan klasterlar sonini aytishi kerak (xususiyatlarni tanlash protsedurasi allaqachon dastur algoritmiga kiritilgan deb taxmin qilinadi).

Ilova

Soʻnggi paytlarda matn tahlili xavfsizlik, tijorat va ilm-fan kabi turli sohalarda tobora koʻproq eʼtiborni tortmoqda.

Xavfsizlikda

Aerotext va Attensity kabi koʻplab matn tahlil paketlari xavfsizlik ilovalari bozoriga, xususan, yangiliklar saytlari kabi oddiy matn manbalarini tahlil qilishga qaratilgan.

Dasturiy taʼminotda

IBM, Apple va Microsoft kabi yirik kompaniyalarning tadqiqot va ishlanmalar boʻlimlari kelajakda maʼlumotlarni tahlil qilish va chiqarish jarayonlarini avtomatlashtirish maqsadida matn tahlili texnologiyalarini oʻrganmoqda.

Adabiyotlar

Intellektual matn tahlili

Muallif(lar)	Peskova O. В.
Sahifalar soni	170—212
ISBN	978–5–94506–294–8

• Survey of Text Mining I: Clustering, Classification, and Retrieval, 2004, Springer, 2003. ISBN 0387955631. 
• Aggarwal C. C., Zhai C.. Mining Text Data. Springer, 2012. ISBN 9781461432234. 
• Do Prado H. A.. Emerging Technologies of Text Mining: Techniques and Applications. Idea Group Reference, 2007. ISBN 1599043734.