Кіріспе

Деректер интеллектуалды ақпараттық жүйелердің негізгі ресурстарының бірі болып табылады. Жүйенің дұрыс қорытынды жасауы, болжам құруы және шешім қабылдауды қолдауы бастапқы деректердің сапасына байланысты. Сондықтан деректерді жинау және алдын ала өңдеу интеллектуалды жүйелерді әзірлеудің маңызды кезеңдері саналады.

Деректерді өңдеу барысында ақпараттың толықтығын, дұрыстығын және өзектілігін тексеру қажет. Сонымен қатар жетіспейтін мәндер мен ауытқуларды анықтау жүйенің сенімділігін арттыруға көмектеседі.

3.1. Деректерді жинау және оның негізгі көздері

Деректерді жинау — белгілі бір міндетті шешуге қажетті ақпаратты әртүрлі көздерден алу процесі. Жиналған деректер кейін талдау, модельді оқыту және қорытынды жасау үшін қолданылады.

Деректердің негізгі көздеріне дерекқорлар, электрондық құжаттар, сауалнамалар, веб-ресурстар, датчиктер және ақпараттық жүйелер жатады. Деректер құрылымдалған, жартылай құрылымдалған немесе құрылымдалмаған түрде ұсынылуы мүмкін.

Деректерді жинау кезінде бірнеше талап ескеріледі: ақпараттың зерттеу мақсатына сәйкестігі, жеткілікті көлемде болуы, сенімділігі және заңды түрде алынуы. Сапасыз немесе мақсатқа сәйкес келмейтін деректер кейінгі талдау нәтижелеріне кері әсер етуі мүмкін.

3.2. Деректер сапасы

Деректер сапасы — ақпараттың белгіленген міндеттерді шешуге қаншалықты жарамды екенін сипаттайтын қасиеттер жиынтығы.

Деректер сапасының негізгі көрсеткіштері:

• Дұрыстық — ақпараттың нақты жағдайға сәйкес келуі.
• Толықтық — қажетті мәліметтердің жеткілікті болуы.
• Бірізділік — деректердің бір-біріне қайшы келмеуі.
• Өзектілік — ақпараттың қазіргі жағдайға сәйкес болуы.
• Дәлдік — мәндердің қажетті нақтылық деңгейінде берілуі.
• Бірегейлік — қайталанатын жазбалардың болмауы немесе олардың дұрыс өңделуі.

Деректер сапасын тексеру интеллектуалды модельдерді оқыту алдында орындалуы керек. Сапалы деректер модельдің заңдылықтарды дұрыс анықтауына ықпал етеді, ал қателер мен сәйкессіздіктер қате қорытындыларға әкелуі мүмкін.

3.3. Деректерді алдын ала өңдеу

Деректерді алдын ала өңдеу — бастапқы ақпаратты талдауға және интеллектуалды алгоритмдерде пайдалануға дайындау процесі.

Оның негізгі кезеңдері:

1. Деректердің құрылымы мен сапасын тексеру.
2. Қате және қайталанатын жазбаларды анықтау.
3. Жетіспейтін мәндерді өңдеу.
4. Ауытқуларды анықтау және бағалау.
5. Деректер форматтарын сәйкестендіру.
6. Қажет болған жағдайда сандық мәндерді нормализациялау немесе масштабтау.

Алдын ала өңдеу әдісі деректердің түріне және шешілетін міндетке байланысты таңдалады. Өңдеу барысында бастапқы ақпаратты негізсіз өзгертуге болмайды, өйткені бұл маңызды ақпараттың жоғалуына әкелуі мүмкін.

3.4. Жетіспейтін мәндер

Жетіспейтін мәндер — деректер жиынтығында белгілі бір көрсеткіштің мәні болмаған жағдай. Олар ақпаратты жинау кезіндегі қателерден, пайдаланушының жауап бермеуінен немесе техникалық ақаулардан туындауы мүмкін.

Жетіспейтін мәндерді өңдеудің негізгі тәсілдері:

• Жазбаны жою. Ақпараты жетіспейтін жазбалар саны аз болғанда және оларды алып тастау жалпы нәтижеге елеулі әсер етпегенде қолданылады.
• Орташа мәнмен толықтыру. Сандық деректер үшін орташа мән пайдаланылады.
• Медианамен толықтыру. Ауытқулар кездесетін сандық деректерде медиана орынды болуы мүмкін.
• Ең жиі кездесетін мәнмен толықтыру. Категориялық деректерді өңдеу кезінде қолданылады.
• Болжамдық толықтыру. Басқа белгілерге сүйене отырып, жетіспейтін мәнді бағалау әдістерін қамтиды.

Әдісті таңдау кезінде жетіспейтін мәндердің саны мен пайда болу себептері ескеріледі. Кейбір жағдайларда мәннің болмауының өзі маңызды ақпарат болуы мүмкін, сондықтан оны автоматты түрде жою немесе толықтыру әрдайым дұрыс шешім емес.

3.5. Деректердегі ауытқулар

Ауытқулар — деректер жиынтығындағы басқа мәндерден айтарлықтай ерекшеленетін бақылаулар. Олар өлшеу қателерінен, ақпаратты енгізудегі қателіктерден немесе сирек кездесетін нақты жағдайлардан пайда болуы мүмкін.

Ауытқуларды анықтаудың кең таралған әдістеріне статистикалық талдау, квартильдер аралығын пайдалану және кластерлеу алгоритмдері жатады.

Ауытқуларды өңдеу кезінде олардың пайда болу себебін анықтау маңызды. Егер ауытқу қате енгізілген мәннен туындаса, оны түзету қажет болуы мүмкін. Ал егер ол нақты және маңызды жағдайды сипаттаса, оны деректерден алып тастау ақпараттың жоғалуына әкеледі.

Сондықтан барлық ауытқуларды автоматты түрде жою дұрыс емес. Оларды бағалау жүйенің мақсатына және деректердің ерекшеліктеріне сәйкес жүргізілуі керек.

3.6. Деректерді нормализациялау және масштабтау

Әртүрлі белгілердің сандық мәндері бір-бірінен едәуір ерекшеленуі мүмкін. Кейбір машиналық оқыту алгоритмдері мұндай айырмашылықтарға сезімтал болады. Осыған байланысты деректерді нормализациялау және масштабтау әдістері қолданылады.

Нормализациялау мәндерді белгілі бір аралыққа, көбінесе 0 мен 1 аралығына келтіреді.

Стандарттау деректерді орташа мәні 0-ге, ал стандартты ауытқуы 1-ге тең болатын шкалаға келтіруге негізделеді.

Бұл әдістер модельдің белгілерді өңдеуін жеңілдетіп, кейбір алгоритмдердің тиімділігін арттыруы мүмкін. Дегенмен олар барлық алгоритмдер үшін міндетті емес. Әдісті таңдау қолданылатын модельдің ерекшеліктеріне байланысты болады.

Қорытынды

Деректерді жинау және алдын ала өңдеу интеллектуалды ақпараттық жүйелердің сапалы жұмыс істеуіне негіз болады. Деректердің дұрыстығы мен толықтығын тексеру, жетіспейтін мәндерді өңдеу, ауытқуларды бағалау және сандық белгілерді қажетті форматқа келтіру модельдердің сенімділігін арттыруға көмектеседі.

Алдын ала өңдеудің негізгі мақсаты — деректерді негізсіз өзгертпей, оларды талдауға және интеллектуалды алгоритмдерде пайдалануға жарамды күйге келтіру.