Oblasť kybernetickej bezpečnosti
AI
AI bezpečnosť rieši ochranu generatívnej AI, LLM aplikácií, agentov, vstupov, výstupov, dátových zdrojov, oprávnení a integrácií do podnikových procesov.
Slovník skratiek
Prehľad vysvetľuje skratky použité v tejto časti, aby bolo jasné, ktorú bezpečnostnú funkciu označujú.
- AI
- Artificial IntelligenceUmelá inteligencia používaná na analýzu, generovanie obsahu, automatizáciu rozhodovania alebo podporu procesov.
- PII
- Personally Identifiable InformationOsobné identifikovateľné údaje, ktoré môžu priamo alebo nepriamo identifikovať konkrétnu osobu.
- RBAC
- Role-Based Access ControlRiadenie prístupu podľa rolí, kde oprávnenia vyplývajú z pracovnej funkcie alebo zodpovednosti používateľa.
- RAG
- Retrieval-Augmented GenerationPrístup, kde AI odpoveď vychádza z vyhľadaných zdrojov alebo dokumentov namiesto samotnej pamäte modelu.
- LLM
- Large Language ModelVeľký jazykový model používaný na spracovanie a generovanie textu, odpovedí alebo interakcií v prirodzenom jazyku.
- MCP
- Model Context ProtocolProtokol na pripájanie AI nástrojov a agentov k externým dátam, systémom a akciám.
Čo táto oblasť rieši
AI bezpečnosť rieši riziká spojené s používaním generatívnej AI, veľkých jazykových modelov, RAG systémov, agentov, pluginov, konektorov a prístupu k interným dátam. Táto oblasť prepája aplikačnú bezpečnosť, ochranu dát, identitu, governance, monitoring používania a kontrolu automatizovaných akcií.
Prečo je dôležitá
AI systémy môžu pracovať s citlivými dátami, interpretovať externý obsah, volať nástroje a vytvárať odpovede, ktoré ovplyvňujú rozhodnutia alebo procesy. Riziká zahŕňajú prompt injection, únik osobných údajov, obchádzanie oprávnení, neoverené odpovede, slabú kontrolu zdrojov, nadmernú agentickú autonómiu a zneužitie integračných rozhraní ako MCP server security.
Ako sa v oblasti orientovať
S nasadením generatívnej AI pribúdajú nové riziká: prompt injection, únik citlivých dát, neoverené výstupy, príliš široké oprávnenia agentov, slabé oddelenie zdrojov a nové integračné rozhrania. Praktická orientácia musí spájať dátovú ochranu, aplikačnú bezpečnosť, identitu, governance a monitoring používania AI vrátane RAG a MCP scenárov.
Pri výbere AI bezpečnostných technológií treba rozlišovať ochranu vstupu, kontrolu výstupu, validáciu odpovedí, RBAC filtrovanie, RAG dôveryhodnosť a bezpečnosť integračných vrstiev. Mnohé organizácie najprv potrebujú základnú kontrolu nad tým, kde sa AI používa, s akými dátami pracuje a aké akcie môže vykonávať, až potom detailné technické politiky.
Zoznam technológií nižšie slúži ako mapa oblasti AI. Najprv je vhodné pomenovať konkrétny bezpečnostný problém, potom vybrať najbližšiu technologickú kategóriu a až následne porovnávať výrobcov. Takýto postup pomáha oddeliť podobne znejúce riešenia a znižuje riziko, že sa do architektúry pridá ďalší nástroj bez jasnej úlohy.
Technická schéma sekcie
Otázky pri výbere riešenia
- Ktoré AI nástroje sú používané interne a ktoré sú integrované do procesov?
- Pracuje AI s citlivými dátami, osobnými údajmi alebo internými dokumentmi?
- Ako sa kontrolujú vstupy, výstupy, zdroje a oprávnenia používateľov?
- Má AI iba odpovedať, alebo môže volať nástroje, meniť dáta a spúšťať akcie?
- Majú AI agenti alebo MCP servery prístup k systémom, ktoré vyžadujú audit a obmedzenia?
Ako používať túto sekciu
Každá technologická stránka rozvíja samostatnú kategóriu, vysvetľuje jej miesto v architektúre a uvádza výrobcov z portfólia SecTec, ktorí s danou oblasťou súvisia. Sekčná stránka preto funguje ako vstupný bod pre orientáciu, zatiaľ čo detailné stránky pomáhajú pri konkrétnom mapovaní na riešenia.
Výrobcovia z portfólia SecTec
Pokrytie útokov a obranný kontext
MITRE ATT&CK® Enterprise verzie 19.1 používame ako referenčný model. Mapovanie je odbornou interpretáciou SecTec a neznamená schválenie alebo odporúčanie zo strany MITRE.
Praktické typy útokov
- Phishing a zneužitie identityÚtočník manipuluje používateľa, získava prihlasovacie údaje alebo zneužíva dôveryhodný účet na vstup do prostredia.
- Zneužitie verejnej aplikácie alebo APIÚtočník využíva zraniteľnú webovú aplikáciu, API, klientsky kód alebo dodávateľský komponent na prvotný prístup a vykonanie kódu.
- Kompromitácia cloudu a SaaSÚtočník zneužíva cloudové identity, oprávnenia, konfigurácie alebo aplikačné integrácie na prístup k službám a dátam.
- Malware a Command and ControlŠkodlivý kód sa spúšťa, udržiava prístup a komunikuje s infraštruktúrou útočníka cez bežné alebo skryté kanály.
- Exfiltrácia a únik dátÚtočník vyhľadáva, zhromažďuje a odosiela citlivé dáta z koncových zariadení, cloudu, e-mailu alebo interných úložísk.
- Dodávateľský reťazec a dôveryhodný prístupÚtočník zneužíva dodávateľa, softvérovú závislosť, externý prístup alebo dôveryhodný vzťah na obídenie bežnej ochrany.
- Business Email Compromise a prevzatie schránkyÚtočník prevezme alebo napodobní dôveryhodnú e-mailovú identitu a zneužije komunikáciu na podvod, zmenu platobných údajov, zber dát alebo ďalší phishing.
- Eskalácia oprávnení a perzistenciaÚtočník rozširuje oprávnenia, vytvára alebo mení účty a politiky a buduje si opakovaný prístup k systémom, identitám alebo cloudovému prostrediu.
- Insider hrozba a zneužitie oprávneného prístupuInterný používateľ alebo útočník s platným účtom zneužíva legitímne oprávnenia na vyhľadávanie, kopírovanie, manipuláciu alebo odoslanie citlivých dát.
- Injection a vykonanie príkazuNedôveryhodný vstup zmení význam príkazu, dotazu alebo šablóny a umožní čítanie dát, obídenie logiky alebo vykonanie kódu.
Relevantné techniky ATT&CK
- T1005 · Data from Local SystemDetect, Prevent
- T1059 · Command and Scripting InterpreterDetect, Prevent, Respond
- T1078 · Valid AccountsDetect, Prevent, Respond
- T1190 · Exploit Public-Facing ApplicationDetect, Prevent, Respond
- T1213 · Data from Information RepositoriesDetect, Prevent, Respond
- T1530 · Data from Cloud StorageDetect, Prevent, Respond
- T1567 · Exfiltration Over Web ServiceDetect, Prevent, Respond