SekciaAI
Technologická kategória
LLM security
LLM security patrí do oblasti AI. LLM security zahŕňa ochranu veľkých jazykových modelov, aplikácií nad nimi, dátových zdrojov, promptov, agentov a integračných nástrojov. Rieši prompt injection, exfiltráciu dát, nadmerné oprávnenia, zneužitie pluginov, neoverené výstupy a audit používania.
Slovník skratiek
Prehľad vysvetľuje skratky použité v tejto časti, aby bolo jasné, ktorú bezpečnostnú funkciu označujú.
- LLM
- Large Language ModelVeľký jazykový model používaný na spracovanie a generovanie textu, odpovedí alebo interakcií v prirodzenom jazyku.
Čo technológia rieši
LLM security zahŕňa ochranu veľkých jazykových modelov, aplikácií nad nimi, dátových zdrojov, promptov, agentov a integračných nástrojov. Rieši prompt injection, exfiltráciu dát, nadmerné oprávnenia, zneužitie pluginov, neoverené výstupy a audit používania.
Prečo je dôležitá
Mala by byť súčasťou aplikačnej bezpečnosti, dátovej ochrany, identity managementu a governance, najmä ak LLM pracuje s internými dátami alebo vykonáva akcie cez nástroje.
V praxi nejde iba o technickú funkciu, ale o schopnosť zaradiť riešenie do širšej bezpečnostnej architektúry. Organizácie často prevádzkujú desiatky konzol a nástrojov, pričom problémom nie je len samotná bezpečnosť, ale aj orientácia v tom, ktorá technológia rieši konkrétny typ rizika.
Táto kategória pomáha presne pomenovať riešený problém, zúžiť výber relevantných riešení a odlíšiť technológie, ktoré sa na prvý pohľad prekrývajú. To je dôležité najmä pre partnerov a zákazníkov, ktorí už kybernetickej bezpečnosti rozumejú, ale potrebujú rýchlo zmapovať trh a dostupné portfólio.
Typické scenáre použitia
LLM security sa najčastejšie rieši vtedy, keď organizácia potrebuje presnejšiu kontrolu nad konkrétnou vrstvou bezpečnosti v oblasti AI. Môže ísť o doplnenie existujúcej architektúry, nahradenie zastaraného nástroja, rozšírenie viditeľnosti alebo zjednotenie funkcií, ktoré sú dnes rozdelené medzi viacero produktov.
Miesto v architektúre
V širšej architektúre AI treba LLM security posudzovať podľa toho, ako sa napája na existujúce bezpečnostné a prevádzkové procesy. Praktická hodnota vzniká až vtedy, keď riešenie poskytuje použiteľné dáta, jasné politiky, zrozumiteľný reporting a integrácie s existujúcimi nástrojmi.
Pri mapovaní na výrobcov z portfólia SecTec je preto dôležité vnímať nielen samotnú funkcionalitu, ale aj spôsob nasadenia, licenčný model, úroveň správy, podporované platformy a možnosť prepojenia s ďalšími oblasťami. V konkrétnej architektúre môže byť LLM security samostatnou platformou, funkciou alebo súčasťou širšieho riešenia.
Ako technológiu posudzovať
Pri výbere riešenia odporúčame sledovať najmä:
- aký problém riešenie pokrýva a kde sú jeho hranice
- či podporuje existujúce prostredie organizácie
- ako sa integruje so SIEM, SOAR, XDR, IAM, cloudom alebo ticketingom
- akú úroveň automatizácie, reportingu a auditovateľnosti poskytuje
- či znižuje prevádzkovú komplexitu alebo iba pridáva ďalšiu izolovanú konzolu
Súvisiace oblasti
Výrobcovia z portfólia SecTec
Pokrytie útokov a obranný kontext
MITRE ATT&CK® Enterprise verzie 19.1 používame ako referenčný model. Mapovanie je odbornou interpretáciou SecTec a neznamená schválenie alebo odporúčanie zo strany MITRE.
Praktické typy útokov
- Phishing a zneužitie identityÚtočník manipuluje používateľa, získava prihlasovacie údaje alebo zneužíva dôveryhodný účet na vstup do prostredia.
- Zneužitie verejnej aplikácie alebo APIÚtočník využíva zraniteľnú webovú aplikáciu, API, klientsky kód alebo dodávateľský komponent na prvotný prístup a vykonanie kódu.
- Kompromitácia cloudu a SaaSÚtočník zneužíva cloudové identity, oprávnenia, konfigurácie alebo aplikačné integrácie na prístup k službám a dátam.
- Malware a Command and ControlŠkodlivý kód sa spúšťa, udržiava prístup a komunikuje s infraštruktúrou útočníka cez bežné alebo skryté kanály.
- Exfiltrácia a únik dátÚtočník vyhľadáva, zhromažďuje a odosiela citlivé dáta z koncových zariadení, cloudu, e-mailu alebo interných úložísk.
- Dodávateľský reťazec a dôveryhodný prístupÚtočník zneužíva dodávateľa, softvérovú závislosť, externý prístup alebo dôveryhodný vzťah na obídenie bežnej ochrany.
- Business Email Compromise a prevzatie schránkyÚtočník prevezme alebo napodobní dôveryhodnú e-mailovú identitu a zneužije komunikáciu na podvod, zmenu platobných údajov, zber dát alebo ďalší phishing.
- Eskalácia oprávnení a perzistenciaÚtočník rozširuje oprávnenia, vytvára alebo mení účty a politiky a buduje si opakovaný prístup k systémom, identitám alebo cloudovému prostrediu.
- Insider hrozba a zneužitie oprávneného prístupuInterný používateľ alebo útočník s platným účtom zneužíva legitímne oprávnenia na vyhľadávanie, kopírovanie, manipuláciu alebo odoslanie citlivých dát.
Relevantné techniky ATT&CK
- T1059 · Command and Scripting InterpreterDetect, Prevent, Respond
- T1078 · Valid AccountsDetect, Prevent, Respond
- T1190 · Exploit Public-Facing ApplicationDetect, Prevent, Respond
- T1213 · Data from Information RepositoriesDetect, Prevent, Respond
- T1530 · Data from Cloud StorageDetect, Prevent, Respond
- T1567 · Exfiltration Over Web ServiceDetect, Prevent, Respond