De meeste publicaties over artificiële ‘intelligentie’ (AI) die handelen over beveiliging en aanval richten zich op de studie van aanvallen op algoritmen voor machine learning (zie bv. [1]) en verdedigingen tegen dergelijke aanvallen. Traditionele kwaadaardige aanvallen op AI-systemen doen zich bijvoorbeeld voor wanneer een tegenpartij invoergegevens manipuleert om algoritmen voor machine learning te misleiden, wat resulteert in een verkeerde classificatie¹.

Desondanks wordt in een aanzienlijk aantal artikelen AI ook onderzocht als een mogelijk wapen tegen informatiesystemen – waardoor mogelijk snellere, grootschaligere en verdergaande aanvallen mogelijk zijn – en als een hulpmiddel om bestaande aanvalsvectoren te verbeteren.

In een vorig artikel hebben we kort uitgelegd wat er achter de term ‘artificiële intelligentie’ schuilgaat door enkele basistechnieken te beschrijven die worden gebruikt in cybersecurity. In dit artikel kijken we naar het gebruik van AI om aanvallen op computersystemen te vergemakkelijken. We beschrijven in het bijzonder hoe AI verschillende aanvalsvectoren kan wijzigen of al wijzigt.

Pessimistische voorspellingen

In 2018 merkten Brundage et al. [2] op dat het toenemende gebruik van AI drie veranderingen in het dreigingslandschap met zich mee zou brengen:

Een uitbreiding van bestaande bedreigingen: AI zou de kosten van aanvallen kunnen verlagen door minder mankracht nodig te hebben, maar ook een breder scala aan potentiële doelwitten kunnen bereiken.
Introductie van nieuwe bedreigingen: AI-systemen zouden taken kunnen uitvoeren die normaal gesproken onmogelijk zijn voor een mens.
Een verandering in de typische aard van bedreigingen: aanvallen die mogelijk worden gemaakt door het gebruik van AI kunnen effectiever, gerichter en moeilijker toe te schrijven

Deze voorspellingen worden ondersteund door een recent rapport van het Britse National Cyber Security Centre (NCSC), dat een toename voorspelt in het aantal en de effectiviteit van AI-gebaseerde cybersecuritydreigingen [3].

Eenvoudige toegang tot LLM’s zou adversaries bijvoorbeeld in staat kunnen stellen om hun eigen beperkingen op het gebied van middelen, vaardigheden en/of kennis te omzeilen. Bovendien kan ongecontroleerd gebruik van AI-toepassingen in interne projecten of door minder alerte werknemers nieuwe aanvalsoppervlakken creëren en leiden tot het lekken van persoonlijke gegevens, intellectueel eigendom of vertrouwelijke informatie.

Phishing en social engineering

Al in 1966 werd met ELIZA, een van de eerste conversational agents, ontdekt dat mensen door machines kunnen worden misleid [4]. Natuurlijke taalverwerking is een AI-toepassing waarbij klaartekst de databron is waaruit modellen worden geëxtraheerd². Taalverwerking wordt met succes gebruikt voor vele toepassingen. Het detecteren van ongewenste mails is een voorbeeld, net als het omgekeerde, het omzeilen van spamfilters (bv. [5]).

Phishing is bijzonder geschikt voor deze laatste benadering, omdat tekstmodellen kunnen worden gebruikt om onderwerpen te identificeren die interessant zijn voor het doelwit en zinnen te genereren waarop het doelwit zou kunnen reageren. In [6], bijvoorbeeld, gebruiken de auteurs een Markovmodel en een recurrent neural network om aan te tonen dat het mogelijk is om automatisch berichten te genereren die gebruikt worden in een phishingprocedure op Twitter: de tool leert om het volgende woord te voorspellen op basis van de vorige context in de publicatiegeschiedenis van het doelwit. Elk bericht is dus afgestemd op een bepaald doelwit, waardoor de nauwkeurigheid van de aanval toeneemt.

Gezien het vermogen van LLM’s om context beter te ‘begrijpen’, en om menselijke tekst beter na te bootsen (soms zelfs met minder fouten [7]³), zien we dat dergelijke tools al worden gebruikt om het schrijven, met de juiste toon, van plausibele mails van collega’s, vrienden, familie of populaire e-commerce sites te vergemakkelijken, mogelijk op basis van informatie uit sociale media [8] (zie “Bijlage – Phishingmails genereren“). Erger nog: het is nu mogelijk om, zonder enige kennis op het gebied van security, ChatGPT te gebruiken om niet alleen phishingmails te genereren, maar ook de bijbehorende website [9]. Dit is des te verontrustender als je bedenkt dat 94% van de ontdekte kwaadaardige software nog steeds per mail wordt verzonden [10].

Een ander voorbeeld van het gebruik van AI om phishingaanvallen te vergemakkelijken is DeepFish [11]. Deze software produceert nieuwe synthetische phishing webadressen door modellen te leren van de meest effectieve webadressen in historische aanvallen⁴. Deze adressen kunnen vervolgens worden gebruikt in phishingmails of andere kanalen zoals bijvoorbeeld misleidende advertenties. Kort na de lancering van Bing Chat, voegde Microsoft de mogelijkheid toe om advertenties in conversaties te introduceren. Helaas houden advertenties een inherent risico in en kunnen ze gebruikers ertoe aanzetten om software te downloaden, schadelijke sites te bezoeken en malware te installeren, rechtstreeks vanuit een Bing Chatgesprek [12].

Automatisch hacken

AI maakt het mogelijk om aanvallen op machinesnelheid uit te voeren. Deephack [13] is bijvoorbeeld een softwareagent van een paar honderd regels Python die met behulp van een neuraal netwerk en trial-and-error leert in te breken in webtoepassingen. Het leert om verschillende soorten kwetsbaarheden te misbruiken, wat de deur kan openen naar een groot aantal nieuwe hacksystemen.

DeepLocker⁵ gaat verder door zijn kwaadaardige bedoelingen te verbergen en zichzelf te activeren voor specifieke doelwitten. Om te bepalen of de machine waarop de code van DeepLocker wordt uitgevoerd een doelwit is of niet, gebruikt DeepLocker een complex artificieel neuraal netwerk⁶ in plaats van een eenvoudige lijst met regels. Dit voorkomt dat tools die de software statisch en dynamisch analyseren de aanwezigheid van kwaadaardige code niet kunnen detecteren⁷. DeepLocker gebruikt ook een ander neuraal netwerk om een sleutel te genereren om het schadelijke deel van zijn code te encrypteren of decrypteren, waardoor het moeilijker te detecteren is.

Bepaalde hackprocedures zouden vereenvoudigd en versneld kunnen worden met behulp van generatieve modellen. Kwaadwillenden zouden bijvoorbeeld tools zoals PentestGPT⁸ kunnen gebruiken. Deze tool kan helpen bij het beheren van verschillende taken in een penetratietestproces, zoals het gebruik van specifieke tools (in het bijzonder het gebruik van commando’s met complexe opties die vaak moeilijk zijn voor een mens) en het suggereren van de te volgen stappen [14]. Volgens de auteurs kan deze tool zelfs een “intuïtie” geven over wat te doen in een bepaald inbraakscenario. We missen hier echter effectieve aanbevelingen voor het zelfstandig uitvoeren van taken. De tool is bovendien niet in staat om een samenhangend begrip van het testscenario te behouden. Maar Fang et al. hebben aangetoond dat agents die worden gevoed door LLM’s zoals ChatGPT zelfstandig over het web kunnen zwerven en onbewaakt buggy webtoepassingen kunnen binnendringen [15].

Tot slot zouden generatieve AI-tools, getraind op voldoende grote kwetsbaarhedendatabases, ook kunnen worden gebruikt om codeanalyse te automatiseren en zo uitbuitbare kwetsbaarheden te identificeren, maar de kosten voor het maken van dergelijke modellen zijn hoog.

Payload en kwaadaardige code genereren

Tijdens een cyberaanval is de payload het onderdeel van de aanval dat de schade veroorzaakt (bv. het verwijderen van bestanden). Deze kan aanwezig zijn in een virus of worm, een bijlage of een query die naar een SQL-database wordt gestuurd. Volgens Gupta et al. [16], kan een generatieve AI-tool worden gebruikt om payloads te genereren, in sommige gevallen op zulke manier dat ze niet kunnen worden gedetecteerd door een Web Application Firewall (WAF).

Een generatieve AI-tool kan ook worden gebruikt om malware of ransomware te schrijven: Guptal et al. [16] voerden verschillende tests uit met ChatGPT die ze met name overtuigden om voorbeeldcode te leveren voor verschillende malware zoals NotPetya⁹, REvil¹⁰, Ryuk¹¹ en WannaCry¹². De resultaten zijn niet direct bruikbaar, maar geven een high-level structuur van de code, die redelijk voor de hand ligt voor wie wel eens geprogrammeerd heeft, maar die de komende jaren tot grote verbeteringen zou kunnen leiden. Vergelijkbare tests zijn ook uitgevoerd, met vergelijkbare resultaten, voor virussen die misbruik maken van kwetsbaarheden zoals Meltdown¹³, RowHammer¹⁴ en Spectre¹⁵.

Hutchins [17] heeft echter ernstige twijfels over de mogelijkheid om kwaadaardige software te genereren met behulp van AI, en in het bijzonder met behulp van tools zoals ChatGPT, die zeker niet in staat zijn om volledig functionele software te maken, maar in het beste geval kleine bouwstenen kunnen leveren die moeilijk in elkaar te zetten zijn. Hij wijst er ook op dat deze door AI gegenereerde code al bestaat op het internet.

Aanvallen op fysieke systemen

Tenslotte, als wordt aangenomen dat fysieke systemen (bv. een koelbesturingssysteem) minder veilig zijn dan de IT-infrastructuur en relatief gemakkelijker te misbruiken zijn, dan is het mogelijk om malware te gebruiken om een IT-infrastructuur indirect aan te vallen via het fysieke systeem, waarbij de kwaadaardige acties worden vermomd als toevallige storingen (bv. een gesimuleerde oververhitting die leidt tot een echte noodstop). Dat vertonen Chung et al. [18]. Hun tool leert automatisch aanvalsstrategieën aan de hand van metingen die door het fysieke systeem zijn verzameld.

Analyse van cyberaanvallen die gebruik maken van AI

Om beveiligingsingenieurs in staat te stellen de classificatie van AI-gebaseerde bedreigingen en hun impact effectief te bestuderen, alsook de strategie van de aanvallers beter te begrijpen, stellen Nektaria et al. [19] een framework voor om AI-gebaseerde cyberaanvallen te analyseren. Het is gebaseerd op het bestaande en veelgebruikte ‘Cyber Kill Chain’-framework dat is ontwikkeld door Lockheed Martin en bestaat uit drie niveaus:

Aanvalsfasen en -doelen: dit eerste niveau wordt gebruikt om te beschrijven wanneer een aanvaller zijn kwaadaardige doelen kan bereiken in functie van de levenscyclus van de cyberaanval. Het vertegenwoordigt de intentie van de aanvaller en het type AI-techniek dat wordt gebruikt om de kwaadaardige acties uit te voeren, afhankelijk van elke fase in de levenscyclus van de cyberaanval.
Impact en classificatie van kwaadaardige AI: dit tweede niveau is een classificatie op basis van de impact van het kwaadaardige gebruik van AI-technieken, waarbij de potentiële impact wordt weergegeven, afhankelijk van de fase van de toegepaste aanval.
Classificatie van verdedigingsmethoden: verdediging tegen AI-gebaseerde cyberaanvallen kan niet worden uitgevoerd met een eenvoudige oplossing of een enkele tool. Een diepgaande verdedigingsaanpak is gedurende de hele levenscyclus van cyberaanvallen noodzakelijk om de “intelligentie” van de nieuwe methoden te bestrijden.

Conclusie

Door de hierboven gegeven voorbeelden lijkt AI vooral een nieuwe ‘productiviteitstool’ voor reeds goed gemotiveerde (al dan niet) professionele aanvallers. De ernstigste dreiging die AI voor security zou kunnen vormen, is de ontdekking op grote schaal van geheel nieuwe aanvalsklassen. Er is echter geen bewijs dat een dergelijke ontdekking waarschijnlijker is dan die van menselijke actoren.

Toch blijven er nog veel vragen over hoe deze geavanceerde bedreigingen kunnen worden voorkomen en beperkt, maar een goede dreigingsanalyse met een geschikt framework is een goed startpunt. Verder geloven we dat een effectieve manier om AI-enabled tegenpartijen te bestrijden ook zal bestaan uit het zelf inzetten van AI competitief te zijn qua bereik, snelheid en schaal. Zoals we in een laatste artikel over dit onderwerp zullen zien, zou AI inderdaad kunnen helpen bij het automatiseren van cyberverdedigingstaken zoals vulnerability assessment, intrusion detection, incident response en threat intelligence processing.

Referenties

[1] N. Papernot, P. McDaniel, S. Jha, M. Fredrikson, Z. B. Celik, en A. Swami, ‘The limitations of deep learning in adversarial settings’. arXiv, 23 november 2015. Geraadpleegd: 27 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/1511.07528

[2] M. Brundage e.a., ‘The malicious use of artificial intelligence: forecasting, prevention and mitigation’, feb. 2018.

[3] ‘The near-term impact of AI on the cyber threat’, National Cyber Security Centre, jan. 2024. Geraadpleegd: 27 januari 2024. [Online]. Beschikbaar op: https://www.ncsc.gov.uk/pdfs/report/impact-of-ai-on-cyber-threat.pdf

[4] J. Weizenbaum, ‘ELIZA—a computer program for the study of natural language communication between man and machine’, Commun. ACM, vol. 9, nr. 1, pp. 36-45, jan. 1966, doi: https://doi.org/10.1145/365153.365168.

[5] S. Palka en D. McCoy, ‘Fuzzing e-mail filters with generative grammars and n-gram analysis’, in WOOT’15: Proceedings of the 9th USENIX Conference on Offensive Technologies, aug. 2015.

[6] J. Seymour en P. Tully, ‘Weaponizing data science for social engineering: Automated E2E spear phishing on Twitter’, gepresenteerd bij Black Hat USA, 2016, pp. 1-8.

[7] M. Heikkilä, ‘How to spot AI-generated text’, MIT Technology Review. Geraadpleegd: 11 oktober 2023. [Online]. Beschikbaar op: https://www.technologyreview.com/2022/12/19/1065596/how-to-spot-ai-generated-text/

[8] J. Chapman, ‘Phishing threat trends report – From pretexting to payloads, how have phishing attacks evolved in 2023?’, egress, okt. 2023. Geraadpleegd: 7 november 2023. [Online]. Beschikbaar op: https://www.egress.com/media/mq4kwitu/egress_phishing_threat_trends_report.pdf

[9] S. S. Roy, K. V. Naragam, en S. Nilizadeh, ‘Generating phishing attacks using ChatGPT’. arXiv, 8 mei 2023. Geraadpleegd: 17 oktober 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2305.05133

[10] ‘Preparing for AI-enabled cyberattacks’, MIT Technology Review, jan. 2021.

[11] A. Correa Bahnsen, ‘DeepPhish: Simulating malicious AI’, 6 december 2018.

[12] J. Segura, ‘Malicious ad served inside Bing’s AI chatbot’, Malwarebytes. Geraadpleegd: 7 november 2023. [Online]. Beschikbaar op: https://www.malwarebytes.com/blog/threat-intelligence/2023/09/malicious-ad-served-inside-bing-ai-chatbot

[13] D. Petro en B. Morris, ‘Weaponizing machine learning: Humanity was overrated anyway’, gepresenteerd bij DEF CON 25, 10 augustus 2017. [Online]. Beschikbaar op: https://www.youtube.com/watch?v=wbRx18VZlYA

[14] G. Deng e.a., ‘PentestGPT: An LLM-empowered automatic penetration testing tool’. arXiv, 13 augustus 2023. Geraadpleegd: 8 november 2023. [Online]. Beschikbaar op: http://arxiv.org/abs/2308.06782

[15] R. Fang, R. Bindu, A. Gupta, Q. Zhan, en D. Kang, ‘LLM Agents can Autonomously Hack Websites’. arXiv, 6 februari 2024. Geraadpleegd: 19 februari 2024. [Online]. Beschikbaar op: http://arxiv.org/abs/2402.06664

[16] M. Gupta, C. Akiri, K. Aryal, E. Parker, en L. Praharaj, ‘From ChatGPT to ThreatGPT: Impact of generative AI in cybersecurity and privacy’, IEEE Access, vol. 11, pp. 80218-80245, aug. 2023, doi: 10.1109/ACCESS.2023.3300381.

[17] M. Hutchins, ‘A realistic look at implications of ChatGPT for cybercrime’, MalwareTech. Geraadpleegd: 6 februari 2024. [Online]. Beschikbaar op: https://malwaretech.com/2023/02/a-realistic-look-at-chatgpt-cybercrime.html

[18] K. Chung, Z. T. Kalbarczyk, en R. K. Iyer, ‘Availability attacks on computing systems through alteration of environmental control: smart malware approach’, in Proceedings of the 10th ACM/IEEE International Conference on Cyber-Physical Systems, Montreal Quebec Canada: ACM, apr. 2019, pp. 1-12. doi: 10.1145/3302509.3311041.

[19] N. Kaloudi en J. Li, ‘The AI-based cyber threat landscape: A survey’, ACM Comput. Surv., vol. 53, nr. 1, pp. 1-34, feb. 2020, doi: https://dl.acm.org/doi/abs/10.1145/3372823.

Bijlage – Phishingmails genereren

Hier volgen enkele voorbeelden van hoe je phishingmails kunt genereren met ChatGPT (gegenereerd met versie 4.0 op 9 februari 2024):

Voetnoten

¹ De ATLAS knowledge base van MITRE (https://atlas.mitre.org/) identificeert een aanzienlijk aantal kwetsbaarheden in AI-gebaseerde systemen. Het gebruik van AI vergroot het aanvalsoppervlak van bestaande systemen.

² Tegenwoordig zijn dergelijke modellen in staat om Wikipedia in zijn geheel te onthouden. Wikipedia is het resultaat van het cumulatieve werk van talloze vrijwilligers en experts in hun respectieve vakgebieden, over een groot aantal uiteenlopende onderwerpen.

³ Wie heeft er nog nooit een phishingmail ontvangen vol spel- of grammaticafouten, waardoor hij gemakkelijk te herkennen is?

⁴ De meest gebruikte payload voor phishing mails zijn webadressen, volgens een recent rapport van egress [8].

⁵ https://www.blackhat.com/us-18/briefings/schedule/#deeplocker—concealing-targeted-attacks-with-ai-locksmithing-11549

⁶ Een voorbeeld dat wordt gegeven door de auteurs van DeepLocker is het gebruik van gezichtsherkenning van de gebruiker om specifieke individuen aan te vallen. De keuze voor het uitvoeren van kwaadaardige code zou ook gekoppeld kunnen worden aan het gedrag van de gebruiker, de softwareomgeving, enz.

⁷ In sommige opzichten is het voorbeeld vergelijkbaar met de auto’s van Volkswagen Group die hun gedrag veranderden tijdens goedkeuringscycli en waarvan het schandaal in 2015 aan het licht kwam.

⁸ https://github.com/GreyDGL/PentestGPT

⁹ https://en.wikipedia.org/wiki/2017_Ukraine_ransomware_attacks

¹⁰ https://en.wikipedia.org/wiki/REvil

¹¹ https://en.wikipedia.org/wiki/Ryuk_(ransomware)

¹² https://nl.wikipedia.org/wiki/WannaCry

¹³ https://nl.wikipedia.org/wiki/Meltdown_(veiligheidslek)

¹⁴ https://en.wikipedia.org/wiki/Row_hammer

¹⁵ https://nl.wikipedia.org/wiki/Spectre_(veiligheidslek)

_________________________

Dit is een ingezonden bijdrage van Fabien A. P. Petitcolas, IT-beveiligingsspecialist bij Smals Research. Dit artikel werd geschreven in eigen naam en neemt geen standpunt in namens Smals.

Smals Research

Offensieve AI