Konferencja: AI - Twoja nowa przewaga czy nowe ryzyko?
Miejsce: 25 września 2025r., Warszawa
Zorganizowana przez: ISCG sp. z o.o. (Microsoft Sp. z o.o.)
Miejsce: 25 września 2025r., Warszawa
Zorganizowana przez: ISCG sp. z o.o. (Microsoft Sp. z o.o.)
Opis:
Prezentacja systematyzuje krajobraz zagrożeń wobec systemów AI wzdłuż całego łańcucha przetwarzania: danych wejściowych, zbiorów treningowych, modelu, algorytmów/integracji oraz warstwy wynikowej. Autor omawia m.in. ataki adwersarialne, omijanie modeli, prompt injection (w tym warianty pośrednie i ukryte w multimodalnych danych), „sykofancję” jako wektor manipulacji, zatrucie danych treningowych, eksfiltrację i inferencję członkostwa, inwersję modelu, ataki bocznokanałowe oraz ryzyka wynikające z niebezpiecznej konstrukcji wtyczek/API i autonomicznych agentów (AT-CPP). Ilustruje je współczesnymi incydentami i demonstracjami (np. ataki skalujące obraz, audio-injection, „model namespace reuse”) oraz analogiami operacyjnymi, akcentując, że „stare” błędy infrastrukturalne nadal eskalują skutki nowych wektorów ataku. Część defensywna porządkuje praktyki zarządzania ryzykiem wg OWASP Top-10 (LLM/ML), MITRE ATLAS i NIST AI RMF, wskazuje środki techniczne (sandboxing narzędzi, allowlisty domen, pinning i podpisy artefaktów, klasyfikację post-hoc, detekcję OOD, firewall’e dla LLM, rozwiązania krajowe) oraz znaczenie red teamingu i audytów bezpieczeństwa. Wskazano także konsekwencje nadchodzących technologii (komputery kwantowe) i możliwe kierunki odporności kryptograficznej. Wnioski adresowane do zarządów podkreślają konieczność: ustanowienia ładu AI (governance), wdrożenia wielowarstwowej obrony (people-process-tech), ciągłego testowania odporności i szybkiej ścieżki aktualizacji zabezpieczeń w całym cyklu życia modeli
Prezentacja systematyzuje krajobraz zagrożeń wobec systemów AI wzdłuż całego łańcucha przetwarzania: danych wejściowych, zbiorów treningowych, modelu, algorytmów/integracji oraz warstwy wynikowej. Autor omawia m.in. ataki adwersarialne, omijanie modeli, prompt injection (w tym warianty pośrednie i ukryte w multimodalnych danych), „sykofancję” jako wektor manipulacji, zatrucie danych treningowych, eksfiltrację i inferencję członkostwa, inwersję modelu, ataki bocznokanałowe oraz ryzyka wynikające z niebezpiecznej konstrukcji wtyczek/API i autonomicznych agentów (AT-CPP). Ilustruje je współczesnymi incydentami i demonstracjami (np. ataki skalujące obraz, audio-injection, „model namespace reuse”) oraz analogiami operacyjnymi, akcentując, że „stare” błędy infrastrukturalne nadal eskalują skutki nowych wektorów ataku. Część defensywna porządkuje praktyki zarządzania ryzykiem wg OWASP Top-10 (LLM/ML), MITRE ATLAS i NIST AI RMF, wskazuje środki techniczne (sandboxing narzędzi, allowlisty domen, pinning i podpisy artefaktów, klasyfikację post-hoc, detekcję OOD, firewall’e dla LLM, rozwiązania krajowe) oraz znaczenie red teamingu i audytów bezpieczeństwa. Wskazano także konsekwencje nadchodzących technologii (komputery kwantowe) i możliwe kierunki odporności kryptograficznej. Wnioski adresowane do zarządów podkreślają konieczność: ustanowienia ładu AI (governance), wdrożenia wielowarstwowej obrony (people-process-tech), ciągłego testowania odporności i szybkiej ścieżki aktualizacji zabezpieczeń w całym cyklu życia modeli