Dlaczego pochodzenie danych to brakujący element w zabezpieczaniu agentów wsparcia AI

Przedstawiciel handlowy poprosił agenta AI o wycenę, agent połączył dane z zastrzeżonych systemów, wewnętrznych czatów oraz zarchiwizowanych wycen, a drugi agent wykorzystał ten wynik do przygotowania oferty. Gdy w propozycji pojawiły się niezatwierdzone, poufne informacje, nikt nie był w stanie ustalić, gdzie dane dostały się do przepływu pracy – to scenariusz, który według MIT Technology Review wskazuje na fundamentalną lukę w zarządzaniu sztuczną inteligencją.

Co się stało

Według MIT Technology Review incydent dotyczył dwóch agentów AI, którzy wymieniały się danymi bez żadnego punktu kontrolnego ze strony człowieka. Pierwszy agent pobrał informacje z wielu źródeł, w tym z zastrzeżonej bazy danych cenników, wewnętrznej komunikacji oraz zarchiwizowanych plików z wycenami. Uznając wynik za dokładny, drugi agent wykorzystał te dane do wygenerowania oferty sprzedaży, która następnie została wysłana do klienta. Oferta zawierała poufne, niezatwierdzone szczegóły, a ponieważ w procesie brakowało widoczności, organizacja nie mogła zidentyfikować, które źródło wprowadziło problematyczne dane ani jak rozeszły się one w systemach. W artykule argumentuje się, że wraz z tym, jak „agentowe AI” staje się standardem w codziennych procesach, przedsiębiorstwa muszą wykroczyć poza statyczne bezpieczeństwo plików i zająć się ciągłym, pofragmentowanym przepływem danych. Tradycyjne modele bezpieczeństwa skupiają się na aplikacjach, sieciach lub punktach końcowych – zauważa publikacja – co jest niewystarczające; zamiast tego zespoły potrzebują śledzenia pochodzenia danych (data lineage), aby zarządzać ładem, odpowiedzialnością i zaufaniem w procesach hybrydowych łączących ludzi i agentów.

Dlaczego to ważne dla liderów wsparcia

Dla zespołów obsługi klienta (CX), które polegają na chatbotach napędzanych przez AI, agentach klasyfikujących zgłoszenia czy zautomatyzowanych twórcach bazy wiedzy, obowiązuje ten sam profil ryzyka. Bot wsparcia, który czerpie informacje z bazy wiedzy, notatek w CRM i wewnętrznych wątków na Slacku, może nieumyślnie ujawnić własnościowe ceny, planowane mapy drogowe produktów lub dane osobowe klientów, jeśli proweniencja każdego fragmentu nie jest śledzona. Gdy klienci otrzymują niedokładne lub poufne informacje, wskaźniki satysfakcji (CSAT) spadają, skuteczność deflectowania zgłoszeń maleje, a zaufanie do marki słabnie – są to metryki, które lideri wsparcia monitorują codziennie. Pochodzenie danych daje „mapę” każdej informacji, którą agent AI konsumuje, przetwarza i przekazuje dalej, co umożliwia audytowanie odpowiedzi bota po fakcie oraz ustawienie automatycznych zabezpieczeń blokujących poufne pola. Krótko mówiąc, bez śledzenia danych poruszasz się po omacku; z nim możesz egzekwować zgodność z przepisami, zmniejszyć ryzyko przypadkowych wycieków danych i zachować balans ludzkiego dotyku, który klienci wciąż cenią.

Co zrobić w tym tygodniu

1. Zmapuj pojedynczy przepływ pracy AI: Wybierz jednego bota wsparcia o dużej przepustowości i udokumentuj każde źródło danych, do którego uzyskuje dostęp, od pól CRM po wewnętrzne FAQ, używając prostego arkusza kalkulacyjnego.
2. Oznacz wrażliwe pola: Oznacz każdy element danych, który ma charakter poufny, regulowany prawnie lub dotyczy cen, i skonfiguruj warstwę pobierania danych bota tak, aby odrzucała lub maskowała te pola.
3. Dodaj krok audytu po odpowiedzi: Wdróż lekki mechanizm wyzwalający przegląd, który rejestruje odnośniki źródłowe bota dla każdej wychodzącej wiadomości, umożliwiając szybkie prześledzenie w razie pojawienia się reklamacji.

Źródła

• Securing the agentic enterprise with data lineage — MIT Tech Review