Ryzyko halucynacji i błędów w podpowiedziach podczas negocjacji na żywo

Dokładności asystenta negocjacyjnego działającego w czasie rzeczywistym nigdy nie należy oceniać na podstawie płynności wypowiedzi ani pewnego tonu. Gdy rozmowa toczy się szybko, negocjatorzy powinni traktować każdą podpowiedź jako hipotezę: weryfikować istotne fakty w wiarygodnym źródle, sprawdzać taktyki pod kątem zatwierdzonego planu i odkładać wszystko, czego nie da się bezpiecznie zweryfikować.

Taka dyscyplina pozwala ograniczyć główne ryzyko halucynacji AI w negocjacjach, nie rezygnując z korzyści, jaką daje szybkie wsparcie. Celem nie jest weryfikowanie każdego sugerowanego pytania. Chodzi o odróżnianie faktów od taktyk, stosowanie dokładniejszych kontroli wraz ze wzrostem konsekwencji oraz zachowanie odpowiedzialnej kontroli człowieka nad każdym zobowiązaniem.

Krótka odpowiedź

Przed wypowiedzeniem jakiejkolwiek kwoty, terminu, zobowiązania umownego, twierdzenia o rynku, stwierdzenia dotyczącego wyników dostawcy lub przypisywanej komuś wypowiedzi należy ją zweryfikować. Sugestie taktyczne należy oceniać pod kątem celów, uprawnień, alternatyw i bieżących sygnałów. Jeśli nie ma dostępu do wiarygodnego źródła, zadaj pytanie, zastrzeż, że twierdzenie wymaga potwierdzenia, albo odłóż odpowiedź. Proces pracy z AI z udziałem człowieka musi pozostawiać zobowiązania, ujawnianie informacji, wyjątki i ostateczne decyzje w gestii upoważnionej osoby.

Dlaczego podpowiedzi na żywo mogą brzmieć wiarygodnie, a mimo to być błędne

Asystent negocjacyjny działający w czasie rzeczywistym łączy wiele danych wejściowych i procesów, z których każdy może wprowadzić błąd: przechwytywanie dźwięku, transkrypcję, identyfikację mówcy, wyszukiwanie dokumentów, obliczenia, interpretację kontekstu i generowanie tekstu. Nawet dokładny model nie naprawi błędnie usłyszanej ceny, a poprawna transkrypcja nie sprawi, że nieaktualny projekt umowy stanie się wiarygodnym źródłem.

NIST definiuje konfabulację generatywnej AI jako fałszywe lub błędne treści przedstawiane z pewnością siebie. Mogą one obejmować zmyślone uzasadnienia i cytaty, a nie tylko nieprawdziwe zdania dotyczące faktów. NIST zaleca również dokumentowanie ograniczeń wiedzy, zamierzonych ról człowieka, praktyk walidacji i monitorowania po wdrożeniu w Profilu generatywnej AI oraz Podstawowych zasadach ram zarządzania ryzykiem AI.

W negocjacjach zakupowych na żywo ryzyko najczęściej pojawia się na pięć sposobów:

1. Błąd danych wejściowych: „15 dni” zostaje zapisane jako „50 dni” albo kwalifikator, taki jak „nie uwzględniono”, traci przeczenie.
2. Błąd wyszukiwania: Asystent znajduje projekt, wygasły aneks lub kartę oceny innego dostawcy.
3. Błąd rozumowania: Poprawne dane zostają połączone z użyciem niewłaściwych jednostek, wartości bazowej, waluty lub okresu.
4. Generowanie bez potwierdzenia: Asystent podaje wiarygodnie brzmiący punkt odniesienia, zobowiązanie lub wyjaśnienie bez prawidłowego źródła.
5. Opóźnienie kontekstowe: Nowe ustępstwo lub wyjaśnienie sprawia, że wcześniejsza podpowiedź traci aktualność.

Dlatego niezawodność asystenta na żywo jest cechą całego systemu, a nie tylko wynikiem modelu.

Oddzielaj fakty, założenia, szacunki i rekomendacje

Szybkie decyzje są bezpieczniejsze, gdy interfejs i negocjator posługują się czterema wyraźnymi kategoriami.

Zweryfikowane fakty

Zweryfikowany fakt ma bezpośrednie potwierdzenie w dostępnym, wiarygodnym dokumencie. Przykładami są data wejścia w życie rozwiązania umowy wskazana w podpisanej umowie, suma faktury w systemie ERP lub zapis o wadzie dostawcy w zatwierdzonym systemie zarządzania jakością.

NIST opisuje dokładność jako zgodność z przyjętymi wartościami prawdziwymi i wskazuje, że pomiar powinien wykorzystywać realistyczne zestawy testowe odzwierciedlające przewidywane warunki działania. NIST definiuje również walidację jako obiektywne potwierdzenie, że spełniono wymagania dotyczące zamierzonego zastosowania. Ogólny test porównawczy modelu językowego nie potwierdza zatem dokładności w konkretnym procesie negocjacyjnym przedsiębiorstwa. Zob. omówienie przez NIST ryzyka i wiarygodności AI.

Założenia

Założenie może być konieczne, ale nie zostało jeszcze udowodnione. Typowe przykłady:

• Pobrana umowa jest aktualną, podpisaną wersją.
• Mówców i liczby w transkrypcji zidentyfikowano poprawnie.
• Dane dostawcy zostały odświeżone na tyle niedawno, by można było podjąć tę decyzję.
• Nagrywanie i przetwarzanie przez AI są dozwolone zgodnie z polityką i obowiązującym prawem.
• Negocjator ma uprawnienia do omówienia proponowanej wymiany ustępstw.

Założenie nigdy nie powinno przejmować pozornej pewności asystenta.

Szacunki

Szacunek to przybliżenie oparte na obliczeniach lub ocenie, na przykład roczny wpływ handlowy albo prawdopodobny przedział popytu. Należy ujawnić jego dane wejściowe, wzór, jednostki, okres i poziom niepewności.

Nie istnieje uzasadniony, uniwersalny procent dokładności dla asystenta negocjacyjnego działającego w czasie rzeczywistym. Wyniki zależą od całego kontekstu zastosowania: jakości źródeł, warunków transkrypcji, wyszukiwania, języka, zadania, interfejsu, modelu i definicji błędu. Zespoły powinny szacować skuteczność na podstawie reprezentatywnych negocjacji i kategorii błędów ważonych konsekwencjami, zamiast polegać wyłącznie na ogólnych testach porównawczych dostawców.

Rekomendacje

Rekomendacje to proponowane działania: zadać pytanie diagnostyczne, zachować milczenie, zaproponować warunkową wymianę ustępstw albo wrócić do tematu później. Zasadniczo nie da się ich zweryfikować jako faktów. Negocjator powinien natomiast ocenić, czy są zgodne z celem, dowodami, punktem granicznym, uprawnieniami, sygnałami drugiej strony i prawdopodobną reakcją.

Protokół LIVE-VERIFY

Poniższy protokół można stosować przy decyzjach podejmowanych w kilka sekund. LIVE-VERIFY oznacza Klasyfikuj, Sprawdź, Zweryfikuj, Oceń, Odpowiedz bezpiecznie, Eskaluj, Zapisz, Przeanalizuj.

1. Sklasyfikuj podpowiedź

Od razu przypisz ją do jednego z pięciu typów:

• Fakt: Twierdzenie, które można potwierdzić lub obalić.
• Obliczenie: Przekształcenie liczbowe danych źródłowych.
• Wniosek: Interpretacja faktów lub zachowania.
• Taktyka: Sugerowane pytanie, kotwica, milczenie, pakiet lub wymiana ustępstw.
• Zobowiązanie: Sformułowanie, które może wiązać, obiecywać, ujawniać, grozić lub istotnie zmieniać relację.

Jeśli typ nie jest jasny, potraktuj podpowiedź jako fakt lub zobowiązanie i zastosuj dokładniejszą kontrolę.

2. Oceń konsekwencje

Zastosuj trzy poziomy konsekwencji:

• Niskie: Odwracalne pytanie diagnostyczne, które nie ujawnia chronionych informacji.
• Średnie: Przedstawienie stanowiska, niezatwierdzony punkt odniesienia lub taktyka mogąca wpłynąć na pozycję negocjacyjną.
• Wysokie: Cena, termin, twierdzenie prawne, ustępstwo, warunek umowy, ujawnienie informacji poufnych lub zobowiązanie.

Nie należy przyspieszać realizacji podpowiedzi o wysokich konsekwencjach tylko dlatego, że rozmowa jest niekomfortowa.

3. Zweryfikuj dowody

W przypadku twierdzeń, które można sprawdzić, otwórz dokument źródłowy zamiast ufać etykiecie cytatu. Potwierdź:

• właściciela dokumentu i jego wiarygodność;
• status: podpisany, zatwierdzony czy roboczy;
• wersję i datę wejścia w życie;
• dostawcę, kategorię, obszar geograficzny i zakres;
• jednostki, walutę, wartość bazową, sposób rozliczania podatku i okres;
• dokładny fragment, pole lub obliczenie potwierdzające twierdzenie.

Wyszukanie nie jest weryfikacją. System może poprawnie znaleźć niewłaściwy dokument.

4. Oceń zgodność ze strategią

W przypadku taktyk i wniosków zapytaj:

• Czy to wspiera zatwierdzony cel?
• Czy mieści się w granicach naszego punktu granicznego i uprawnień?
• Jakie założenie dotyczące dostawcy przyjmuje ta sugestia?
• Jakie informacje ujawni?
• Jaką reakcję może wywołać?
• Czy pytanie jest bezpieczniejsze niż stwierdzenie?
• Czy lepiej zachować milczenie, niż wypełniać lukę?

Zatwierdzony proces planowania negocjacji powinien określać cele, alternatywy, ograniczenia i osoby zatwierdzające, potrzebne do przeprowadzenia tej oceny.

5. Odpowiedz bezpiecznie

Wybierz jedną z czterech form odpowiedzi:

• Stwierdź: Użyj twierdzenia, jeśli zostało zweryfikowane i mieści się w zakresie uprawnień.
• Zapytaj: Zamień niepewne twierdzenie w pytanie diagnostyczne.
• Zastrzeż: Wyraźnie zaznacz niepewność: „Na podstawie aktualnego pliku faktur, z zastrzeżeniem potwierdzenia…”
• Odłóż: Powiedz: „Muszę to potwierdzić, zanim odpowiem”.

Szybkie tempo powinno zmieniać formę odpowiedzi, a nie standard dowodowy.

6. Eskaluj decyzje wymagające udziału człowieka

Wstrzymaj się i skonsultuj z wyznaczoną osobą odpowiedzialną za kwestie prawne, finansowe, zgodności, operacyjne lub kierownicze, gdy sprawa przekracza granice uprawnień. GAO opisuje AI z udziałem człowieka jako aktywny nadzór, w ramach którego AI dostarcza rekomendacje lub dane wejściowe, a człowiek weryfikuje wynik i zachowuje prawo do podjęcia ostatecznej decyzji w ramach odpowiedzialności za AI.

7. Zapisz sposób rozstrzygnięcia

W przypadku istotnych podpowiedzi odnotuj:

• treść podpowiedzi i znacznik czasu;
• klasyfikację;
• źródło i wersję;
• etykietę pewności lub niepewności;
• założenia;
• decyzję człowieka i osobę zatwierdzającą;
• czy podpowiedź wykorzystano, zmodyfikowano, odrzucono czy odłożono;
• korektę wymaganą po spotkaniu.

Zapobiega to powstawaniu długu weryfikacyjnego: niezweryfikowanych twierdzeń wprowadzonych podczas szybkiej rozmowy i pozostawionych bez rozstrzygnięcia.

8. Przeanalizuj powtarzające się wzorce po spotkaniu

Sprawdź powtarzające się przypadki nadpisywania podpowiedzi, odrzucone cytaty, nieaktualne źródła, błędy w identyfikacji mówców i nieuzasadnione zobowiązania. Mogą one wskazywać na słabe dane, nieprawidłową konfigurację, zmianę działania modelu lub niedopasowanie asystenta do kontekstu negocjacji.

Tabela decyzji dotyczących weryfikacji na żywo

Przykład hipotetyczny: sporny mechanizm korekty indeksowej

Przykład hipotetyczny — nie opisuje rzeczywistych wyników ani zdarzeń.

Podczas negocjacji zakupowych dostawca mówi, że proponowana podwyżka odzwierciedla „zmianę indeksu od czasu odnowienia umowy”. Asystent negocjacyjny na żywo wyświetla podpowiedź: „Indeks spadł o 4%; zakwestionuj podwyżkę”.

Kupujący stosuje LIVE-VERIFY:

1. Klasyfikacja: To twierdzenie dotyczące rynku i obliczenie.
2. Ocena: Może istotnie wpłynąć na rozmowę handlową, więc konsekwencje są wysokie.
3. Weryfikacja: Wyświetlone źródło to zapis z pamięci podręcznej, a nie publikacja pierwotnego wydawcy. Zakres dat zaczyna się ponadto po miesiącu bazowym określonym w umowie.
4. Ocena strategiczna: Podważenie propozycji na podstawie niepotwierdzonej liczby mogłoby zaszkodzić wiarygodności. Prośba o przedstawienie metodologii może dostarczyć więcej informacji przy mniejszym ryzyku.
5. Bezpieczna odpowiedź: „Prosimy o przedstawienie nazwy indeksu, miesiąca bazowego, wag i obliczeń, na których opiera się proponowana korekta. Porównamy je z mechanizmem określonym w umowie”.
6. Eskalacja: Dział finansowy zatwierdzi każdą zmienioną wartość bazową dla warunków handlowych; właściciel umowy potwierdzi, która klauzula indeksowa ma zastosowanie.
7. Zapis: Podpowiedź zostaje oznaczona jako odrzucona, ponieważ źródło i wartość bazowa były nieodpowiednie.
8. Analiza: Zespół dodaje alert dotyczący danych rynkowych z pamięci podręcznej i niezgodnych wartości bazowych w umowach.

Asystent nadal wnosi wartość, wskazując problem i proponując pytanie. Człowiek unika przekształcenia niezweryfikowanego wyniku w fałszywe twierdzenie.

W konkretnym procesie zakupowym, takim jak ten, Negotiations.AI może wspierać przygotowanie do spotkania i jego przebieg dzięki funkcji asystenta negocjacyjnego w czasie rzeczywistym i Live Negotiation Coach. Kluczowe pozostaje pytanie, czy każda podpowiedź ma odpowiednie uzasadnienie i zgodę człowieka — a nie to, czy oprogramowanie wygenerowało ją szybko.

Za co człowiek musi ponosić odpowiedzialność

Upoważniona osoba musi podejmować lub zatwierdzać:

• ostateczną ofertę, akceptację lub odrzucenie;
• wyjście poza zatwierdzone parametry handlowe;
• zmiany dotyczące odpowiedzialności, odszkodowań, gwarancji, własności intelektualnej, audytu lub warunków rozwiązania umowy;
• ujawnienie informacji poufnych, objętych tajemnicą zawodową, danych osobowych lub informacji wrażliwych z punktu widzenia konkurencji;
• interpretacje prawne i regulacyjne;
• twierdzenia, że dana osoba może wiązać organizację swoimi działaniami;
• groźby, nieprzekraczalne terminy, eskalację lub zawieszenie współpracy;
• oparcie się na kwestionowanym punkcie odniesienia;
• nagrywanie, przechowywanie lub wtórne wykorzystanie danych z negocjacji;
• skorygowanie istotnego błędu przekazanego drugiej stronie.

Weryfikacja przez człowieka ma znaczenie tylko wtedy, gdy osoba weryfikująca ma wystarczająco dużo czasu, odpowiednie kompetencje, dostęp do dowodów, niezależność i uprawnienia, by się nie zgodzić. Wytyczne brytyjskiego ICO dotyczące weryfikacji przez człowieka zalecają dokumentowanie metod weryfikacji, tolerancji dokładności, zapisów o nadpisaniu decyzji, kompetencji osób weryfikujących i procedur kwestionowania wyników. Należy pamiętać, że na stronie zaznaczono, iż wytyczne są w trakcie przeglądu w związku ze zmianami legislacyjnymi.

Szerszy model operacyjny opisano w artykule Zaprojektuj zatwierdzanie przez człowieka w platformie negocjacyjnej AI.

Jak oceniać niezawodność asystenta na żywo

Nie testuj wyłącznie samego modelu. Sprawdzaj cały system w realistycznych warunkach negocjacyjnych przedsiębiorstwa, uwzględniając słabą jakość dźwięku, przerwania, podobne głosy rozmówców, zmienione dokumenty, wiele walut i zmieniające się propozycje.

Przydatne miary obejmują:

• precyzję twierdzeń faktycznych, które można sprawdzić;
• wskaźnik błędów obliczeń liczbowych;
• odsetek prawidłowych cytatów i wiarygodnych źródeł;
• wskaźniki błędów transkrypcji i identyfikacji mówców;
• prawidłowe powstrzymanie się od odpowiedzi, gdy brak dowodów;
• wskaźnik nieuzasadnionych zobowiązań;
• wskaźniki odrzucania, modyfikowania i nadpisywania podpowiedzi przez ludzi;
• czas potrzebny na weryfikację;
• błędy wykryte po spotkaniu;
• błędy krytyczne, osobno dla konsekwencji umownych, finansowych, operacyjnych lub związanych ze zgodnością.

Średnie mogą ukrywać rzadkie, ale poważne awarie. Raportuj błędy o wysokich konsekwencjach osobno i przed testami określ, co uznaje się za błąd.

Praktyczna karta podpowiedzi powinna, jeśli to możliwe, pokazywać:

• podpowiedź;
• klasyfikację;
• dowody i bezpośredni dostęp do źródła;
• właściciela źródła, wersję i datę wejścia w życie;
• założenia i niepewność;
• wpływ handlowy;
• wymagane zatwierdzenie;
• ostrzeżenie o braku podstaw lub nieaktualnych danych.

To zalecany wzorzec projektowy, a nie uniwersalny standard.

Ograniczenia i sytuacje, w których to podejście nie wystarcza

LIVE-VERIFY ogranicza ryzyko, ale nie dowodzi, że każdy wynik jest prawidłowy.

• Płynna wypowiedź nie jest dowodem. Styl i pewność siebie nie potwierdzają prawdziwości.
• Cytat może być zmyślony lub niedopasowany. Otwórz źródło i sprawdź fragment, który ma potwierdzać twierdzenie.
• Porady strategiczne nie mają jednej obiektywnej prawdy. Rozsądna taktyka nadal może prowadzić do niekorzystnego wyniku.
• Osoby weryfikujące są podatne na automatyzacyjne uprzedzenie. Formalny punkt kontroli z udziałem człowieka jest słaby, jeśli osoba jedynie zatwierdza domyślną propozycję.
• Weryfikacja w czasie rzeczywistym może być niemożliwa. Jeśli konsekwencje są wysokie, odłóż odpowiedź zamiast improwizować.
• Rejestrowanie danych samo w sobie stwarza ryzyko. Transkrypcje mogą zawierać tajemnice handlowe, ceny, dane osobowe i informacje objęte tajemnicą zawodową. Przechowywanie i dostęp wymagają odpowiedniego nadzoru.
• Niektóre sytuacje wymagają kontroli specjalistycznej. Nie polegaj na asystencie na żywo w kwestiach prawnych, weryfikacji sankcji, rozmowach wrażliwych z punktu widzenia prawa konkurencji, decyzjach dotyczących bezpieczeństwa ani zobowiązaniach podejmowanych w sytuacjach nagłych.
• Przepisy i polityki są różne. Przed spotkaniem sprawdź, czy nagrywanie, transkrypcja, ujawnianie informacji i przetwarzanie przez AI są dozwolone.

W UE obowiązki dotyczące przejrzystości wynikające z art. 50 obejmą od 2 sierpnia 2026 r. niektóre bezpośrednie interakcje z AI, zgodnie z aktualizacją Komisji Europejskiej dotyczącą egzekwowania przepisów. To, czy dany sposób wykorzystania AI w negocjacjach podlega tym obowiązkom, zależy od jego rzeczywistego projektu i zastosowania. Organizacje powinny zasięgnąć wykwalifikowanej porady, zamiast wyciągać wnioski na podstawie samej nazwy produktu.

Lista kontrolna niezawodności przed spotkaniem

Przed włączeniem asystenta negocjacyjnego działającego w czasie rzeczywistym upewnij się, że:

• Podpisana umowa i aneksy zostały wskazane jako wiarygodne źródła.
• Projekty i wygasłe dokumenty są wyraźnie oznaczone.
• Zatwierdzone cele, ograniczenia, punkt graniczny i macierz uprawnień są aktualne.
• Zdefiniowano ceny, jednostki, waluty, zasady podatkowe i wartości bazowe.
• Karty oceny dostawców i dokumentacja operacyjna mają przypisanych właścicieli oraz daty aktualizacji.
• W razie potrzeby dostępne są pierwotne źródła danych rynkowych.
• Widoczne są niepewność transkrypcji i identyfikacja mówców.
• Asystent potrafi powstrzymać się od odpowiedzi, gdy nie ma wystarczających podstaw.
• Znane są ścieżki eskalacji do działów prawnego, finansowego, zgodności i kierownictwa.
• Spełniono zasady dotyczące nagrywania, zgody, przechowywania, dostępu i usuwania danych.
• Zespół uzgodnił sformułowania służące do zadawania pytań, zastrzegania i odkładania odpowiedzi.
• Istotne wyniki i decyzje ludzi będą bezpiecznie rejestrowane.

Podstawowa zasada jest prosta: wykorzystuj AI do szybszego zwracania uwagi i zadawania pytań, a nie do tworzenia pozorów pewności lub uprawnień.

Dalsza lektura

• NIST: Profil generatywnej sztucznej inteligencji
• NIST: Podstawowe zasady ram zarządzania ryzykiem AI
• Amerykański GAO: Ramy odpowiedzialności za sztuczną inteligencję
• Brytyjski ICO: Weryfikacja przez człowieka
• Komisja Europejska: Ramy egzekwowania aktu w sprawie AI

FAQ

Czy dostawca może podać jeden procent dokładności dla asystenta negocjacyjnego działającego w czasie rzeczywistym?

Ogólny procent nie wystarczy, by potwierdzić przydatność w konkretnym procesie. Dokładność zależy od zadania, danych źródłowych, jakości transkrypcji, wyszukiwania, języka, warunków działania i definicji błędu. Poproś o testy całego procesu z wykorzystaniem reprezentatywnych negocjacji i oddziel błędy o wysokich konsekwencjach od rutynowych pomyłek.

Czy każdą podpowiedź na żywo należy zweryfikować przed użyciem?

Nie. Niskiego ryzyka pytanie diagnostyczne może wymagać jedynie szybkiej oceny zgodności ze strategią. Liczby, zobowiązania, terminy, twierdzenia dotyczące wyników dostawcy, przypisywane wypowiedzi, twierdzenia o rynku i zobowiązania wymagają dokładniejszej weryfikacji. W razie wątpliwości przypisz podpowiedź do wyższego poziomu konsekwencji.

Co powinien powiedzieć negocjator, gdy weryfikacja trwałaby zbyt długo?

Zastosuj bezpieczną formę odpowiedzi: poproś dostawcę o dowody, zastrzeż swoje stwierdzenie albo powiedz: „Muszę to potwierdzić, zanim odpowiem”. Lepiej zrobić pauzę, niż powtórzyć nieuzasadnione twierdzenie lub podjąć zobowiązanie bez uprawnień.

Czy AI z udziałem człowieka samo w sobie wystarcza?

Nie. Sama obecność człowieka nie oznacza skutecznego nadzoru. Osoba weryfikująca potrzebuje kompetencji, dostępu do dowodów, czasu, niezależności i uprawnień do odrzucenia wyniku. Jasne granice zatwierdzania i rejestr nadpisanych decyzji sprawiają, że kontrola jest bardziej znacząca.

Jak najbezpieczniej korzystać z podpowiedzi AI na żywo w sytuacji niepewności?

Generowanie pytań diagnostycznych jest często bezpieczniejsze niż formułowanie niepopartych dowodami twierdzeń o faktach. Asystent może pomóc wskazać brakujące informacje, niespójności i potencjalne wymiany ustępstw, a upoważniony negocjator decyduje, co powiedzieć, ujawnić, zaoferować lub zaakceptować.

Zastrzeżenie: Ten artykuł zawiera ogólne informacje operacyjne i nie stanowi porady prawnej, finansowej, dotyczącej zgodności ani zakupów.