Claude AI halucynuje przed sądem. Anthropic oficjalnie przeprasza

3 godzin temu

Firma Anthropic potwierdziła, iż ich chatbot Claude wygenerował niepoprawny cytat, który został użyty w dokumentach sądowych. Firma określiła to jako „wstydliwą i niezamierzoną pomyłkę”.

W toczącym się sporze z wydawcami muzycznymi Anthropic musiało tłumaczyć się z dokumentu sądowego z 30 kwietnia, gdzie pojawiło się błędne cytowanie przygotowane przez ekspertkę firmy, Olivię Chen. Chatbot poprawnie podał link i rok publikacji artykułu naukowego, ale nieprawidłowo przedstawił jego tytuł i autorów.

Podczas rozprawy prawnicy wydawców zarzucili firmie, iż cytowane źródło jest wytworem „halucynacji” AI. Prawniczka Anthropic, Ivana Dukanovic, wyjaśniła, iż Claude został wykorzystany tylko do sformatowania cytatu, a sam artykuł istnieje – choć jego dane zostały błędnie przedstawione. Podkreśliła, iż nie była to celowa „fabrykacja autorytetu”.

Anthropic przyznało, iż ich procedury weryfikacji wykryły niektóre błędy (np. w numeracji stron), ale nie zauważyły nieścisłości dotyczących tytułu i autorów. Firma zapewniła, iż wdrożyła dodatkowe środki kontroli, aby zapobiec podobnym sytuacjom w przyszłości.

To kolejny z serii przypadków, gdy wykorzystanie AI w dokumentach prawnych doprowadziło do poważnych błędów. W ostatnich miesiącach sądy w USA i Kanadzie kilkakrotnie interweniowały w sprawach, gdzie prawnicy przedstawiali wygenerowane przez AI, fikcyjne cytaty lub precedensy.

Sytuacja podkreśla konieczność zachowania szczególnej ostrożności przy korzystaniu z automatycznie generowanych treści w środowisku prawnym, gdzie choćby przy manualnej weryfikacji mogą pojawić się błędy wpływające na przebieg procesu.

Idź do oryginalnego materiału