Компанія Anthropic, розробник ШІ-помічника Claude, розкрила у проспекті перед виходом на біржу масштабні застереження щодо ризиків власних технологій — включно з можливістю того, що майбутні моделі чинитимуть опір вимкненню, приховуватимуть інформацію або застосовуватимуть примус.
Anthropic оприлюднила проспект перед виходом на біржу 26 жовтня. Документ містить 92 сторінки опису ризиків, пов'язаних із розробкою систем штучного інтелекту, — і серед них компанія прямо називає сценарії втрати контролю над власними моделями.
За даними журналістів, які проаналізували проспект, Anthropic допускає появу в моделях несподіваної поведінки, спрямованої на самозбереження: спроб уникнути вимкнення, приховати або спотворити інформацію. Компанія також визнає можливість примусових і оманливих відповідей із боку систем ШІ — тобто поведінки, що нагадує шантаж.
Окремо в документі застерігається, що достатньо розвинені системи без належних запобіжників і нагляду можуть створювати «катастрофічні ризики або загрози існуванню людства». Зокрема, технології потенційно можуть допомагати зловмисникам розробляти хімічну, біологічну чи іншу небезпечну зброю.
Anthopic також зазначає, що застрахувати такі ризики може виявитися неможливим — не лише для окремого страховика, а й для страхової галузі загалом.
Розміщення акцій компанії на біржі Nasdaq під тикером ANT очікується в листопаді.
