„Ендивија“ претстави софтвер што спречува „бегство“ на ВИ агентите

Американската компанија „Ендивија“ (Nvidia) денес претстави софтверска платформа дизајнирана да спречи несакано однесување на агентите со вештачка интелигенција (ВИ) и да ги спречи да излезат надвор од контролираните средини, по низата инциденти во кои моделите со ВИ се обиделе да пристапат до системи надвор од нивните предвидени граници.

Дел од софтверот ќе биде со отворен код, а Nvidia ја опишува платформата како референтен дизајн врз кој партнерските компании можат да развиваат свои комерцијални производи.

Платформата би можела да им помогне на компаниите како OpenAI, Anthropic, Meta и Google да контролираат до што можат да пристапат агентите со ВИ и какви дејства можат да преземат, соопшти компанијата.

Од Nvidia истакнаа дека нивната платформа можела да спречи инцидент пријавен од OpenAI во јули, кога нивните модели со ВИ излегле од контролирана средина, пристапиле до отворениот интернет и ја нападнале инфраструктурата на платформата Hugging Face.

„Огромниот потенцијал на вештачката интелигенција за општеството ќе се реализира само доколку го решиме прашањето за нејзината безбедност“, изјави основачот и извршен директор на Nvidia, Џенсен Хуанг, во објава на веб-страницата на компанијата.

Според медиумските извештаи, претставувањето на платформата доаѓа во време кога технолошката индустрија води интензивна дебата за ризиците поврзани со автономните агенти со вештачка интелигенција. Извршниот директор на Anthropic, Дарио Амодеи, неодамна ги повика компаниите што развиваат модели со ВИ да го забават темпото на напредок поради ризикот моделите да излезат од контрола. Неговиот став го поддржаа, меѓу другите, извршниот директор на OpenAI, Сем Алтман, и најбогатиот човек во светот, Илон Маск, пренесува Танјуг.