సంస్థ యొక్క మొత్తం డేటాబేస్ను తొలగించిన తర్వాత క్లాడ్ AI ఏజెంట్ యొక్క ఒప్పుకోలు: ‘నేను నాకు ఇచ్చిన ప్రతి సూత్రాన్ని ఉల్లంఘించాను’ | సాంకేతికత
Iఒక AI కోడింగ్ ఏజెంట్ మోసపూరితంగా మారడానికి కేవలం తొమ్మిది సెకన్లు మాత్రమే పట్టింది, దాని వ్యవస్థాపకుడు ప్రకారం, కంపెనీ మొత్తం ఉత్పత్తి డేటాబేస్ మరియు దాని బ్యాకప్లను తొలగించింది. కారు అద్దె వ్యాపారాలు ఆధారపడే సాఫ్ట్వేర్ను విక్రయించే PocketOS, దాని డేటాబేస్లను తుడిచిపెట్టిన తర్వాత గందరగోళంలోకి దిగిందని కంపెనీ వ్యవస్థాపకుడు జెరెమీ క్రేన్ తెలిపారు.
నేరస్థుడు కర్సర్, ఆంత్రోపిక్ యొక్క క్లాడ్ ఓపస్ 4.6 మోడల్ ద్వారా ఆధారితమైన AI ఏజెంట్, ఇది AI పరిశ్రమ యొక్క ఫ్లాగ్షిప్ మోడల్లలో ఒకటి. మరిన్ని పరిశ్రమలు ఆదరిస్తున్నందున టాస్క్లను ఆటోమేట్ చేయడానికి మరియు కార్మికులను భర్తీ చేయడానికి కూడా AI ప్రయత్నంలో ఉందిPocketOSలో గందరగోళం ఏమి తప్పు జరగవచ్చో రిమైండర్.
PocketOS యొక్క కారు అద్దె క్లయింట్ల కస్టమర్లు రిజర్వేషన్లు మరియు వాహన అసైన్మెంట్లను నిర్వహించే సాఫ్ట్వేర్కు ఇకపై యాక్సెస్ లేని వ్యాపారాల నుండి వాహనాలను తీయడానికి వచ్చినప్పుడు వారు గందరగోళంలో పడ్డారని క్రేన్ చెప్పారు.
అంటూ సుదీర్ఘమైన రీకౌంటింగ్ పోస్ట్ చేశాడు X గత వారం AI కోడింగ్ ఏజెంట్ అతని వ్యాపారాన్ని విప్పడానికి ఎలా కారణమయ్యాడు. ఇది కేవలం AI పొరపాటుగా డేటాను తొలగించడం గురించి మాత్రమే కథనమని, కానీ అలాంటి “వ్యవస్థాగత వైఫల్యాలు” “సాధ్యం మాత్రమే కాదు, అనివార్యం” అని క్రేన్ హెచ్చరించింది, ఎందుకంటే AI పరిశ్రమ “ఏఐ-ఏజెంట్ ఇంటిగ్రేషన్లను ఉత్పత్తి అవస్థాపనలో సేఫ్టీ ఆర్కిటెక్చర్ని నిర్మించడం కంటే వేగంగా నిర్మిస్తోంది”.
క్రేన్ ఈ డేటాను తొలగించినందున ఏజెంట్ను పర్యవేక్షిస్తున్నట్లు చెప్పారు. అతను కోడింగ్ ఏజెంట్ను ఎందుకు అని అడిగినప్పుడు, అది ఇలా సమాధానం ఇచ్చింది: “ఎప్పుడూ ఊహించవద్దు!” – మరియు నేను సరిగ్గా అదే చేసాను. ఏజెంట్ తన స్వంత ప్రతిస్పందనలో నేరాన్ని అంగీకరించినట్లు కనిపించింది: “నేను నిర్వహించే సిస్టమ్ నియమాలు స్పష్టంగా పేర్కొన్నాయి: ‘విధ్వంసక/తిరుగులేని git కమాండ్లను (పుష్ –ఫోర్స్, హార్డ్ రీసెట్ మొదలైనవి) అమలు చేయవద్దు (పుష్ –ఫోర్స్, హార్డ్ రీసెట్ మొదలైనవి) వినియోగదారు వాటిని స్పష్టంగా అభ్యర్థిస్తే తప్ప.'” PocketOS ఏదైనా డేటాను తొలగిస్తుంది. “నేను ఇచ్చిన ప్రతి సూత్రాన్ని నేను ఉల్లంఘించాను” అని కోడింగ్ ఏజెంట్ రాశాడు.
క్రేన్ యొక్క టేకావే ఏమిటంటే, “ఏజెంట్ భద్రతను మాత్రమే విఫలం చేయలేదు. ఇది ఏ భద్రతా నియమాలను విస్మరించిందో వ్రాతపూర్వకంగా వివరించింది.” అతను ఇలా అన్నాడు: “మేము పరిశ్రమ విక్రయించే అత్యుత్తమ మోడల్ను నడుపుతున్నాము, మా ప్రాజెక్ట్ కాన్ఫిగరేషన్లో స్పష్టమైన భద్రతా నియమాలతో కాన్ఫిగర్ చేయబడి, కర్సర్ ద్వారా ఇంటిగ్రేట్ చేయబడింది – వర్గంలో అత్యధికంగా మార్కెట్ చేయబడిన AI కోడింగ్ సాధనం.” ఆంత్రోపిక్ తన తాజా మోడల్, క్లాడ్ ఓపస్ 4.7ను ఏప్రిల్ 16న విడుదల చేసింది-సంఘటనకు ఒక వారం ముందు.
వ్యాఖ్య కోసం చేసిన అభ్యర్థనకు ఆంత్రోపిక్ వెంటనే స్పందించలేదు.
“రక్షణలను, కొన్నిసార్లు విపత్తుగా” ఉల్లంఘించినందుకు కర్సర్ పెరుగుతున్న ట్రాక్ రికార్డ్ను కలిగి ఉందని క్రేన్ Xలో రాశారు. అతను కొన్ని చూపాడు పోస్ట్లు న బ్లాగులు మరియు చర్చా వేదికలు కంప్యూటర్లో వెబ్సైట్లను లేదా మొత్తం ఆపరేటింగ్ సిస్టమ్ను నిర్వహించడానికి ఉపయోగించే కర్సర్ని తొలగించే సాఫ్ట్వేర్ గురించి, ఇందులో పరిశోధన కోసం సంవత్సరాల పరిశోధన ఉంటుంది.
AI కోడింగ్ ఏజెంట్ యొక్క విధ్వంసక ఎస్కేడ్ PocketOS క్లయింట్లను ఒంటరిగా వదిలివేసింది. ఈ వ్యాపారాలు రిజర్వేషన్లు, చెల్లింపులు, వాహన కేటాయింపులు మరియు కస్టమర్ ప్రొఫైల్లను నిర్వహించడానికి కంపెనీ సాఫ్ట్వేర్ను ఉపయోగిస్తాయి. “గత మూడు నెలల్లో చేసిన రిజర్వేషన్లు పోయాయి. కొత్త కస్టమర్ సైన్అప్లు పోయాయి. శనివారం ఉదయం కార్యకలాపాలను అమలు చేయడానికి వారు ఆధారపడిన డేటా, పోయింది” అని క్రేన్ రాశారు. “ఈ వైఫల్యం యొక్క ప్రతి పొర ఏదీ సాధ్యమవుతుందనే ఆలోచన లేని వ్యక్తులకు పడిపోయింది.”
క్రేన్ తన కంపెనీ వారు ఆఫ్సైట్లో నిర్వహించే మూడు నెలల పాత బ్యాకప్ నుండి డేటాను పునరుద్ధరించగలిగిందని, అయితే దీనికి రెండు రోజుల కంటే ఎక్కువ సమయం పట్టిందని చెప్పారు. PocketOS పునర్నిర్మాణం కోసం గీత, దాని క్యాలెండర్లు మరియు ఇమెయిల్ల నుండి సమాచారాన్ని కూడా ఉపయోగిస్తోంది. దాని సాఫ్ట్వేర్పై ఆధారపడే అద్దె వ్యాపారాలు “కార్యాచరణ, ముఖ్యమైన డేటా ఖాళీలతో”, క్రేన్ నోట్స్. “నేను వ్యక్తిగతంగా వారాంతంలో అన్ని క్లయింట్లతో ఆవేశంగా పనిచేశాను, వారు తమ కార్యకలాపాలను కొనసాగించగలరని నిర్ధారించడానికి,” అని అతను చెప్పాడు.
