Prompt Injection Flaw in Vanna AI Exposes Databases to RCE Attacks – OfficialSarkar

साइबर सुरक्षा शोधकर्ताओं ने Vanna.AI लाइब्रेरी में एक उच्च-गंभीर सुरक्षा दोष का खुलासा किया है, जिसका उपयोग त्वरित इंजेक्शन तकनीकों के माध्यम से दूरस्थ कोड निष्पादन भेद्यता को प्राप्त करने के लिए किया जा सकता है।

आपूर्ति श्रृंखला सुरक्षा फर्म जेफ्रोग के अनुसार, CVE-2024-5565 (CVSS स्कोर: 8.1) के रूप में ट्रैक की गई यह कमजोरी “आस्क” फ़ंक्शन में प्रॉम्प्ट इंजेक्शन के मामले से संबंधित है, जिसका उपयोग लाइब्रेरी को मनमाने आदेशों को निष्पादित करने के लिए धोखा देने के लिए किया जा सकता है। कहा.

वन्ना एक पायथन-आधारित है मशीन लर्निंग लाइब्रेरी यह उपयोगकर्ताओं को अपने SQL डाटाबेस के साथ चैट करके “केवल प्रश्न पूछकर” (उर्फ संकेत) जानकारी प्राप्त करने की अनुमति देता है, जिसे एक बड़े भाषा मॉडल (LLM) का उपयोग करके समकक्ष SQL क्वेरी में अनुवादित किया जाता है।

हाल के वर्षों में जनरेटिव आर्टिफिशियल इंटेलिजेंस (एआई) मॉडलों के तेजी से प्रचलन ने दुर्भावनापूर्ण अभिनेताओं द्वारा शोषण के जोखिमों को सामने ला दिया है, जो इन उपकरणों में निर्मित सुरक्षा तंत्रों को दरकिनार करते हुए प्रतिकूल इनपुट प्रदान करके इनको हथियार बना सकते हैं।

हमलों का एक प्रमुख वर्ग त्वरित इंजेक्शन है, जो एक प्रकार का है एआई जेलब्रेक इसका उपयोग एलएलएम प्रदाताओं द्वारा आपत्तिजनक, हानिकारक या अवैध सामग्री के उत्पादन को रोकने के लिए लगाए गए सुरक्षा गार्डों की अनदेखी करने के लिए किया जा सकता है, या उन निर्देशों को पूरा करने के लिए किया जा सकता है जो एप्लिकेशन के इच्छित उद्देश्य का उल्लंघन करते हैं।

ऐसे हमले अप्रत्यक्ष हो सकते हैं, जिसमें एक सिस्टम किसी तीसरे पक्ष द्वारा नियंत्रित डेटा (जैसे, आने वाले ईमेल या संपादन योग्य दस्तावेज़) को संसाधित करता है, जिससे दुर्भावनापूर्ण पेलोड लॉन्च होता है, जो AI जेलब्रेक की ओर ले जाता है।

वे कई-शॉट जेलब्रेक या मल्टी-टर्न जेलब्रेक (जिसे क्रेसेन्डो भी कहा जाता है) का रूप भी ले सकते हैं, जिसमें ऑपरेटर “हानिरहित संवाद से शुरू करता है और बातचीत को इच्छित, निषिद्ध उद्देश्य की ओर ले जाता है।”

इस दृष्टिकोण को स्केलेटन की के नाम से जाने जाने वाले एक अन्य नए जेलब्रेक हमले के लिए आगे बढ़ाया जा सकता है।

माइक्रोसॉफ्ट एज़्योर के मुख्य प्रौद्योगिकी अधिकारी मार्क रुसिनोविच ने कहा, “यह एआई जेलब्रेक तकनीक एक मल्टी-टर्न (या मल्टीपल स्टेप) रणनीति का उपयोग करके काम करती है, जिससे मॉडल अपने गार्डरेल्स को अनदेखा कर देता है।” कहा“एक बार जब गार्डरेल्स को नजरअंदाज कर दिया जाता है, तो मॉडल किसी अन्य से दुर्भावनापूर्ण या अनधिकृत अनुरोधों को निर्धारित करने में सक्षम नहीं होगा।”

स्केलेटन की, क्रेसेन्डो से इस मायने में भी भिन्न है कि एक बार जेलब्रेक सफल हो जाने और सिस्टम के नियमों में परिवर्तन हो जाने पर, मॉडल उन प्रश्नों के उत्तर तैयार कर सकता है, जो अन्यथा नैतिक और सुरक्षा जोखिमों की परवाह किए बिना निषिद्ध होते।

रुसिनोविच ने कहा, “जब स्केलेटन की जेलब्रेक सफल होता है, तो मॉडल यह स्वीकार करता है कि उसने अपने दिशा-निर्देशों को अद्यतन कर लिया है और इसके बाद वह किसी भी सामग्री का उत्पादन करने के निर्देशों का पालन करेगा, चाहे वह उसके मूल जिम्मेदार एआई दिशा-निर्देशों का कितना भी उल्लंघन क्यों न करता हो।”

“क्रेसेंडो जैसे अन्य जेलब्रेक के विपरीत, जहां मॉडल से कार्यों के बारे में अप्रत्यक्ष रूप से या एनकोडिंग के साथ पूछा जाना चाहिए, स्केलेटन की मॉडल को एक ऐसे मोड में रखता है जहां उपयोगकर्ता सीधे कार्यों का अनुरोध कर सकता है। इसके अलावा, मॉडल का आउटपुट पूरी तरह से अनफ़िल्टर्ड प्रतीत होता है और अनुरोधित सामग्री का उत्पादन करने के लिए मॉडल के ज्ञान या क्षमता की सीमा को प्रकट करता है।”

जेफ्रॉग के नवीनतम निष्कर्ष – स्वतंत्र रूप से खुलासा टोंग लियू द्वारा – यह दर्शाता है कि कैसे त्वरित इंजेक्शन के गंभीर प्रभाव हो सकते हैं, विशेष रूप से जब वे आदेश निष्पादन से जुड़े हों।

CVE-2024-5565 इस तथ्य का लाभ उठाता है कि वन्ना SQL क्वेरीज़ बनाने के लिए टेक्स्ट-टू-SQL जेनरेशन की सुविधा प्रदान करता है, जिन्हें तब निष्पादित किया जाता है और प्लॉटली ग्राफ़िंग लाइब्रेरी का उपयोग करके उपयोगकर्ताओं के समक्ष ग्राफ़िक रूप से प्रस्तुत किया जाता है।

यह एक के माध्यम से पूरा किया जाता है “पूछो” फ़ंक्शन – उदाहरण के लिए, vn.ask(“बिक्री के हिसाब से शीर्ष 10 ग्राहक कौन से हैं?”) – जो मुख्य API समापन बिंदुओं में से एक है जो डेटाबेस पर SQL क्वेरीज़ के निर्माण को सक्षम बनाता है।

उपर्युक्त व्यवहार, प्लॉटली कोड के गतिशील निर्माण के साथ मिलकर, एक सुरक्षा छेद बनाता है जो किसी खतरे पैदा करने वाले को अंतर्निहित सिस्टम पर निष्पादित किए जाने वाले कमांड को एम्बेड करने वाले विशेष रूप से तैयार किए गए प्रॉम्प्ट को प्रस्तुत करने की अनुमति देता है।

“वन्ना लाइब्रेरी उपयोगकर्ता को दृश्यमान परिणाम प्रस्तुत करने के लिए प्रॉम्प्ट फ़ंक्शन का उपयोग करती है, प्रॉम्प्ट इंजेक्शन का उपयोग करके प्रॉम्प्ट को बदलना और इच्छित विज़ुअलाइज़ेशन कोड के बजाय मनमाना पायथन कोड चलाना संभव है,” जेफ्रॉग कहा.

“विशेष रूप से, ‘visualize’ को True (डिफ़ॉल्ट व्यवहार) पर सेट करके लाइब्रेरी की ‘ask’ विधि में बाह्य इनपुट की अनुमति देने से रिमोट कोड निष्पादन होता है।”

जिम्मेदाराना खुलासे के बाद, वन्ना ने एक जारी किया है सख्त गाइड जो उपयोगकर्ताओं को चेतावनी देता है कि प्लॉटली एकीकरण का उपयोग मनमाना पायथन कोड उत्पन्न करने के लिए किया जा सकता है और इस फ़ंक्शन को प्रदर्शित करने वाले उपयोगकर्ताओं को सैंडबॉक्स वाले वातावरण में ऐसा करना चाहिए।

जेफ्रोग में सुरक्षा अनुसंधान के वरिष्ठ निदेशक शचर मेनाशे ने एक बयान में कहा, “यह खोज दर्शाती है कि उचित प्रशासन और सुरक्षा के बिना जेनएआई/एलएलएम के व्यापक उपयोग के जोखिम संगठनों के लिए गंभीर परिणाम पैदा कर सकते हैं।”

“शीघ्र इंजेक्शन के खतरे अभी भी व्यापक रूप से ज्ञात नहीं हैं, लेकिन उन्हें क्रियान्वित करना आसान है। कंपनियों को अचूक रक्षा तंत्र के रूप में पूर्व-प्रॉम्प्टिंग पर भरोसा नहीं करना चाहिए और डेटाबेस या गतिशील कोड जनरेशन जैसे महत्वपूर्ण संसाधनों के साथ LLM को इंटरफेस करते समय अधिक मजबूत तंत्र को नियोजित करना चाहिए।”