يكتشف DeepMind ثغرة أمنية في ChatGPT باستخدام التنويم المغناطيسي والشعر
الباحثون في مختبر الأبحاث شراء مراجعات جوجل العقل العميق تمكنوا من القوة ChatGPT للكشف عن البيانات الشخصية للعديد من المستخدمين. ولم يضطروا إلى اللجوء إلى تعديل الكود أو الحيل التقنية الأخرى. وعلاوة على ذلك، حتى الخبراء تعريف الطريقة المكتشفة"غبي بعض الشيء"، على الرغم من أنه كما اتضح فيما بعد، كان فعالاً للغاية. لقد اكتشفوا بالفعل ثغرة ChatGPT هذه عن طريق إحداث هلوسة لنموذج اللغة بطريقة غريبة إلى حد ما.
ثغرة ChatGPT توفر البيانات الشخصية للمستخدمين تحت "التنويم المغناطيسي"
يقوم نموذج اللغة بإنشاء معلومات بناءً على بيانات الإدخال المستخدمة لتدريبه. لا تكشف OpenAI عن محتويات مجموعات البيانات، لكن الباحثين أجبروا ChatGPT على القيام بذلك، متجاوزين قواعد الشركة. وكانت الطريقة على النحو التالي: لقد وصلت ببساطة إلى الشبكة العصبية يُطلب منه تكرار كلمة "شعر" مرارًا وتكرارًا.
ونتيجة لذلك، أنتج الروبوت معلومات بشكل متقطع من مجموعة بيانات التدريب الخاصة به. على سبيل المثال، تمكن الباحثون من ذلك الحصول على عنوان البريد الإلكتروني ورقم الهاتف وجهات الاتصال الأخرى الرئيس التنفيذي لشركة معينة (يتم إخفاء اسمه في التقرير). وعندما طُلب من الذكاء الاصطناعي تكرار كلمة "شركة"، سمحت له ثغرة ChatGPT بإرجاع تفاصيل شركة محاماة أمريكية.
وباستخدام هذا "التنويم المغناطيسي" البسيط، تمكن الباحثون من الحصول على تطابق من مواقع المواعدة، وأجزاء من القصائد، إنديريزي إلى البيتكوين, أعياد الميلاد , الروابط المنشورة على شبكات التواصل الاجتماعي , أجزاء من ورقة بحثية محمية بحقوق الطبع والنشر وحتى النصوص من بوابات الأخبار الكبرى. بعد إنفاق 200 دولار فقط على الرموز المميزة، تلقى موظفو Google DeepMind ما يقرب من 10.000 مقتطف من مجموعة البيانات.
ووجد الخبراء أيضًا أنه كلما كان النموذج أكبر، كلما زاد إنتاجه لمصدر مجموعة بيانات التدريب. للقيام بذلك، نظروا إلى نماذج أخرى واستنبطوا النتيجة إلى أبعاد GPT-3.5 Turbo. وتوقع العلماء أن يحصلوا على معلومات أكثر بـ 50 مرة من مجموعة بيانات التدريب، ولكن أنتج برنامج الدردشة الآلية هذه البيانات بمعدل 150 مرة أكثر. وقد تم اكتشاف "ثغرة" مماثلة في نماذج لغوية أخرى، على سبيل المثال في لاما ميتا.
رسميًا، قامت OpenAI بإصلاح هذه الثغرة الأمنية في 30 أغسطس. ولكن، بحسب الصحفيين من التقنية بلا حدود، مازلت قادرًا على الحصول على بيانات شخص آخر (اسم Skype وتسجيل الدخول) باستخدام الطريقة الموضحة أعلاه. ممثلي OpenAI لم يستجب لاكتشاف ثغرة ChatGPT هذه ولكننا على يقين من أنهم سيفعلون ذلك.
