ما هي Mamba، الهندسة المعمارية التي تهدف إلى التغلب بشكل كامل على GPT. عصر جديد من الذكاء الاصطناعي؟
اليوم أريد أن أذهب أكثر تقنيا قليلا. نتحدث عن الذكاء الاصطناعي كل يوم ولكن من الصحيح أن نعرف على ماذا يعتمد وكيف يعمل. في هذا الصدد أريد أن أقدم لكم الممبة أفعي سامة، بنية جديدة تعد بالتغيير النماذج اللغوية كما نعرفهم اليوم. تعتبر ميزات Mamba، مقارنة بميزات GPT، متفوقة للغاية بالإضافة إلى ما تتيح لك القيام به.
مامبا هو أفق جديد للذكاء الاصطناعي
بنية المحولات، التي تم تقديمها في عام 2016 من خلال الورقة “الاهتمام هو كل ما تحتاجه"من Google، يمثل طفرة في نماذج اللغة، مما يسمح لها بالحفاظ على السياق في التفاعلات. باختصار: الهندسة المعمارية Transformer هو نموذج ذكاء اصطناعي يستخدم لإنشاء نماذج مثل GPT (المحولات التوليدية المدربة مسبقًا).
قلب بنية المحولات هو آلية "اهتمام"، والذي يسمح للنموذج بالتركيز على أجزاء محددة من نص واحد أثناء إنشاء نص آخر أو معالجته. هذه الآلية تجعل المحولات فعالة بشكل خاص في فهم السياق والعلاقات المعقدة داخل النص. من الناحية العملية، النماذج المعتمدة على بنية المحولات، مثل GPT، يتعلمون توليد وفهم اللغة من خلال مرحلتين أهمها: التدريب (التدريب) والاستدلال (إنشاء النص).
خلال السلامه اولا، يتم تدريب النموذج على مجموعات بيانات نصية كبيرة لفهم الهياكل اللغوية والعلاقات بين الكلمات والسياق وما إلى ذلك. في مرحلة الإستنباط، يستخدم النموذج ما تعلمه لإنشاء نص جديد والإجابة على الأسئلة وترجمة اللغات ومهام معالجة اللغة الأخرى.
ومع ذلك، فإن ظهور مامبا يمكن أن يمثل بداية حقبة جديدة. هذه الهندسة المعمارية تعد بأن تكون كذلك أكثر كفاءةقادرة على التغلب على بعض التحديات الرئيسية التي تواجهها النماذج الحالية مثل GPT. وعلى وجه التحديد، هناك ثلاثة جوانب رئيسية تجعل من مامبا معمارية واعدة:
- انخفاض تكاليف الاستدلال: أحد الجوانب الرئيسية في Mamba هو التخفيض الكبير في تكاليف الاستدلال. كما قلت من قبل، الاستدلال هو العملية التي من خلالها يقوم نموذج الذكاء الاصطناعي، بعد تدريبه، بتطبيق ما تعلمه على البيانات الجديدة، وإنشاء نصوص أو صور. في النماذج المعقدة مثل GPT-3 أو GPT-4، يمكن أن تكون هذه العملية مكلفة من حيث الموارد الحسابية. يعد مامبا بذلك تقليل هذه التكاليف حتى خمس مرات مقارنة بالنماذج القائمة على المحولات، والتي يمكن أن يكون لها تأثير كبير، خاصة بالنسبة للتطبيقات التي تتطلب توليد استجابة سريعة أو تعمل مع مجموعات بيانات ضخمة؛
- تكلفة حساب الاهتمام الخطي: الميزة الثانية لمامبا تتعلق بكفاءة حساب الانتباه. في نماذج المحولات التكلفة تنمو عمليا (بالضبط على مستوى القوة، فهو ليس مجازًا) مع زيادة طول النص. وهذا يعني أنه كلما زاد طول النص، زادت الحاجة إلى موارد أكبر لمعالجته، مما يحد من التطبيق العملي للنماذج في بعض التطبيقات. مامبا تقترح حلاً حيث التكلفة تنمو خطيا مقارنة بحجم نافذة الانتباه، مما يجعل معالجة النصوص الطويلة أكثر قابلية للإدارة وأقل إرهاقًا من الناحية الحسابية؛
- مدخلات أكبر للغاية: يمكن لـ Mamba التعامل مع الحد الأقصى لنافذة الإدخال ما يصل إلى 1 مليون الرموزn، أكثر بكثير مما هو ممكن مع بنية المحولات. وهذا يعني أن مامبا يمكنه، نظريًا، تحليل وفهم النصوص الطويلة للغاية، مثل الكتب بأكملها، والحفاظ على التماسك والتفاصيل في السياق. على سبيل المثال، قد يقوم بتحليل رواية بأكملها مع الحفاظ على فهم واضح للشخصيات والحبكة والموضوعات من البداية إلى النهاية.
على الرغم من وعود مامبا، فإن ورقة سوليفا الشكوك حول قابليتها للتوسع، خاصة عند مقارنتها بالنماذج الضخمة مثل GPT-4، الذي يحتوي على 175 مليار معلمة. تشير قابلية التوسع، بعبارات بسيطة جدًا، إلى قدرة النظام على التعامل مع الزيادة في العمل أو النمو في الحجم دون فقدان الفعالية. تخيل مطعمًا صغيرًا يعمل بشكل جيد مع عدد قليل من العملاء. إذا أصبح المطعم مشهورًا وبدأ في الحصول على العديد من العملاء، فيجب أن يكون قادرًا على التعامل مع هذه الزيادة دون المساس بجودة الخدمة أو الطعام. إذا نجحت، فهي "قابلة للتطوير".
لقد تم اختبار مامبا، في حالتها الحالية فقط مع 3 مليار معلمة. وبالتالي، لا يزال من غير المؤكد ما إذا كان من الممكن الحفاظ على أدائها وكفاءتها أو تحسينهما عند توسيع نطاقهما إلى أحجام أكبر.
