...
/استكشاف برامج الماجستير في القانون مفتوحة المصدر
استكشاف برامج الماجستير في القانون مفتوحة المصدر
اكتشف الفرق بين نماذج LLM مفتوحة المصدر ومغلقة المصدر.
سنغطي ما يلي...
Introduction to AI democratization
يُمثل مفهوم تعميم الذكاء الاصطناعي تحولاً في مشهد الابتكار التكنولوجي، إذ يتيح تقنيات الذكاء الاصطناعي المتقدمة لقاعدة أوسع من المستخدمين، تتجاوز شركات التكنولوجيا الكبرى ومؤسسات البحث المتخصصة. وتُعدّ هذه الخطوة أساسية في مجال نماذج اللغات الكبيرة، نظرًا لتعقيدها ومتطلبات الموارد اللازمة لتطويرها وتدريبها. ويسعى تعميم الذكاء الاصطناعي إلى تمكين الأفراد والشركات الناشئة والباحثين الأكاديميين من الأدوات اللازمة لاستكشاف مجال الذكاء الاصطناعي وابتكاره والمساهمة فيه.
تُعدّ برامج ماجستير القانون مفتوحة المصدر جوهر هذه الحركة، إذ تُشكّل حافزًا للابتكار والتعاون. فمن خلال توفير الوصول إلى النماذج المُدرّبة مسبقًا والشيفرة المصدرية، تُشجّع مبادرات مفتوحة المصدر على تهيئة بيئة تُتيح تبادل المعرفة والموارد بحرية. ولا يقتصر هذا النهج على تقليل العوائق المالية المرتبطة بتطوير الذكاء الاصطناعي والتدريب عليه، بل يُعزز أيضًا الشفافية في أبحاث وتطبيقات الذكاء الاصطناعي. ونتيجةً لذلك، تُسهّل برامج ماجستير القانون مفتوحة المصدر تطوّر الذكاء الاصطناعي في قطاعات عديدة، مثل الرعاية الصحية والتعليم وعلوم البيئة.
Closed-source vs. open-source LLMs
يشير مصطلح "المصدر المفتوح" إلى ممارسة مشاركة الكود المصدري الأصلي للبرمجيات مع الجمهور، مما يسمح لأي شخص بفحص الكود أو تعديله أو تحسينه. وهذا ضروري لأغراض التعاون، حيث يمكن أن يؤدي التطوير التعاوني إلى منتجات أكثر موثوقية وأمانًا وكفاءة. ما يجعل المصدر المفتوح مفتوحًا هو الترخيص الذي يتم إصداره بموجبه، والذي يملي الاستخدام والأذونات وحقوق التوزيع. إن بناء برمجيات أو نماذج مفتوحة المصدر يعني أن الموارد مثل الكود المصدري وهندسة النموذج والوثائق متاحة مجانًا للجمهور. ظهرت مبادرة المصدر المفتوح كإجراء مضاد لقيود البرمجيات الاحتكارية، مما يشجع على الحرية في تطوير واستخدام البرمجيات والتكنولوجيا. وقد أدى ذلك إلى إنشاء مجتمعات ومنظمات تدعم مبادرات المصدر المفتوح، مثل مؤسسة Apache Software Foundation .
من ناحية أخرى، تُعدّ نماذج LLM مغلقة المصدر نماذج ملكية فكرية يمكن الوصول إليها عبر منصات إلكترونية أو واجهات برمجة تطبيقات. لا تتم مشاركة شفرة المصدر مع الجمهور الأوسع، ولا تُكشف الخوارزميات المستخدمة، ولا تُفصّل بيانات التدريب المُستخدمة. نماذج LLM مغلقة المصدر هي نماذج مدفوعة إما لكل رمز أو كنماذج قائمة على الاشتراك.
LLM Models
LLM | Released | Maintainer | License | Accessible via | Architecture | Params (Billions) | Token length |
AutoGPT | 01/03/2023 | OpenAI | MIT | GitHub | Encoder - Decoder | 175 -> 1000 | 8,192 |
BERT | 01/10/2018 | Apache 2.0 | Google Cloud | Encoder | 340 | 512 | |
BLOOMChat | 01/05/2023 | SambaNova & Together Computer | BLOOMChat-176B LICENSE v1.0 | Hugging Face | Decoder | 176 | NA |
Cerebras-GPT | 01/03/2023 | Cerebras | Apache 2.0 | Hugging Face | Decoder | 0.111 - 13 | 2,048 |
Claude | 01/03/2023 | Anthropic | N/A | Anthropic | NA | NA | 100,000 tokens |
DLite (v2) | 01/05/2023 | AI Squared | Apache 2.0 | GitHub, Hugging Face | NA | 0.124 - 1.5 | 1,024 |
Dolly 2.0 | 01/04/2023 | Databricks | Apache 2.0 | Hugging Face | NA | NA | 2,048 |
Falcon-40B | 01/05/2023 | Technology Innovation Institute (TII) | TII Falcon LLM License | Hugging Face | Decoder | 40 | 2,048 |
Falcon-180B | 01/09/2023 | Technology Innovation Institute (TII) | FALCON 180B TII License | Hugging Face | Decoder | 180 | 3,500 |
FastChat-T5 | 01/04/2023 | LMSYS | Apache 2.0 | GitHub, Hugging Face | NA | 3 | 512 |
FinLLM | 01/06/2023 | AI4Finance Foundation | MIT | GitHub(FinGPT) & GitHub(FinNLP) | NA | NA | NA |
GPT-3.5-Turbo | 01/08/2023 | OpenAI | No | OpenAI API | NA | 154 | 4,096 |
GPT-J-6B | 01/06/2023 | EleutherAI | MIT | Hugging Face | NA | 6 | 2,048 |
GPT2 | 01/02/2019 | OpenAI | MIT | GitHub, Hugging Face | Decoder | 0.117 - 1.542 | 1,024 |
GPT3 | 01/05/2020 | OpenAI | No | OpenAI API | Decoder | 175 | 4,096 |
GPT4 | 01/03/2023 | OpenAI | No | OpenAI API | Decoder | > 1000 | 8,192 |
GPT4All-J | 01/06/2023 | Nomic AI | Apache 2.0 | Hugging Face | NA | 6 | NA |
h2OGPT | 01/05/2023 | h2o.ai | Apache 2.0 | GitHub, ChatBot (Hugging Face) | NA | NA | 256 & 2,048 |
Llama | 01/02/2023 | Meta | GPL 3 | Meta AI | Decoder | NA | 2,048 |
Llama-2 | 01/07/2023 | Meta | LLAMA Community License | Meta AI | NA | 7B, 13B, 70B | 4,096 |
Megatron-LM | 01/10/2019 | NVIDIA | Megatron-LM | GitHub, Hugging Face | NA | 8.3 | 1,024 |
MPT-7B | 01/05/2023 | MosaicML | Apache 2.0 | Hugging Face | NA | 6.7 | 65,000 |
OpenLLaMA | 01/05/2023 | UC Berkeley | Apache 2.0 | GitHub, Hugging Face | Decoder | 3B, 7B, 13B | 2,048 |
Palmyra Base | 01/01/2023 | Writer | Apache 2.0 | Hugging Face | Decoder | 5 | 2,048 |
Pythia | 01/04/2023 | EleutherAI | Apache 2.0 | GitHub, Hugging Face | Decoder | 0.07 - 12 | 2,048 |
RedPajama-INCITE | 01/05/2023 | together.ai | Apache 2.0 | Hugging Face | NA | 3B, 7B | NA |
RoBERTa | 01/10/2019 | Meta | GNU General Public License v2.0 | Hugging Face | Encoder | 0.125 | 512 |
StableLM | 01/04/2023 | Stability AI | CC BY-SA-4.0 / Code released under Apache 2.0 | GitHub, Hugging Face | NA | NA | 4,096 |
T5 | 01/10/2019 | Apache 2.0 | GitHub, Hugging Face | Encoder - Decoder | 11 | 512 | |
UL2 | 01/10/2022 | Apache 2.0 | GitHub, Hugging Face | Encoder | 20 | 512 & 2,048 | |
Vicuna-13B | 30/03/2023 | LMSYS | GNU General Public License v3.0 / Code released under Apache 2.0 | LMSYS Org, ChatBot (Hugging Face), GitHub | NA | 13 | 2,048 |
ليس سراً اليوم أن نماذج LLM التجارية، أو بعبارة أخرى، النماذج مغلقة المصدر، تهيمن على السوق. قلة قليلة فقط من النماذج مفتوحة المصدر تقترب من جودة النماذج التجارية، مثل نماذج GPT من OpenAI. يكفي النظر إلى عدد النماذج مغلقة المصدر وأدائها في السوق. مع ذلك، يسعى مجتمع مفتوح المصدر جاهداً لسد هذه الفجوة بين النماذج مفتوحة المصدر ومغلقة المصدر من خلال مشاريع تجمع الموارد، مثل مجموعات البيانات وقوة الحوسبة عبر الإنترنت، لتدريب نماذج قادرة على منافسة نظيراتها التجارية من حيث الجودة.
Cost implications of LLM adoption
للوهلة الأولى، تبدو هذه النماذج مغلقة المصدر رخيصة، إذ لا تتجاوز تكلفتها 0.001 دولار أمريكي رمز الواحد. ولكن، بمجرد توسيع نطاق تطبيقاتنا في الإنتاج، وبدء آلاف المستخدمين في استخدامها، ندرك أن تكلفة هذه النماذج باهظة.
دعونا نكتشف تكلفة استخدام النماذج مغلقة المصدر عن طريق حساب عدد المستخدمين وتكلفة رمز ونمط الاستخدام اليومي. على سبيل المثال، يمكننا أن نأخذ تكلفة الرمز رمز لأحد النماذج المتميزة. في المتوسط، تبلغ تكلفة إدخال حوالي 0.005 دولارًا لكل 1000 رمز مميز، وتبلغ تكلفة إخراج حوالي 0.008 دولارًا لكل ألف رمز مميز. يبلغ طلب أو الاستعلام، بشكل عام، حوالي 200 رمز مميز، مما يمنحنا 0.001 دولارًا لكل 200 رمز مميز إدخال و0.0016 دولارًا لكل 200 رمز مميز إخراج. لنأخذ حالتين، حيث تحتوي الحالة الأولى على 50 مستخدمًا والحالة الثانية على 5000 مستخدم. في المتوسط، سيستخدم المستخدم النموذج لمدة 15 دقيقة يوميًا، مع تقدير طلب واحد لكل دقيقة. ...