From 8de051b77dab2fc2e7adcc824922d3644881977e Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 22 Aug 2024 23:21:58 +0300 Subject: [PATCH 01/10] Add docs/source/ar/peft.md to Add_docs_source_ar_peft.md --- docs/source/ar/peft.md | 250 +++++++++++++++++++++++++++++++++++++++++ 1 file changed, 250 insertions(+) create mode 100644 docs/source/ar/peft.md diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md new file mode 100644 index 000000000000..202cf692d946 --- /dev/null +++ b/docs/source/ar/peft.md @@ -0,0 +1,250 @@ +# تحميل المحولات باستخدام 🤗 PEFT + +[[open-in-colab]] + +تقوم طرق [التدريب الدقيق الفعال للبارامترات (PEFT)](https://huggingface.co/blog/peft) بتجميد معلمات النموذج المُدرب مسبقًا أثناء الضبط الدقيق وإضافة عدد صغير من المعلمات القابلة للتدريب (المحولات) فوقه. يتم تدريب المحولات لتعلم معلومات خاصة بالمهام. وقد ثبت أن هذا النهج فعال للغاية من حيث الذاكرة مع انخفاض استخدام الكمبيوتر أثناء إنتاج نتائج قابلة للمقارنة مع نموذج مضبوط دقيقًا تمامًا. + +عادة ما تكون المحولات المدربة باستخدام PEFT أصغر أيضًا بمقدار درجة من حيث الحجم من النموذج الكامل، مما يجعل من السهل مشاركتها وتخزينها وتحميلها. + +
+ +
تبلغ أوزان المحول لطراز OPTForCausalLM المخزن على Hub حوالي 6 ميجابايت مقارنة بالحجم الكامل لأوزان النموذج، والتي يمكن أن تكون حوالي 700 ميجابايت.
+
+ +إذا كنت مهتمًا بمعرفة المزيد عن مكتبة 🤗 PEFT، فراجع [الوثائق](https://huggingface.co/docs/peft/index). + +## الإعداد + +ابدأ بتثبيت 🤗 PEFT: + +```bash +pip install peft +``` + +إذا كنت تريد تجربة الميزات الجديدة تمامًا، فقد تكون مهتمًا بتثبيت المكتبة من المصدر: + +```bash +pip install git+https://github.com/huggingface/peft.git +``` + +## نماذج PEFT المدعومة + +يدعم 🤗 Transformers بشكلٍ أصلي بعض طرق PEFT، مما يعني أنه يمكنك تحميل أوزان المحول المخزنة محليًا أو على Hub وتشغيلها أو تدريبها ببضع سطور من التعليمات البرمجية. الطرق المدعومة هي: + +- [محولات الرتبة المنخفضة](https://huggingface.co/docs/peft/conceptual_guides/lora) +- [IA3](https://huggingface.co/docs/peft/conceptual_guides/ia3) +- [AdaLoRA](https://arxiv.org/abs/2303.10512) + +إذا كنت تريد استخدام طرق PEFT الأخرى، مثل تعلم المحث أو ضبط المحث، أو حول مكتبة 🤗 PEFT بشكل عام، يرجى الرجوع إلى [الوثائق](https://huggingface.co/docs/peft/index). + +## تحميل محول PEFT + +لتحميل نموذج محول PEFT واستخدامه من 🤗 Transformers، تأكد من أن مستودع Hub أو الدليل المحلي يحتوي على ملف `adapter_config.json` وأوزان المحول، كما هو موضح في صورة المثال أعلاه. بعد ذلك، يمكنك تحميل نموذج محول PEFT باستخدام فئة `AutoModelFor`. على سبيل المثال، لتحميل نموذج محول PEFT للنمذجة اللغوية السببية: + +1. حدد معرف نموذج PEFT +2. مرره إلى فئة [`AutoModelForCausalLM`] + +```py +from transformers import AutoModelForCausalLM, AutoTokenizer + +peft_model_id = "ybelkada/opt-350m-lora" +model = AutoModelForCausalLM.from_pretrained(peft_model_id) +``` + + + +يمكنك تحميل محول PEFT باستخدام فئة `AutoModelFor` أو فئة النموذج الأساسي مثل `OPTForCausalLM` أو `LlamaForCausalLM`. + + + +يمكنك أيضًا تحميل محول PEFT عن طريق استدعاء طريقة `load_adapter`: + +```py +from transformers import AutoModelForCausalLM, AutoTokenizer + +model_id = "facebook/opt-350m" +peft_model_id = "ybelkada/opt-350m-lora" + +model = AutoModelForCausalLM.from_pretrained(model_id) +model.load_adapter(peft_model_id) +``` + +راجع قسم [وثائق API](#transformers.integrations.PeftAdapterMixin) أدناه لمزيد من التفاصيل. + +## التحميل في 8 بت أو 4 بت + +راجع قسم [وثائق API](#transformers.integrations.PeftAdapterMixin) أدناه لمزيد من التفاصيل. + +## التحميل في 8 بت أو 4 بت + +تدعم تكامل `bitsandbytes` أنواع بيانات الدقة 8 بت و4 بت، والتي تكون مفيدة لتحميل النماذج الكبيرة لأنها توفر الذاكرة (راجع دليل تكامل `bitsandbytes` [guide](./quantization#bitsandbytes-integration) لمعرفة المزيد). أضف `load_in_8bit` أو `load_in_4bit` المعلمات إلى [`~PreTrainedModel.from_pretrained`] وقم بتعيين `device_map="auto"` لتوزيع النموذج بشكل فعال على الأجهزة لديك: + +```py +from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig + +peft_model_id = "ybelkada/opt-350m-lora" +model = AutoModelForCausalLM.from_pretrained(peft_model_id, quantization_config=BitsAndBytesConfig(load_in_8bit=True)) +``` + +## إضافة محول جديد + +يمكنك استخدام [`~peft.PeftModel.add_adapter`] لإضافة محول جديد إلى نموذج بمحول موجود طالما أن المحول الجديد هو من نفس نوع المحول الحالي. على سبيل المثال، إذا كان لديك محول LoRA موجود ملحق بنموذج: + +```py +from transformers import AutoModelForCausalLM, OPTForCausalLM, AutoTokenizer +from peft import LoraConfig + +model_id = "facebook/opt-350m" +model = AutoModelForCausalLM.from_pretrained(model_id) + +lora_config = LoraConfig( + target_modules=["q_proj", "k_proj"], + init_lora_weights=False +) + +model.add_adapter(lora_config, adapter_name="adapter_1") +``` + +لإضافة محول جديد: + +```py +# قم بتعليق محول جديد بنفس التكوين +model.add_adapter(lora_config, adapter_name="adapter_2") +``` + +الآن يمكنك استخدام [`~peft.PeftModel.set_adapter`] لتعيين المحول الذي سيتم استخدامه: + +```py +# استخدم adapter_1 +model.set_adapter("adapter_1") +output = model.generate(**inputs) +print(tokenizer.decode(output_disabled[0], skip_special_tokens=True)) + +# استخدم adapter_2 +model.set_adapter("adapter_2") +output_enabled = model.generate(**inputs) +print(tokenizer.decode(output_enabled[0], skip_special_tokens=True)) +``` + +## تمكين وتعطيل المحولات + +بمجرد إضافة محول إلى نموذج، يمكنك تمكين أو تعطيل وحدة المحول. لتمكين وحدة المحول: + +```py +from transformers import AutoModelForCausalLM, OPTForCausalLM, AutoTokenizer +from peft import PeftConfig + +model_id = "facebook/opt-350m" +adapter_model_id = "ybelkada/opt-350m-lora" +tokenizer = AutoTokenizer.from_pretrained(model_id) +text = "Hello" +inputs = tokenizer(text, return_tensors="pt") + +model = AutoModelForCausalLM.from_pretrained(model_id) +peft_config = PeftConfig.from_pretrained(adapter_model_id) + +# لبدء تشغيله بأوزان عشوائية +peft_config.init_lora_weights = False + +model.add_adapter(peft_config) +model.enable_adapters() +output = model.generate(**inputs) +``` + +لإيقاف تشغيل وحدة المحول: + +```py +model.disable_adapters() +output = model.generate(**inputs) +``` + +## تدريب محول PEFT + +يدعم محول PEFT فئة [`Trainer`] بحيث يمكنك تدريب محول لحالتك الاستخدام المحددة. فهو يتطلب فقط إضافة بضع سطور أخرى من التعليمات البرمجية. على سبيل المثال، لتدريب محول LoRA: + + + +إذا لم تكن معتادًا على ضبط نموذج دقيق باستخدام [`Trainer`، فراجع البرنامج التعليمي](training) لضبط نموذج مُدرب مسبقًا. + + + +1. حدد تكوين المحول باستخدام نوع المهمة وفرط المعلمات (راجع [`~peft.LoraConfig`] لمزيد من التفاصيل حول ما تفعله فرط المعلمات). + +```py +from peft import LoraConfig + +peft_config = LoraConfig( + lora_alpha=16, + lora_dropout=0.1, + r=64, + bias="none", + task_type="CAUSAL_LM"، +) +``` + +2. أضف المحول إلى النموذج. + +```py +model.add_adapter(peft_config) +``` + +3. الآن يمكنك تمرير النموذج إلى [`Trainer`]! + +```py +trainer = Trainer(model=model, ...) +trainer.train() +``` + +لحفظ محول المدرب وتحميله مرة أخرى: + +```py +model.save_pretrained(save_dir) +model = AutoModelForCausalLM.from_pretrained(save_dir) +``` + +## إضافة طبقات قابلة للتدريب إضافية إلى محول PEFT + +```py +model.save_pretrained(save_dir) +model = AutoModelForCausalLM.from_pretrained(save_dir) +``` + +## إضافة طبقات قابلة للتدريب إضافية إلى محول PEFT + +يمكنك أيضًا ضبط طبقات قابلة للتدريب إضافية أعلى نموذج به محولات مرفقة عن طريق تمرير `modules_to_save` في تكوين PEFT الخاص بك. على سبيل المثال، إذا كنت تريد أيضًا ضبط `lm_head` أعلى نموذج بمحول LoRA: + +```py +from transformers import AutoModelForCausalLM, OPTForCausalLM, AutoTokenizer +from peft import LoraConfig + +model_id = "facebook/opt-350m" +model = AutoModelForCausalLM.from_pretrained(model_id) + +lora_config = LoraConfig( + target_modules=["q_proj", "k_proj"], + modules_to_save=["lm_head"]، +) + +model.add_adapter(lora_config) +``` + +## وثائق API + +[[autodoc]] integrations.PeftAdapterMixin + - load_adapter + - add_adapter + - set_adapter + - disable_adapters + - enable_adapters + - active_adapters + - get_adapter_state_dict + + + + + \ No newline at end of file From c405dc8537c7a92875666706e2eac0bc5dcef300 Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:50:48 +0300 Subject: [PATCH 02/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index 202cf692d946..e6a35c180102 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -2,7 +2,7 @@ [[open-in-colab]] -تقوم طرق [التدريب الدقيق الفعال للبارامترات (PEFT)](https://huggingface.co/blog/peft) بتجميد معلمات النموذج المُدرب مسبقًا أثناء الضبط الدقيق وإضافة عدد صغير من المعلمات القابلة للتدريب (المحولات) فوقه. يتم تدريب المحولات لتعلم معلومات خاصة بالمهام. وقد ثبت أن هذا النهج فعال للغاية من حيث الذاكرة مع انخفاض استخدام الكمبيوتر أثناء إنتاج نتائج قابلة للمقارنة مع نموذج مضبوط دقيقًا تمامًا. +تقنية "التدريب الدقيق ذو الكفاءة البارامتيرية" (PEFT)](https://huggingface.co/blog/peft) تقوم بتجميد معلمات النموذج المُدرب مسبقًا أثناء الضبط الدقيق وتضيف عدد صغير من المعلمات القابلة للتدريب (المحولات) فوقه. يتم تدريب المحوّلات لتعلم معلومات خاصة بالمهام. وقد ثبت أن هذا النهج فعال للغاية من حيث استخدام الذاكرة مع انخفاض استخدام الكمبيوتر أثناء إنتاج نتائج قمماثلة للنموذج مضبوط دقيقًا بالكامل. عادة ما تكون المحولات المدربة باستخدام PEFT أصغر أيضًا بمقدار درجة من حيث الحجم من النموذج الكامل، مما يجعل من السهل مشاركتها وتخزينها وتحميلها. From 65c7898ec55f7a93fce52f307ca1f159419904be Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:51:02 +0300 Subject: [PATCH 03/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index e6a35c180102..34efa1ef877d 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -4,7 +4,7 @@ تقنية "التدريب الدقيق ذو الكفاءة البارامتيرية" (PEFT)](https://huggingface.co/blog/peft) تقوم بتجميد معلمات النموذج المُدرب مسبقًا أثناء الضبط الدقيق وتضيف عدد صغير من المعلمات القابلة للتدريب (المحولات) فوقه. يتم تدريب المحوّلات لتعلم معلومات خاصة بالمهام. وقد ثبت أن هذا النهج فعال للغاية من حيث استخدام الذاكرة مع انخفاض استخدام الكمبيوتر أثناء إنتاج نتائج قمماثلة للنموذج مضبوط دقيقًا بالكامل. -عادة ما تكون المحولات المدربة باستخدام PEFT أصغر أيضًا بمقدار درجة من حيث الحجم من النموذج الكامل، مما يجعل من السهل مشاركتها وتخزينها وتحميلها. +عادة ما تكون المحولات المدربة باستخدام PEFT أصغر بمقدار كبير من حيث الحجم من النموذج الكامل، مما يجعل من السهل مشاركتها وتخزينها وتحميلها.
From 6c863bfbc4d088bf5139643bcd52b8e4e66086f7 Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:51:13 +0300 Subject: [PATCH 04/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index 34efa1ef877d..a0b94d45ac07 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -39,7 +39,7 @@ pip install git+https://github.com/huggingface/peft.git ## تحميل محول PEFT -لتحميل نموذج محول PEFT واستخدامه من 🤗 Transformers، تأكد من أن مستودع Hub أو الدليل المحلي يحتوي على ملف `adapter_config.json` وأوزان المحول، كما هو موضح في صورة المثال أعلاه. بعد ذلك، يمكنك تحميل نموذج محول PEFT باستخدام فئة `AutoModelFor`. على سبيل المثال، لتحميل نموذج محول PEFT للنمذجة اللغوية السببية: +لتحميل نموذج محول PEFT واستخدامه من 🤗 Transformers، تأكد من أن مستودع Hub أو الدليل المحلي يحتوي على ملف `adapter_config.json` وأوزان المحوّل، كما هو موضح في صورة المثال أعلاه. بعد ذلك، يمكنك تحميل نموذج محوّل PEFT باستخدام فئة `AutoModelFor`. على سبيل المثال، لتحميل نموذج محول PEFT للنمذجة اللغوية السببية: 1. حدد معرف نموذج PEFT 2. مرره إلى فئة [`AutoModelForCausalLM`] From 061edd006838492664e39c4574b2ea6a51c27375 Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:51:25 +0300 Subject: [PATCH 05/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index a0b94d45ac07..831493d5bf13 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -1,4 +1,4 @@ -# تحميل المحولات باستخدام 🤗 PEFT +# تحميل المحوّلات باستخدام 🤗 PEFT [[open-in-colab]] From b9949f80dda2a066cee6a115013bf9f3435a3682 Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:51:35 +0300 Subject: [PATCH 06/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index 831493d5bf13..9713ac242526 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -41,7 +41,7 @@ pip install git+https://github.com/huggingface/peft.git لتحميل نموذج محول PEFT واستخدامه من 🤗 Transformers، تأكد من أن مستودع Hub أو الدليل المحلي يحتوي على ملف `adapter_config.json` وأوزان المحوّل، كما هو موضح في صورة المثال أعلاه. بعد ذلك، يمكنك تحميل نموذج محوّل PEFT باستخدام فئة `AutoModelFor`. على سبيل المثال، لتحميل نموذج محول PEFT للنمذجة اللغوية السببية: -1. حدد معرف نموذج PEFT +1. حدد معرف النموذج لPEFT 2. مرره إلى فئة [`AutoModelForCausalLM`] ```py From 3b864eb5e7d2a420b79a28cde0d6331d898da7a8 Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:51:45 +0300 Subject: [PATCH 07/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index 9713ac242526..2b57367a7bec 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -77,7 +77,7 @@ model.load_adapter(peft_model_id) ## التحميل في 8 بت أو 4 بت -تدعم تكامل `bitsandbytes` أنواع بيانات الدقة 8 بت و4 بت، والتي تكون مفيدة لتحميل النماذج الكبيرة لأنها توفر الذاكرة (راجع دليل تكامل `bitsandbytes` [guide](./quantization#bitsandbytes-integration) لمعرفة المزيد). أضف `load_in_8bit` أو `load_in_4bit` المعلمات إلى [`~PreTrainedModel.from_pretrained`] وقم بتعيين `device_map="auto"` لتوزيع النموذج بشكل فعال على الأجهزة لديك: +يدعم تكامل `bitsandbytes` أنواع بيانات الدقة 8 بت و4 بت، والتي تكون مفيدة لتحميل النماذج الكبيرة لأنها توفر مساحة في الذاكرة (راجع دليل تكامل `bitsandbytes` [guide](./quantization#bitsandbytes-integration) لمعرفة المزيد). أضف المعلمات`load_in_8bit` أو `load_in_4bit` إلى [`~PreTrainedModel.from_pretrained`] وقم بتعيين `device_map="auto"` لتوزيع النموذج بشكل فعال على الأجهزة لديك: ```py from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig From 62bdf98d138cd7def453606d1ba5aac7c8081b2c Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:51:59 +0300 Subject: [PATCH 08/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index 2b57367a7bec..d12470f847f1 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -88,7 +88,7 @@ model = AutoModelForCausalLM.from_pretrained(peft_model_id, quantization_config= ## إضافة محول جديد -يمكنك استخدام [`~peft.PeftModel.add_adapter`] لإضافة محول جديد إلى نموذج بمحول موجود طالما أن المحول الجديد هو من نفس نوع المحول الحالي. على سبيل المثال، إذا كان لديك محول LoRA موجود ملحق بنموذج: +يمكنك استخدام الدالة [`~peft.PeftModel.add_adapter`] لإضافة محوّل جديد إلى نموذج يحتوي بالفعل على محوّل آخر طالما أن المحول الجديد مطابقًا للنوع الحالي. على سبيل المثال، إذا كان لديك محول LoRA موجود مرتبط بنموذج: ```py from transformers import AutoModelForCausalLM, OPTForCausalLM, AutoTokenizer From e9dd48ac5e08eba1c12d649e0161ab1892a8beee Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:52:08 +0300 Subject: [PATCH 09/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index d12470f847f1..83c1abf4f91f 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -168,7 +168,7 @@ output = model.generate(**inputs) -1. حدد تكوين المحول باستخدام نوع المهمة وفرط المعلمات (راجع [`~peft.LoraConfig`] لمزيد من التفاصيل حول ما تفعله فرط المعلمات). +1. حدد تكوين المحول باستخدام نوع المهمة والمعاملات الزائدة (راجع [`~peft.LoraConfig`] لمزيد من التفاصيل حول وظيفة هذه المعلمات). ```py from peft import LoraConfig From ce4db13e27385b74b766134686f1143c35e15e88 Mon Sep 17 00:00:00 2001 From: Ahmed Almaghz <53489256+AhmedAlmaghz@users.noreply.github.com> Date: Thu, 5 Sep 2024 01:52:21 +0300 Subject: [PATCH 10/10] Update docs/source/ar/peft.md Co-authored-by: Abdullah Mohammed <554032+abodacs@users.noreply.github.com> --- docs/source/ar/peft.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/source/ar/peft.md b/docs/source/ar/peft.md index 83c1abf4f91f..f5f050ade427 100644 --- a/docs/source/ar/peft.md +++ b/docs/source/ar/peft.md @@ -211,7 +211,7 @@ model = AutoModelForCausalLM.from_pretrained(save_dir) ## إضافة طبقات قابلة للتدريب إضافية إلى محول PEFT -يمكنك أيضًا ضبط طبقات قابلة للتدريب إضافية أعلى نموذج به محولات مرفقة عن طريق تمرير `modules_to_save` في تكوين PEFT الخاص بك. على سبيل المثال، إذا كنت تريد أيضًا ضبط `lm_head` أعلى نموذج بمحول LoRA: +يمكنك أيضًا إجراء تدريب دقيق لمحوّلات قابلة للتدريب إضافية فوق نموذج يحتوي بالفعل على محوّلات عن طريق تمرير معلم `modules_to_save` في تكوين PEFT الخاص بك. على سبيل المثال، إذا كنت تريد أيضًا ضبط دقيق لرأس النموذج اللغوي`lm_head` فوق نموذج بمحوّل LoRA: ```py from transformers import AutoModelForCausalLM, OPTForCausalLM, AutoTokenizer