Skip to content
Closed
Changes from 1 commit
Commits
File filter

Filter by extension

Filter by extension

Conversations
Failed to load comments.
Loading
Jump to
Jump to file
Failed to load files.
Loading
Diff view
Diff view
59 changes: 59 additions & 0 deletions docs/source/ar/pad_truncation.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,59 @@
# الحشو والتقليم

غالباً ما تكون الإدخالات المجمعة مختلفة الطول، لذا لا يمكن تحويلها إلى مصفوفات ذات حجم ثابت. الحشو والتقليم هما استراتيجيتان للتعامل مع هذه المشكلة، لإنشاء مصفوفات مستطيلة من مجموعات ذات أطوال مختلفة. ويضيف الحشو رمز **حشو** خاص لضمان أن يكون للتسلسلات الأقصر نفس طول أطول تسلسل في دفعة أو الطول الأقصى الذي يقبله النموذج. ويعمل التقليم في الاتجاه الآخر عن طريق تقليم التسلسلات الطويلة.
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

في معظم الحالات، يعمل حشو دفعتك إلى طول أطول تسلسل وتقليمه إلى الطول الأقصى الذي يمكن أن يقبله النموذج بشكل جيد للغاية. ومع ذلك، تدعم واجهة برمجة التطبيقات المزيد من الاستراتيجيات إذا كنت بحاجة إليها. هناك ثلاثة حجج تحتاجها: `padding`، و`truncation`، و`max_length`.
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

يحكم حجة `padding` الحشو. يمكن أن يكون منطقيًا أو سلسلة:
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

- `True` أو `'longest'`: الحشو إلى أطول تسلسل في الدفعة (لا يتم تطبيق الحشو إذا قدمت
تسلسل واحد فقط).
- `'max_length'`: الحشو إلى طول محدد بواسطة حجة `max_length` أو الطول الأقصى الذي يقبله
النموذج إذا لم يتم توفير `max_length` (`max_length=None`). سيظل الحشو مطبقًا إذا قدمت تسلسلًا واحدًا فقط.
- `False` أو `'do_not_pad'`: لا يتم تطبيق أي حشو. هذا هو السلوك الافتراضي.
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

تحكم حجة `truncation` التقليم. يمكن أن يكون منطقيًا أو سلسلة:
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

- `True` أو `'longest_first'`: اقطع إلى طول أقصى محدد بواسطة حجة `max_length` أو
الطول الأقصى الذي يقبله النموذج إذا لم يتم توفير `max_length` (`max_length=None`). هذا سوف
تقليم رمزا برمز، وإزالة رمز من أطول تسلسل في الزوج حتى يتم الوصول إلى الطول الصحيح.
- `'only_second'`: اقطع إلى طول أقصى محدد بواسطة حجة `max_length` أو الطول الأقصى
يقبل النموذج إذا لم يتم توفير `max_length` (`max_length=None`). هذا سيقلم فقط
الجملة الثانية من زوج إذا تم توفير زوج من التسلسلات (أو دفعة من أزواج التسلسلات).
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated
- `'only_first'`: اقطع إلى طول أقصى محدد بواسطة حجة `max_length` أو الطول الأقصى
يقبل النموذج إذا لم يتم توفير `max_length` (`max_length=None`). هذا سيقلم فقط
الجملة الأولى من زوج إذا تم توفير زوج من التسلسلات (أو دفعة من أزواج التسلسلات).
- `False` أو `'do_not_truncate'`: لا يتم تطبيق أي تقليم. هذا هو السلوك الافتراضي.
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

تحكم حجة `max_length` طول الحشو والتقليم. يمكن أن يكون عدد صحيح أو `None`، وفي هذه الحالة سيتم تعيينه افتراضيًا إلى الطول الأقصى الذي يمكن أن يقبله النموذج. إذا لم يكن للنموذج طول إدخال أقصى محدد، يتم إلغاء تنشيط التقليم أو الحشو إلى `max_length`.
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated

يوضح الجدول التالي الطريقة الموصى بها لإعداد الحشو والتقليم. إذا كنت تستخدم أزواج تسلسلات الإدخال في أي من الأمثلة التالية، فيمكنك استبدال `truncation=True` بـ `STRATEGY` المحدد في
`['only_first'، 'only_second'، 'longest_first']`، أي `truncation='only_second'` أو `truncation='longest_first'` للتحكم في كيفية تقليم كل من التسلسلات في الزوج كما هو مفصل سابقًا.
Comment thread
AhmedAlmaghz marked this conversation as resolved.
Outdated
<!-- This file is automatically generated, do not modify manually. -->

# حيل الترميز

هناك العديد من الاستراتيجيات لترميز دفعات الجمل. فيما يلي بعض الأمثلة على ذلك.

| الترميز | الحشو | التعليمات |
|--------------------------------------|-----------------------------------|---------------------------------------------------------------------------------------------|
| لا ترميز | لا حشو | `tokenizer(batch_sentences)` |
| | الحشو إلى الحد الأقصى للتسلسل في الدفعة | `tokenizer(batch_sentences, padding=True)` أو |
| | | `tokenizer(batch_sentences, padding='longest')` |
| | الحشو إلى الحد الأقصى لطول إدخال النموذج | `tokenizer(batch_sentences, padding='max_length')` |
| | الحشو إلى طول محدد | `tokenizer(batch_sentences, padding='max_length', max_length=42)` |
| | الحشو إلى مضاعف لقيمة معينة | `tokenizer(batch_sentences, padding=True, pad_to_multiple_of=8)` |
| الترميز إلى الحد الأقصى لطول إدخال النموذج | لا حشو | `tokenizer(batch_sentences, truncation=True)` أو |
| | | `tokenizer(batch_sentences, truncation=STRATEGY)` |
| | الحشو إلى الحد الأقصى للتسلسل في الدفعة | `tokenizer(batch_sentences, padding=True, truncation=True)` أو |
| | | `tokenizer(batch_sentences, padding=True, truncation=STRATEGY)` |
| | الحشو إلى الحد الأقصى لطول إدخال النموذج | `tokenizer(batch_sentences, padding='max_length', truncation=True)` أو |
| | | `tokenizer(batch_sentences, padding='max_length', truncation=STRATEGY)` |
| | الحشو إلى طول محدد | غير ممكن |
| الترميز إلى طول محدد | لا حشو | `tokenizer(batch_sentences, truncation=True, max_length=42)` أو |
| | | `tokenizer(batch_sentences, truncation=STRATEGY, max_length=42)` |
| | الحشو إلى الحد الأقصى للتسلسل في الدفعة | `tokenizer(batch_sentences, padding=True, truncation=True, max_length=42)` أو |
| | | `tokenizer(batch_sentences, padding=True, truncation=STRATEGY, max_length=42)` |
| | الحشو إلى الحد الأقصى لطول إدخال النموذج | غير ممكن |
| | الحشو إلى طول محدد | `tokenizer(batch_sentences, padding='max_length', truncation=True, max_length=42)` أو |
| | | `tokenizer(batch_sentences, padding='max_length', truncation=STRATEGY, max_length=42)` |