توليد تسمية الصورة باستخدام أساليب التعلم العميق

Summary

يستخدم هذا البروتوكول شبكات CNN وRNNs وResNets لترجمة الصور، واستخراج أوصاف أنشطة الصور، والأشخاص، والأشياء، والعناصر الأخرى. وقد تم تبرير ذلك بدرجات BLUE وCIDEr وMETEOR وROUGE.

Abstract

توليد تعليق الصور هو محاولة لتقديم وصف نصي ذي معنى يتضمن صورة. المعلومات المستخرجة ذات صلة بالأنشطة الموجودة في الصور. تشتهر شبكة ResNet (Residual Network) بقدرته على تصنيف الصور، حيث طورت تمثيلات هرمية عميقة. تهدف هذه الورقة إلى استخدام ResNet مع عدة مرشحات ذكية لتصنيف الصور بشكل أعمق، مما يمكن من توليد أوصاف حقيقية وذات معنى دقيقة للغاية بالنسبة للتعليقات المرجعية. هنا، يستخدم العمل تقنية تصفية ذكية لتحسين الصور، وشبكة CNN لترميز الميزات، وتدريب النماذج، ثم شبكة عصبية متكررة (RNN) لفك ترميز الميزات. يعد ResNet نموذجا فعالا جدا لمهام رؤية الحاسوب، خاصة تصنيف الكائنات والتحليل الدلالي. تشتهر ريزنت بالاتصالات المتبقية، والتي تعرف أيضا بالاتصالات المتخطية التي تحل مشكلة تدرج الاختفاء، وهي مشكلة حاسمة في التعلم العميق. هنا، يستخدم معيار MSCOCO (كائن مايكروسوفت المشترك في السياق) لتدريب النموذج، وهو مجموعة بيانات كبيرة مع تعليقات مرجعية مفيدة لمهام رؤية الحاسوب المختلفة. يساعد ResNet في تعزيز قدرة التعميم، وهو أمر مفيد بشكل خاص للصور المتنوعة. وفقا للنتائج التي تم الحصول عليها، درجات BLUE هي B1: 0.579، B2: 0.404، B3: 0.279، B4: 0.191؛ النيزك: 0.195; روج: 0.396; وCIDEr: 0.6.

Introduction

في مجالات الرؤية الحاسوبية ومعالجة اللغة الطبيعية، يعد كتابة الترجمة مهمة حيوية تستخرج وصفا للصورة والإجراءات التي تظهرها. هدف النموذج هو فهم الصور وترجمة المعلومات إلى جمل أو تعليقات ذات معنى¹. يتكون الإجراء بأكمله من مرحلتين مهمتين: الأولى هي استخراج الميزات، حيث يستخدم نموذج CNN؛ الثاني هو وصف الصورة باستخدام RNN & بينهما، يستخدم ResNet للتحليل الدلالي، وتوليد التسلسلات، وآلية الانتباه. ResNet يختلف كثيرا عن الطرق المعتمدة على القوالب أو الوحدات المبنية على DenseNet لأنه يستخدم اتصالات تخطي تقلل من وقت التنفيذ مع تحسين الأداء. هناك العديد من تطبيقات الترجمة التوضيحية للصور التي تشمل مساعدة الأشخاص ضعاف البصر، وتعزيز منصات التواصل الاجتماعي، وتحسين محركات البحث المعتمدة على الصور، والذكاء الاصطناعي المعتمد على الصور، والعديد^غيرها.

في الرؤية الحاسوبية، التعرف على المشاهد هو عملية تحديد وتصنيف السياق العام للصورة أو بيئتها، مثل الشاطئ أو المشهد الحضري أو الغابة أو المكتب. على عكس التعرف على الأشياء التي تركز على العناصر الفردية، يأخذ التعرف على المشاهد في الاعتبار الخامات والترتيبات المكانية وعلاقات الأشياء لفهم السياق الأكبر. يستخدم CNNs وVision Transterners، ونماذج التعلم العميق المدربة على مجموعات بيانات كبيرة مثل Places365 وImageNet. تشمل التطبيقات مراقبة الأمان، والواقع المعزز والافتراضي (الواقع المعزز والواقع الافتراضي) لتجارب غامرة، والروبوتات للوعي البيئي، والمركبات الذاتية القيادة للملاحة. على الرغم من التقدم، فإن مشاكل مثل تغير وجهات النظر، والاحتجازات، وتغير الإضاءة تجعل من التعرف على المشاهد موضوعا ساخنا في أبحاث الرؤية الحاسوبية والذكاء الاصطناعي. مشكلة أساسية أخرى في رؤية الحاسوب هي التعرف على المشاهد.

تم اقتراح نموذج EnsCaption، وهو نموذج شبكة عدائية توليدي مزدوج، لتحسين تقنية التجمع بين التوليد والاسترجاع³. يتيح هذا التصميم طرق ترجمة الصور المتناغمة القائمة على الإنجاب، والتي تولد تعليقات تتماشى مع الأهداف القائمة. بينما تستخدم تقنية الاسترجاع نموذجا يعتمد على الموقع أو التصنيف لاختيار أفضل نموذج لاستخراج المعلومات بدقة أكبر من النماذج الأخرى في الاستعلام المعتمد على الصور. تم تقديم تحويل الصور إلى "فضاء المعنى" باستخدام مكونات بصرية مثل الأشياء والأنشطة والمشاهد، والتي تم محاذاتها بعد ذلك مع القوالب اللفظية المقابلة⁴. باستخدام الارتباطات والصفات الموجودة في الصور، يقوم النهج ببناء العبارات. تعبر الجمل عن المعلومات بطريقة غنية ومختصرة ودقيقة. تم تعزيز توليد الترجمة المعتمدة على القوالب من خلال دمج المعرفة المنطقية لتحسين الفهم الدلالي⁵. وسعت هذه التقنية نطاق القالب إلى ما هو أبعد من خصائص الصورة المباشرة ليشمل الارتباطات المستنتجة. يستخدم هذا العمل مجموعة بيانات اكتشاف الكائنات الموجودة لاستخراج 16,000 عبارة منطقية لكل فئة مشروحة. بالإضافة إلى ذلك، تم تحقيق التعميم باستخدام WordNet، مما أتاح استنتاج عدد كبير من الحقائق حول كائنات لم تر سابقا⁶. يقدم مراجعة لتصنيف منظم لتقنيات التعلم العميق لترجمة الصور، بما في ذلك مواضيع مثل آليات الانتباه، وتكتيكات التعلم التعزيزي، وأطر الترميز وفك الترميز. إلى جانب معالجة قضايا مثل هلوسة الأشياء وفهم السياق، يفحص أيضا مجموعات البيانات الشائعة الاستخدام ومعايير التقييم. يشير المؤلفون إلى مجالات للدراسة الإضافية، مثل تحسين تقنيات التدريب المسبق للرؤية واللغة وتقليل تحيز مجموعات البيانات. تم استكشاف نهج تحليل دلالي قائم على الشبكات العصبية الالفافية والشبكات العصبية المتكررة لمهام ترجمة الصور⁷. تعد ترجمة الصور من أشهر الاستخدامات، حيث تتيح لأجهزة الكمبيوتر إنتاج عبارات مؤثرة تجسد الصورة. لتقديم أوصاف دلالية عالية المستوى وذات دلالة، يتطلب هذا الإجراء أكثر من مجرد تحديد الأشياء والمشاهد؛ كما يتضمن فحص حالتهم وخصائصهم وتفاعلاتهم. على الرغم من التعقيد والصعوبة المتأصلة في ترجمة الصور، حقق الأكاديميون تقدما ملحوظا في هذا المجال. التقنيات الثلاث الرئيسية لترجمة الصور المعتمدة على الشبكات العصبية العميقة التي تغطيها هذه الدراسة هي أطر التعلم المعتمدة على CNN-RNN، وCNN-CNN، وأطر التعلم التعزيزي. تم تقديم نموذج قابل للتدريب من الطرف إلى الطرف لترجمة الصور، يدمج الرؤية الحاسوبية ومعالجة اللغة الطبيعية لتوليد أوصاف متماسكة^{للصور 8}. لإنشاء تعليق، يستخدم إطار عمل مشفر-مفكك حيث يقوم جهاز LSTM بفك ترميز الصورة إلى سلسلة كلمات بعد أن يقوم CNN المدرب مسبقا بترميزها إلى متجه ميزات. على الرغم من عيوبها، بما في ذلك صعوبات التعامل مع المناظر المعقدة، فإن مساهمة الورقة في مهام اللغة البصرية لا تزال أساسية⁹.

ريزنت هي الشبكة العصبية الالتفافية (CNN) المستخدمة في نموذج ترجمة الصور المقترح لاستخراج معلومات بصرية غنية من الصور المدخلة. يعمل ResNet كمشفر لإنتاج متجه ميزات يمثل الصورة، وهو ما يستخدم عادة في بنية المشفر-مفكك. يستقبل جهاز فك الترميز هذه الميزات وغالبا ما يتم تنفيذه باستخدام شبكة عصبية متكررة (RNN)، مثل LSTM أو GRU. يمكن إضافة آلية انتباه لتحسين الأداء من خلال تمكين جهاز فك التشفير من التركيز على مناطق محددة من الصورة أثناء توليد كل كلمة. لتعظيم دقة الترجمة، يتم تدريب النموذج من البداية إلى النهاية باستخدام دالة خسارة مثل الإنتروبيا المتقاطع ومجموعة بيانات مثل COCO. يمكن للتعلم التحويلي وضبط ResNet تحسين استخراج الميزات، مما يقوي النموذج أكثر ويمكنه من إنتاج تعليقات عالية الجودة ومناسبة للسياق عبر مجموعة واسعة من الصور. في ترجمة الصور، غالبا ما يفضل ResNet على النماذج الأخرى لأنه يعالج بفعالية مشكلة تدرج الاختفاء، وهي مشكلة شائعة في الشبكات العصبية العميقة. ويتم ذلك بفضل أساليبه الجديدة للتعلم المتبقي، التي تدرب شبكات أعمق بكثير دون التضحية بالأداء من خلال استخدام اتصالات تخطي لتسهيل تدفق التدرج أثناء الانتشار العكسي. يرتبط البيرسيبترون متعدد الطبقات، وهو شبكة عصبية متقدمة متصلة بالكامل، بالطبقة القابلة للتدريب. ثم يقوم RNN بفك ترميز الترجمة باستخدام طبقة softmax، مما ينتج تعليقات مرشحة. دالة التنشيط هي f(x)، دالة الهوية الأمامية هي f(x) + x، وتعتبر x هوية، كما هو موضح في الشكل 1. في هذه الحالة، يستخدم النظام الكتل المتبقية لمعايرة النموذج أثناء التدريب، وتمر مدخلاته عبر كل من وصلات الوزن واتصالات التخطي، والمعروفة أيضا باسم اختصارات الهوية.

الشكل 1: شبكة اتصال متبقية. يوضح هذا الشكل بنية الشبكة المتبقية، مسلطا الضوء على الاتصالات التي تحسن تدفق التدرج وتقلل من التدرجات المتلاشية أثناء تدريب الشبكة العميقة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

افترض أن P_l هو المخرج؛ L هو رقم من الكتل المتبقية؛ من المفترض أن تكون ReLU كتلة تقليدية إذا كانت قريبة من 1، ولكن إذا لم تكن تساوي 1، فيمكن حسابها كالتالي:

(1)

هنا، b هو المتغير العشوائي، وk هو دالة التحويل.

(2)

هنا يعتبر s_l كاحتمال بقاء النظام المقترح؛

(3)

القاعدة الناتجة لاحتمال البقاء على قيد الحياة هي؛

(4)

حيث من المفترض أن يكون S_L على احتمال البقاء وكذلك L هو الرقم الإجمالي لا. من الكتل.

الترجمة التوضيحية للصور مهمة صعبة تجمع بين معالجة اللغة الطبيعية والرؤية الحاسوبية لإنتاج تعليقات نصية وصفية للصور. للقيام بذلك، يجب فهم وتفسير المحتوى البصري للصورة وترجمته إلى جمل متماسكة ضمن سياقها. في هذا المجال، وجود مجموعات بيانات واسعة ومتنوعة أمر بالغ الأهمية لتقييم النماذج والتدريب. تقدم هذه المجموعات مجموعة واسعة من الصور والتعليقات التوضيحية ذات الصلة، وهي ضرورية لتطوير واختبار خوارزميات ترجمة الصور. أكثر مجموعات البيانات استخداما هي MSCOCO وFlickr30k، والتي تحتوي على ملايين الصور وتطرح تحديات متنوعة في معالجة الصور. MSCOCO أكبر بكثير من Flickr30k11. تم تقسيم مجموعة بيانات MS COCO إلى المجموعات التالية: 82,783 صورة للتدريب، 40,504 للتحقق من الصحة، و40,775 للاختبار.

Protocol

تم تنفيذ النموذج الرئيسي وهو ResNet-152، مع مشفر كCNN، وفك ترميز ك RNN، وموارد جدول المواد.

ريزنت-152
يعتبر ResNet العمود الفقري لاستخراج الميزات بشكل أكثر كفاءة في ترجمة الصور. قدم ريزنت أداء تدريبيا أفضل من النماذج الأخرى، حيث عالج مشكلة التدرج الاختفائي وحلها بكفاءة. قد تظهر أشياء مختلفة في الصور، ويحتاج النموذج إلى فهم علاقاتها لتحسين الترجمة. لهذا السبب يمكن اعتباره استخراجا هرميا للميزات. يمكن ل ResNet-152 التعامل مع مهام رؤية الحاسوب المعقدة. الميزة الرئيسية لهذا النموذج هي الاستخدام الفعال للاتصالات المتبقية أو التخطي. وهو فعال للغاية في معالجة مشكلة تدرج التدرج المتلاشي. يمكنه تعلم ميزات معقدة وقوية لتحقيق دقة أعلى. اتبع ريزنت-152 تصميم عنق زجاجة يقلل من التكلفة الحسابية وجعله أكثر فعالية من البنى الأخرى مثل VGG-16. يمتلك عمودا أساسيا بارزا في تعلم النقل، مناسب للنماذج المدربة مسبقا والمهام المتنوعة مثل اكتشاف الكائنات وتقسيم البيانات. رابط التخطي سرع التدريب وجعله أكثر استقرارا. مقارنة بالنموذج القائم على المحولات، الذي يستخدم آلية الانتباه الذاتي لفهم البيانات التسلسلية، فإن ResNet مختلف تماما. يتطلب نموذج المحول كمية كبيرة من البيانات لفهم عميق للبيانات النصية، مما ينتج نتائج فعالة لكنه يعمل بشكل أبطأ قليلا. الدافع وراء اختيار ResNet هو اتصالات التخطي التي تسرع التنفيذ مع تحسن كبير في النتائج. في مجال ترجمة الصور، يستخدم ResNet لاستخراج الميزات التي تمثل الكائن والإجراء الذي يتم في الصورة. استخدم ريزنت شبكة متبقية تستفيد من اتصالات التخطي. هنا، يمكن حساب الكتلة المتبقية بالرجوع إلى المدخل Z كما يلي:

(5)

حيث يعتبر Z مدخل الكتلة المتبقية.
هي دالة متبقية تتضمن تطبيع الدفعات، وطبقات الالتفاف، وتنشيط ReLu. {x_i} يعتبر وزن التعلم للطبقات المقابلة. Z أيضا يعرف هوية الاتصال بتخطي، والتي تحل أيضا مشكلة التدرج الاختفي. يستخدم ResNet عادة كأداة لاستخراج الميزات لرسم خرائط الميزات البصرية من الصور. هنا، يعتبر I كصورة إدخال لتمثيل خرائط الميزات إلى تمثيل الميزة البصري العالي V.

(6)

قبل استخراج الميزات، يجب معالجة الصورة مسبقا لتحسين استخراج الميزات. تعتبر صورة خام تم جمعها من معيار MSCOCO، لذا فإن الخطوة الأولى في المعالجة المسبقة هي إعادة حجمها وتطبيعها.

(7)

(8)

حيث H^l هو ارتفاع الصورة وW^l هو وزن الصورة. الصورة التي_{أعد تحجمها}.

لتطبيع قيمة البكسل من النطاق [-1، 1] أو [0، 1]

(9)

حيث يعتبر μ كقيمة متوسطة للبكسل σ يعتبر الانحراف المعياري للصورة المشار إليها. يتم الآن معالجة الصورة المعادية بشكل إضافي لاستخراج الميزات.

(10)

حيث يعتبر متجه الميزة. عندما يتم تحويل ترجمة الصف، يتم تحويلها إلى الشكل الرقمي.

(11)

إذا انقسم التعليق إلى كلمات إذا

(12)

هنا، تلعب المفردات دورا مهما، حيث يتم تحديد كل كلمة بشكل فريد من خلال الفهرسة الصحيحة.

(13)

حيث يعتبر V_c وظيفة مفردات؛ يجب التأكد من أن جميع التسلسلات لها طول متساوي؛ لذا يعتبر الارتفاع الأقصى أو الطول المثالي هو L_max.

(14)

الآن يتم تضمين الرموز كالتالي:

(15)

ل j = 1,2,3، ... ..، L_{كحد أقصى}

حيث يعتبر متجه مدمجا بأبعاد K؛ الآن يستخدم المفكك لفك ترميز الترجمة لإنشاء الترجمة المرشحة، والتي تعتمد على نموذج احتمالي.

(16)

حيث w_j هو عمل في ختم زمني j، w_{1: j-1} هو الكلمة المولدة في الطابع الزمني j-1 و e_j-1 هو الميزة المدمجة مع الكلمة السابقة wj-1. في كل طابع زمني، كانت الشبكة تتوقع الكلمة القادمة أو الاحتمال التالي الذي يتم حسابه عبر المفردات.

(17)

حيث w_الناتج هو وزن الخرج و b_هو انحياز الإخراج. لذا يتم حساب الاحتمال الأقصى كالتالي

(18)

يتم حساب الحد الأقصى لطول الترجمة المرشحة بمجرد استلام الكلمة <النهاية> أو تحديدها كرمز خاص مثل <ابدأ> و <نهاية>. البحث بالشعاع مفيد أيضا لاختيار الترجمة المرشحة الأفضل، لذا التسلسل هو:

(19)

(20)

لذا فإن الترجمة المرشحة المولدة هي تسلسل

تستخدم الذاكرة طويلة المدى قصيرة المدى عادة في توليد التسلسل. تستخدم LSTM شبكة CNN كأداة استخراج ميزات وتولد الكلمات بشكل متسلسل لإنشاء جمل ذات معنى. تحسب LSTM بوابة النسيان عند كل ختم زمني T.

حيث يعتبر f_t بوابة نسيان، σ تعتبر دالة تنشيط، وw_f كوزن وb_f كتحيز،

Y_T يعتبر متجه ميزة الإدخال، بينما يعتبر h_t-1 حالة مخفية.

(22)

(23)

يعتبر J_t كمدخ، ويعتبر حالة مرشحة، وw_j &_{w c} كوزن للمدخلات والحالة المرشحة على التوالي، وb j &_{b c} أو ينظر إليه كتحيز.

(24)

يعتبر C_t كحالة كلها، وC_t-1 يعتبر حالة سابقة.

(25)

O_t يعتبر مخرجا، w_o كوزن وb_o كتحيز. لتهيئة الحالات المخفية وحالة الخلية، تتطلب الحسابات التالية.

(26)

(27)

حيث يعتبر h_i و _{c i} كالحالة الخفية والحالة الخلوية على التوالي، وw_h و _{w c} هما أوزان لحالة الخلية الخفية والخلية الشراعية على التوالي، وb_c و _{b h} كتحيز، وk يعتبر مستخرج الميزات. يتم حساب تسلسل التعليق كما يلي:

(28)

حيث T هو طول الترجمة المكتملة.

254 × 254 × 3 هي الصورة المعاد حجمها أو معالجتها مسبقا، وتعتبر الصورة I كصورة الإدخال.

(29)

حيث يعتبر W و b كوزن وانحياز على التوالي، ويعتبر I كميزات إدخال، وReLU هي دالة التفعيل. وهو حساب الطبقة الالتفافية. الآن يمكن حساب طبقة التجميع كما يلي:

(30)

بعد الانتهاء من طبقة التجميع؛ يمكن تعيين الطبقة المتصلة بالكامل كما يلي:

(31)

حيث يعتبر w_f و b_f كوزن وانحياز للشبكة على التوالي.

(32)

(33)

حيث يعتبر N كمنطقة مكانية وd كبعد للميزة.

(34)

(35)

حيث يعتبر w_h و b_h كوزن وانحياز للحالة الخفية على التوالي، بينما يعتبر w_c و b_c وزن وتحيز لحالة الخلية على التوالي. يمكن إنشاء الترجمة التوضيحية كالتالي:

(36)

المشفر وفك الترميز
النظام المقترح يشفر البيانات للترجمة الآلية باستخدام شبكة CNN. في هذه الحالة، الإدخال والمخرج هما تسلسلان، لكن قد يختلفان في الطول. واحدة تلو الأخرى، تقوم الآلة بترميز وفك تشفير كل متجه. باستخدام متجه كنقطة بداية، تبدأ الآلة في الترميز وفك الترميز، وتستمر في الحساب حتى التوزيع الاحتمالي الشرطي النهائي. أحد الأمثلة هو كما يلي:

(37)

يعتبر هذا توزيع الاحتمال.

يمكن للنظام ترميز البيانات على شكل صورة متجهة، ويمكن لاحقا فك ترميزها. يعتبر fc_n (I) نموذج الصورة لفهم الصورة.

(38)

(39)

(40)

S₁ هو التكرار اللاحق ل S₀، وS₂ هو التكرار اللاحق ل S₁. يمكن القول إن كل مدخل يعتمد على مخرج الطبقة السابقة. يتم تحويل الصور إلى متجهات بواسطة CNN وترسل إلى الطبقة التالية، التي تعبر جميع المتجهات. هنا، يستخدم آلية انتباه لترتيب الكلمات بشكل متسلسل في جملة ذات معنى بعد أن يقوم RNN بفك رموز المتجهات إلى كلمات.

(41)

حيث T هو طول المدخل.

(42)

(43)

k₁، _{k 2}، k₃، k₄، ......، _{k t-1} هي حالات فك ترميز مخفية.

الشكل 2: نموذج الترميز وفك الترميز. يعرض هذا الشكل إطار عمل المشفر-فك التشفير المستخدم في ترجمة الصور، موضحا كيف يتم ترميز ميزات الصورة إلى تمثيلات متجهية ثم يتم فك ترميزها إلى أوصاف نصية متسلسلة. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

نموذج العملية
انظر الشكل 3، الذي يعرض مخطط تدفق وحدات التدريب، حيث تم تحميل مجموعة البيانات وتعليقات الحقيقة الأرضية أولا. بعد تطبيع البيانات لترميز CNN، يتم تهيئة نموذج ResNet وتدريبه باستخدام الميزات المستخرجة. يمكن بعد ذلك استخدام RNN والكلمات الخاصة بالنظام الموسوم بعلامات البداية والنهاية لفك ترميز الترجمة. يكمل النظام الاستخراج إذا تم العثور على الكلمة النهائية، وN هو إجمالي عدد الكلمات في الترجمة المرشحة.

الشكل 3: مخطط تدفق نموذج التدريب. يوضح هذا الشكل العملية خطوة بخطوة المتضمنة في تدريب النموذج، بما في ذلك معالجة البيانات المسبقة، واستخراج الميزات، وتعلم النموذج، والتحسين. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

يظهر مخطط تدفق نموذج الاختبار في الشكل 4، حيث يقوم النظام أولا بتحميل نموذج المشفر وفك الترميز، ثم يحمل نموذج ResNet وبيانات الإدخال لاستخراج الترجمة. إذا لم تحدث أي أخطاء في فك الترميز، يمكن إجراء الاستدلال من أول كلمة إلى آخرها. بعد الوصول إلى الكلمة النهائية، يمكن الحصول على كلمات مفككة، ويمكن إنشاء تعليق عن طريق استخدام آلية انتباه لترتيب الكلمات بشكل متسلسل بطريقة ذات معنى. حجم عارضة نموذج التدريب هو خمسة بطول أقصى 20، وحجم دفعته 128 مع 20 فترة من العارضة.

الشكل 4: مخطط تدفق نموذج الاختبار. يعرض هذا الشكل سير عمل الاختبار، موضحا كيف تتم معالجة الصور المدخلة عبر النموذج المدرب لإنشاء التعليقات وتقييم الأداء. يرجى الضغط هنا لعرض نسخة أكبر من هذا الشكل.

خوارزمية ترجمة الصور ResNet-152
قم بتهيئة معلمات الإدخال والإخراج، وهنا يؤخذ الإدخال كمجموعة صور MSCOCO ك I = (i₁, i₂, i₃, ....... i_N) مع التعليق J = (j₁, j₂, j₃, ......... ج_ن) ويتم حساب الناتج كترجمات. في الخطوة الأولى، يلزم الإدخال، ثم تعالج الصور مسبقا عن طريق تغيير نسبة العرض إلى الارتفاع كما يلي

(44)

حيث w و h هما العرض والارتفاع الأصليان للصورة، وw_جديد  وh_جديد هما الأبعاد المعاد حجمها، وT_s يعتبر حجم الهدف المحدد مسبقا (T_s = 224)، وmax(w, h) يحدد أكبر بعد، والذي تم تكبيره للحفاظ على نسبة العرض إلى الارتفاع.

بعد استخراج الميزات، يطلب إعلان كتلة الهوية ك

(45)

ثم تهيئة المعلمات مثل حجم الدفعة، عدد الحقبة، W_{المخفية} كوزن للطبقات المخفية، W_مخرجات كطبقة الإخراج، _{وB ارتفاع} وB _كتحيز. بمجرد الانتهاء من التهيئة، يطلب حساب مخرج الطبقة الالتفافية.

(46)

يمكن اعتبارها كتلة ReLU عادية إذا كان b_l يعادل 1. ولكن إذا لم يكن b_l مساويا ل 1 أو يعادل 0، فسيكون كذلك؛

(47)

ثم احسب جدوى البقاء بواسطة

(48)

حيث يعتبر F_K جدوى بقاء النظام، ويعتبر K يمثل العدد الكلي للكتل في النموذج. ثم نحسب توزيع الاحتمالات

(49)

بمجرد حساب توزيع الاحتمال، يبني النموذج للوصول إليه وفك تشفير البيانات المستخدمة.

/9500

k₁، _{k 2}، k₃، k₄، ......، _{k t-1} هي حالات فك ترميز مخفية.

عند الوصول إلى النموذج، يطلب تطبيق آليات الانتباه لإنشاء الترجمة التي تقيم الترجمة المرشحة مقابل الترجمة المرجعية؛ يمكن بعد ذلك تقييم المقاييس النهائية باستخدام BLEU وMETEOR وCIDEr وROUGE.

Results

مواصفات البرمجيات والبيئة
كانت بايثون 3.10 هي لغة البرمجة الرئيسية المستخدمة في التجارب. تم استخدام كود فيجوال ستوديو لإعداد بيئة التطوير (VS Code). تشمل المكتبات المهمة المستخدمة في هذا البحث Pickle لتسلسل البيانات، والمعالجة المتعددة للمعالجة المتوازية، وGlob لمعالجة الملفات، وPyTorch لتطوير نماذج التعلم العميق. تضمن تكوين الأجهزة 256 جيجابايت من التخزين، و8 جيجابايت من الذاكرة، وبطاقة رسومات من سلسلة NVIDIA GTX مع دعم CUDA للحوسبة السريعة. تم استخدام حاسوب يعمل إما بمعالج AMD Ryzen 5000 أو معالج In...

Discussion

في مجال الذكاء الاصطناعي، يعد كتابة الصور مهمة صعبة. لقد كانت ترجمة الصور موضوعا للعديد من الدراسات، ولا تزال الترجمة الحادة أو الدقيقة تتطلب أعلى مستوى من الدقة. يمكن استخدام العديد من تقنيات تعلم الآلة لتحقيق هدف الترجمة التوضيحية للصور، وقد استخدمت العديد من الدراسات CNN وRNN وResNet-152. ومع ذلك، فإن زيادة الدقة وتقليل وقت المعالجة ضرورية. النظام المقترح مبني باستخدام CNN كمشفر، وRNN كجهاز فك الترميز، وTorch Vision كمكتبة، وResNet كنموذج تدريب أساسي. يستخدم ResNet تقنية تخطي الاتصال ...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
AMD Ryzen 5000 series	AMD	100-100000059WOF	سلسلة AMD Ryzen 5000 هي مجموعة من المعالجات عالية الأداء التي طورتها AMD، وتستند إلى بنية Zen 3. تُستخدم هذه المعالجات على نطاق واسع في أجهزة الكمبيوتر المكتبية والمحمولة لكل من الحوسبة العامة والمهام المتطلبة مثل معالجة البيانات وورش عمل التعلم الآلي.
GPU	NVIDIA	4.71933E+12	NVIDIA GeForce GTX هي سلسلة من وحدات معالجة الرسومات (GPUs) التي طورتها NVIDIA، وتستخدم على نطاق واسع للألعاب وكذلك مهام الحوسبة العامة مثل التعلم العميق ومعالجة الصور.
Intel Core i5	Intel	BX8071514400F	Intel Core i5 هي سلسلة معالجات متوسطة المدى طورتها Intel، وتستخدم على نطاق واسع في أجهزة الكمبيوتر الشخصية لكل من المهام العامة والحسابية.
Python 3.10	Python Software Foundation	PEP 619	Python هي لغة برمجة تفسيرية عالية المستوى تستخدم على نطاق واسع في الحوسبة العلمية، وتحليل البيانات، والتعلم الآلي. وهي معروفة ببساطتها، وقابليتها للقراءة، والنظام البيئي الشامل من المكتبات.
PyTorch	Facebook	26.03-py3	PyTorch هو إطار عمل تعلم عميق مفتوح المصدر طورته Meta Platforms (سابقًا Facebook)، ويستخدم على نطاق واسع لبناء وتدريب الشبكات العصبية في البحث والصناعة.
Visual Studio Code	Microsoft	None	Visual Studio Code (VS Code) هو محرر كود خفيف الوزن ومفتوح المصدر طورته Microsoft. ويستخدم على نطاق واسع لتطوير البرمجيات، بما في ذلك مشاريع التعلم الآلي والتعلم العميق.
Windows 11	Microsoft	KB5083631	Windows 11 هو نظام تشغيل طورته Microsoft، ويستخدم على نطاق واسع للحوسبة العامة وكذلك مهام تطوير البرمجيات والتعلم الآلي.