البيانات هي واحدة من أكثر السلع قيمة في العالم ، وليس من الصعب معرفة السبب. من التسويق إلى علم الجينوم ، يؤدي تحليل مجموعات كبيرة من البيانات إلى نماذج تنبؤية تؤدي إلى نتائج إيجابية للأعمال. كلما زادت البيانات التي تستخدمها ، كانت تلك النماذج أفضل ، مما يعني أنها يمكن أن تنتج نتائج أفضل.بالطبع ، هذا يعني أن نقل البيانات من مكان إلى آخر هو مهارة مهمة يجب أن يمتلكها أي مهندس ، ولكنها ليست دائمًا بالسهولة التي تبدو عليها.
على سبيل المثال ، إذا كنت تستخدم تخزين حاوية AWS S3 ، فإن نقل البيانات إلى حاوية S3 أخرى هو أمر CLI واحد ،
aws s3 cp s3: // SourceBucket /s3: // DestinationBucket /يتطلب نقل هذه الملفات نفسها إلى مزود سحابي مختلف ، مثل Microsoft Azure أو Google Cloud Platform ، أداة مختلفة تمامًا.
بنهاية هذا البرنامج التعليمي ، ستتمكن من مزامنة الملفات من حاوية AWS S3 إلى حاوية تخزين Azure blob باستخدام rclone ، وهي أداة مزامنة بيانات مفتوحة المصدر تعمل مع معظم موفري السحابة والملفات المحلية الأنظمة.
المتطلبات الأساسية
للمتابعة ، ستحتاج إلى ما يلي:
- دلو AWS S3
- حاوية تخزين blob Azure
- مفاتيح وصول AWS ومفاتيح الوصول إلى حساب تخزين Azure
- كمبيوتر يعمل بأي نظام تشغيل حديث
- نسخ بعض الملفات
لقطات الشاشة من Windows 10 مع WSL
كيفية إعداد rclone
يختلف تثبيت rclone لكل نظام تشغيل ، ولكن بمجرد تثبيته ، تكون التعليمات هي نفسها: قم بتشغيلrclone config
سيطالبك تشغيل أمر التكوين بربط حسابات موفري السحابة بـ rclone. مصطلح rclone لهذا هو بعيد. عند تشغيل الأمر config ، أدخل
لإنشاء جهاز تحكم عن بعد جديد. ستحتاج إلى واحد لكل من AWS و Azure ، ولكن هناك العديد من المزودين الآخرين للاختيار من بينهم أيضًا.
أزور
بعد اختيار تخزين Azure blob ، ستحتاج:
- اسم لجهاز التحكم عن بعد. (في هذا العرض التوضيحي ، إنه "Azure".)
- اسم حساب التخزين
- أحد مفاتيح الوصول إلى حساب التخزين
ستتم مطالبتك بعنوان URL لتوقيع الوصول المشترك ، وعلى الرغم من أنه من الممكن الإعداد باستخدام ذلك ، فإن هذا العرض التوضيحي يستخدم فقط مفتاح الوصول. بعد إدخال الافتراضي لبقية القيم عن طريق الضغط على Enter خلال بقية الإعداد ، يجب أن تكون قادرًا على البدء في استخدام جهاز التحكم عن بُعد.
لسرد أجهزة التحكم عن بعد التي تم تكوينها على نظامك ، أدخل
rclone listremotes
، والتي ستعرض أجهزة التحكم عن بعد المتاحة. يمكنك أيضًا سرد أي حاويات تخزين blob عن طريق تشغيل
rclone lsd:
تأكد من تضمين
:
في نهاية جهاز التحكم عن بُعد عند تشغيل هذه الأوامر لأن هذه هي الطريقة التي يحدد بها rclone ما إذا كنت تريد استخدام جهاز تحكم عن بعد أم لا. يمكنك تشغيل
rclone --helpفي أي وقت للحصول على قائمة الأوامر المتاحة.
استخدام الأوامر
ls
و
catمع جهاز تحكم عن بعد rclone.
AWS S3
يعد إعداد جهاز التحكم عن بُعد لحاوية S3 مشابهًا جدًا لحاوية تخزين البيانات الثنائية الكبيرة Azure ، مع بعض الاختلافات الصغيرة فقط. نظرًا لوجود موفري تخزين سحابي آخرين يعتبرون متوافقين مع S3 بواسطة rclone ، فقد تحصل أيضًا على بعض المطالبات الإضافية عند تشغيل
rclone configستحتاج:
- اسم لجهاز التحكم عن بعد. (في هذا العرض التوضيحي ، إنه "AWS.")
- مفتاح وصول AWS ومفتاح الوصول السري المقابل
- منطقة AWS التي توجد بها الحاوية
يمكن تكوين بقية المطالبات لإنشاء مجموعات أخرى أو إجراء عمليات أخرى ، ولكن للنسخ ، يمكنك تخطي بقية المطالبات بالضغط على Enter.
إذا كان لدى المستخدم الذي تنتمي إليه مفاتيح الوصول حق الوصول إلى الحاوية ، فسيكون لديك حق الوصول إليها بنفس الأوامر التي استخدمتها للوصول إلى جهاز التحكم عن بُعد في Azure.
يمكنك تأكيد نوع جهاز التحكم عن بعد عن طريق إضافة علامة
- long
إلى الأمر
rclone listremotes.
تشغيل rclone
الآن بعد أن تم تكوين أجهزة التحكم عن بعد ، يمكنك نقل الملفات أو إنشاء مجموعات جديدة أو معالجة الملفات بأي طريقة تريدها باستخدام مجموعة قياسية من الأوامر. بدلاً من الاعتماد على معرفة كيفية العمل مع AWS S3 CLI أو Azure PowerShell ، يمكنك التواصل بين كلتا دلاء التخزين باستخدام rclone.
بعض الأوامر المفيدة الشائعة للبدء هي:
-
rclone tree:- يسرد محتوى المجموعة في شكل شجرة. أضف علامة-Cلإضافة لون إلى الإخراج. -
rclone size:-عرض عدد الملفات في الحاوية وحجمها الإجمالي. -
rclone sync-يجعل الهدف يطابق المصدر ، لكنه يعدل الهدف فقط. يمكن أن يكون المصدر والهدف إما مسارات ملفات محلية أو مسارات بعيدة rclone. أضف علامة-Pلعرض التقدم بشكل تفاعلي.
في المثال التالي ، تتم مزامنة حاوية AWS S3 مع جهاز التحكم عن بُعد Azure ، والذي يحذف الملف الحالي في Azure ثم ينسخ البيانات من S3. إذا كنت بحاجة إلى الاحتفاظ بالملفات في المجلد الهدف ، فاستخدم الأمر
rclone copyto.
ملخص
الآن ، يجب أن تكون مرتاحًا لتثبيت rclone وتكوين أجهزة التحكم عن بُعد ، بالإضافة إلى استخدام أجهزة التحكم عن بُعد هذه لنسخ البيانات بين السحب المختلفة. تعد rclone أداة مرنة للغاية ولا تقتصر فقط على AWS و Azure ، لذلك إذا كنت تستخدم مزودًا سحابيًا آخر ، فحاول إعداد أجهزة التحكم عن بُعد لهم أيضًا.
