การถ่ายโอนไฟล์ขนาดใหญ่

การถ่ายโอนไฟล์

ถ่ายโอนไฟล์ขนาดใหญ่ไปยังการเสร็จสิ้นด้วยขั้นตอนการทำงานแบบเดียวกัน

ไม่มีขนาดไฟล์เดียวที่กำหนดไฟล์ขนาดใหญ่ แม้ไฟล์ 500 MB สามารถกลายเป็นภาระการถ่ายโอนที่มีนัยสำคัญเมื่อต้องส่งไฟล์เดียวกันซ้ำแล้วซ้ำอีกหรือข้ามเครือข่ายที่ไม่เสถียร ด้วยวิดีโอที่มีขนาดหลายสิบ GB, ข้อมูลการวิจัยในร้อยกิโลไบต์ และชุดข้อมูลในระดับเทราไบต์ เวลาการถ่ายโอนและค่าใช้จ่ายของการส่งซ้ำหลังจากความล้มเหลวจึงเพิ่มขึ้นมากหรือ

การถ่ายโอนไฟล์

การถ่ายโอนไฟล์ขนาดใหญ่เริ่มต้นด้วยภาระการถ่ายโอน ไม่ใช่ขนาดไฟล์ที่ระบุ

ไฟล์ 500 MB อาจธรรมดาในสภาพแวดล้อมหนึ่ง แต่การส่งไฟล์เดียวกันซ้ำแล้วซ้ำอีกไปยังไซต์ระยะไกลหรือถ่ายโอนข้ามเครือข่ายที่ไม่เสถียรสามารถเปลี่ยนการถ่ายโอนเองให้เป็นภาระการดำเนินการ เมื่อไฟล์โตขึ้นจากหลายสิบหรือหลายร้อยกิโลไบต์เป็นเทราไบต์ เวลาการถ่ายโอน การมองเห็นความคืบหน้า การส่งซ้ำหลังความล้มเหลว การใช้เครือข่ายระยะไกล และการยืนยันการเสร็จสิ้นในที่สุดทั้งหมดมีความสำคัญมากขึ้น

ดังนั้น Large File Transfer จึงเกี่ยวข้องน้อยกว่าเรื่องการสลับไปยังผลิตภัณฑ์ที่แตกต่างกันเหนือเกณฑ์ขนาดที่กำหนด และเกี่ยวข้องมากขึ้นเรื่องการขยายความสามารถในการโอนย้ายที่ต้องการภายในสถาปัตยกรรมแบบเดียวกันเมื่อขนาดไฟล์และความต้องการเชิงปฏิบัติการเพิ่มขึ้น INNORIX ดำเนินการเคลื่อนย้ายข้อมูลขนาดใหญ่โดยอิงจากไม่เพียงขนาดไฟล์เท่านั้น แต่ยังรวมถึงระยะเวลาการถ่ายโอนจริง ค่าใช้จ่ายในการกู้คืน สภาพเครือข่าย และความถี่ของการถ่ายโอน

การถ่ายโอนไฟล์

ถ่ายโอนไฟล์ดั้งเดิมโดยตรงจากแหล่งไปยังเป้าหมาย

การแยกไฟล์ขนาดใหญ่หรือบีบอัดก่อนการถ่ายโอนแล้วรวมกลับหรือแยกออกในเป้าหมายจึงสร้างงานเตรียมการและการฟื้นตัวเหนือการถ่ายโอนเอง เมื่อไฟล์มีขนาดใหญ่ขึ้น ขั้นตอนด้วยตนเองเหล่านี้จึงเพิ่มความซับซ้อนไม่เพียงแค่เวลาการถ่ายโอนเท่านั้น แต่ยังรวมถึงขั้นตอนการดำเนินการและการยืนยันผลลัพธ์

INNORIX ให้คุณสามารถเลือกไฟล์ดั้งเดิมที่แหล่งที่มาและถ่ายโอนไปยังเป้าหมายได้โดยตรง ในกรณีที่경로การถ่ายโอนอนุญาต การควบคุมและ Monitoring จะได้รับการจัดการโดย Platform ขณะที่ Data Movement จริงจะสร้างขึ้นระหว่างแหล่งที่มาและเป้าหมายที่จำเป็น เพื่อลดสถาปัตยกรรมที่ย้ายข้อมูลขนาดใหญ่เดียวกันซ้ำแล้วซ้ำอีกผ่านเซิร์ฟเวอร์ Intermediate หรือ Shared Storage

การถ่ายโอนไฟล์

กู้คืนหยุดชั่วขณะและความล้มเหลวซ้ำๆ ภายในการถ่ายโอนเดียวกัน

ยิ่งไฟล์มีขนาดใหญ่ เวลาการถ่ายโอนสามารถทำงานได้นานขึ้น และค่าใช้จ่ายในการเริ่มต้นใหม่เมื่อมีสิ่งผิดพลาดจึงมีค่าใช้จ่ายมากขึ้น ข้าม WAN ระยะไกล ไซต์ระยะไกล และเครือข่ายที่ไม่เสถียร การเปลี่ยนแปลงการเชื่อมต่อหรือการสูญเสียแพ็กเก็ตอาจเกิดขึ้นหลายครั้งในระหว่างการถ่ายโอนครั้งเดียว การป้องกันหยุดชั่วขณะหนึ่งจากการกลายเป็นการส่งซ้ำทั้งหมดจึงมีความสำคัญต่อการลดเวลาการเสร็จสิ้นจริง

INNORIX รักษาสถานะการถ่ายโอนและใช้การดำเนินการต่อ การถ่ายโอนบางส่วน การลองใหม่ และการกู้คืนเพื่อให้การถ่ายโอนสามารถดำเนินการต่อจากจุดที่จำเป็นโดยอิงจากข้อมูลที่เสร็จสิ้นแล้ว หยุดชั่วขณะหลายครั้งจึงถูกจัดการเป็นส่วนหนึ่งของกระบวนการเสร็จสิ้นของการถ่ายโอนไฟล์ขนาดใหญ่เดียวแทนที่จะเป็นการถ่ายโอนใหม่ที่แยกจากกัน

การถ่ายโอนไฟล์

เปลี่ยนความสามารถในการโอนประสิทธิเน็ตเวิร์กและจัดเก็บให้เป็นแรงปะสิทธ์การถ่ายโอนไฟล์ที่แท้จริง

แม้มีแบนด์วิดท์เครือข่ายสูง การโอนย้ายไฟล์ขนาดใหญ่ก็อาจไม่สามารถใช้ความสามารถที่มีอยู่ได้อย่างเต็มที่ ปริมาณงานจริงที่ทำได้ถูกกำหนดร่วมกันโดยความหน่วงและ RTT การสูญหายของแพ็กเก็ต ประสิทธิภาพการอ่านของสตอเรจต้นทาง ประสิทธิภาพการเขียนของสตอเรจปลายทาง การรับส่งข้อมูลอื่น ๆ และวิธีการโอนย้าย

เมื่อเซสชันเดียวไม่สามารถใช้ความสามารถที่มีอยู่อย่างเต็มที่ INNORIX จึงใช้ Parallel Sessions และ Dynamic Concurrency และดำเนินการถ่ายโอนตามความสามารถในการประมวลผลของแหล่งที่มาและเป้าหมาย แทนที่จะดูตัวเลขเครือข่ายเดียว มันถือว่าการอ่านแหล่งที่มา → การประมวลผลการถ่ายโอน → เครือข่าย → การเขียนเป้าหมายเป็น경路ประสิทธิภาพแบบ End-to-End เดียว และเปลี่ยนความสามารถที่สามารถใช้ได้จริงให้เป็นแรงปะสิทธ์ไฟล์

การถ่ายโอนไฟล์

ดำเนินการความสามารถในการถ่ายโอนข้ามระยะไกล เครือข่ายหลายเครือข่าย และโครงสร้างพื้นฐาน Shared

ประสิทธิภาพจริงอาจแตกต่างกันอย่างมากระหว่างการโอนย้ายภายในดาต้าเซ็นเตอร์เดียวกันกับการโอนย้ายข้ามประเทศหรือข้ามทวีป แม้จะอยู่บนเครือข่าย 10 Gbps เดียวกันก็ตาม เมื่อระยะทางเพิ่มขึ้น RTT และการสูญหายของแพ็กเก็ตจะมีผลกระทบมากขึ้น และการเชื่อมต่อเพียงเส้นเดียวอาจไม่สามารถใช้แบนด์วิดท์ที่มีอยู่ทั้งหมดได้ เมื่อต้นทางและปลายทางมีอินเทอร์เฟซเครือข่ายหรือพาธหลายเส้น ความสามารถของการเชื่อมต่อหลายเส้นก็สามารถนำมาใช้สำหรับการเคลื่อนย้ายข้อมูลได้เช่นกัน

ในขณะเดียวกัน เครือข่ายขององค์กรก็ไม่ได้ถูกจัดสรรไว้สำหรับการโอนย้ายไฟล์เพียงอย่างเดียว แอปพลิเคชัน ฐานข้อมูล การสำรองข้อมูล และการรับส่งข้อมูลของผู้ใช้ต่างใช้เครือข่ายเดียวกัน ทำให้การจัดสรรความสามารถโดยรวมและการบริหารจัดการมีความสำคัญไม่น้อยไปกว่าความเร็วสูงสุดของการโอนย้ายแต่ละครั้ง INNORIX ใช้การโอนย้ายแบบคู่ขนาน การทำงานพร้อมกันแบบไดนามิก และการจัดการคิว เพื่อใช้ความสามารถที่มีอยู่ในสภาพแวดล้อมระยะไกลและเครือข่ายหลายระบบ พร้อมกับดำเนินการโอนย้ายหลายรายการภายในโครงสร้างพื้นฐานที่มีอยู่

การถ่ายโอนไฟล์

ขยายขนาดจากไฟล์ขนาดใหญ่เดียวไปยังการถ่ายโอนขนาดใหญ่หลายรายการและ Mixed Datasets

การถ่ายโอนไฟล์ขนาดใหญ่ไม่ได้หมายถึงการเลื่อนไฟล์เดียวเสมอไป ผู้ใช้หลายคนอาจส่งไฟล์ขนาดใหญ่พร้อมกัน เซิร์ฟเวอร์หลายเซิร์ฟเวอร์อาจส่งมอบชุดข้อมูลขนาดใหญ่ หรือชุดข้อมูลเดียวอาจประกอบด้วยหลายร้อยกิโลไบต์วิดีโอ ไฟล์ข้อมูลเมตาจำนวนมาก รูปแบบขนาดใหญ่ และไฟล์ที่สนับสนุน

INNORIX จึงจัดการไม่เพียงแค่แรงปะสิทธ์ของไฟล์ขนาดใหญ่เดียว แต่ยังรวมถึง Queue, Concurrency และความสามารถของแหล่งที่มาและเป้าหมายเมื่อการถ่ายโอนหลายรายการทำงานพร้อมกัน สำหรับชุดข้อมูลที่รวม Large File และ High-Volume characteristics การประมวลผลสามารถปรับให้เหมาะสมกับขนาดไฟล์และจำนวนไฟล์ขณะที่งานทั้งหมดจะถูกจัดการเป็น Run เดียว

การถ่ายโอนไฟล์

ติดตาม Progress, Integrity และ Final Results เป็นกระบวนการเสร็จสิ้นเดียว

เมื่อไฟล์หลายเทราไบต์ถูกถ่ายโอนในช่วงเวลายาวนาน การรู้เพียงว่ากระบวนการสิ้นสุดอาจไม่เพียงพอ ผู้ปฏิบัติการจำเป็นต้องรู้ว่าไฟล์แต่ละไฟล์ถูกถ่ายโอนไปเท่าใด Recovery เกิดขึ้นระหว่างการถ่ายโอนหรือไม่ และไฟล์ที่จำเป็นทั้งหมดสุดท้ายจะเสร็จสิ้นด้วยผลลัพธ์ที่คาดหวังหรือไม่

INNORIX จึงให้ความมองเห็นความคืบหน้าผ่าน Run และ File Status จัดการปัญหาระหว่างการถ่ายโอนผ่าน Recovery และให้ผู้ปฏิบัติการสามารถยืนยันสถานะขั้นสุดท้ายผ่าน File Result และ Receipt หลังการเสร็จสิ้น

การถ่ายโอนไฟล์

เชื่อมต่อการถ่ายโอนไฟล์ขนาดใหญ่ที่เกิดขึ้นซ้ำๆ ไปยัง ระบบอัตโนมัติ และ Flow

การถ่ายโอนไฟล์ขนาดใหญ่อาจเป็นการย้ายแบบ one-time หรือการส่งมอบชุดข้อมูลซ้ำทุกวันหรือทุกสัปดาห์ การถ่ายโอนไฟล์ขนาดใหญ่แบบเดียวกันควรสามารถเริ่มต้นไม่เพียงผ่านการดำเนินการด้วยตนเองใน Console เท่านั้น แต่ยังผ่าน Schedule, File Event, API หรือคำขอจาก workflow ที่มีอยู่ โดยเชื่อมต่อผลลัพธ์การเสร็จสิ้นกับกระบวนการทำธุรกิจถัดไป

INNORIX จึงใช้ Transfer Engine เดียวกันข้าม On Demand และ One-Time Transfer, Scheduled และ Event-Driven execution, API และ Flow นี่จึงเปลี่ยนการถ่ายโอนไฟล์ขนาดใหญ่จากงานด้วยตนเองแยกต่างหากไปเป็นความสามารถที่นำมาใช้ซ้ำได้สำหรับการเคลื่อนย้ายข้อมูลระดับ enterprise

การถ่ายโอนไฟล์

ใช้การถ่ายโอนไฟล์ขนาดใหญ่แบบเดียวกันจากเซิร์ฟเวอร์ไป Object Storage และ AI Compute

ไฟล์ขนาดใหญ่ไม่ได้เคลื่อนย้ายระหว่างเซิร์ฟเวอร์เท่านั้น การผสมผสานระหว่างต้นทางและปลายทางเปลี่ยนแปลงอยู่เสมอ ตั้งแต่การย้ายจากดาต้าเซ็นเตอร์ไปสู่คลาวด์ AI Dataset ที่ส่งจาก Object Storage ไปยังหน่วยประมวลผล ซอฟต์แวร์และมีเดียที่กระจายระหว่างสำนักงานใหญ่กับสาขา ไปจนถึงผลลัพธ์และ Checkpoint ที่ส่งกลับจากหน่วยประมวลผลไปยังสตอเรจ

อุตสาหกรรมและภาระงานอาจครอบคลุมตั้งแต่ Media/VFX, AI, การวิจัย, สาธารณสุข, งานวิศวกรรม, ข้อมูลภูมิสารสนเทศ และการสำรอง/จัดเก็บถาวร ไปจนถึงการผลิต แต่ความต้องการหลักยังคงเหมือนกัน คือ เคลื่อนย้ายไฟล์ขนาดใหญ่ รักษาการโอนย้ายที่ทำงานต่อเนื่องเป็นเวลานาน และตรวจสอบผลลัพธ์สุดท้าย INNORIX ใช้โมเดลการโอนย้ายแบบไฟล์ขนาดใหญ่ การดำเนินการต่อ การกู้คืน และผลลัพธ์แบบเดียวกันกับเอนด์พอยต์ประเภทต่าง ๆ และขยายความสามารถเดียวกันนี้ไปสู่การโอนย้ายแบบเซิร์ฟเวอร์ต่อเซิร์ฟเวอร์ Object Storage เว็บ การกระจาย และ AI Data Delivery

การถ่ายโอนไฟล์

เก็บรักษารูปแบบการถ่ายโอนและการดำเนินการแบบเดียวกันเมื่อขนาดไฟล์เพิ่มขึ้น

แทนที่จะสร้างสภาพแวดล้อมการถ่ายโอนแยกต่างหากสำหรับแต่ละขนาดไฟล์หรือ workload การถ่ายโอนไฟล์ขนาดใหญ่สามารถใช้รูปแบบการดำเนินการแบบเดียวกันกับการเคลื่อนย้ายข้อมูลอื่นๆ บน INNORIX Platform ไม่ว่าจุดเริ่มต้นจะเป็น Manual Transfer, Flow, API หรือ AI Platform Transfer Engine เดียวกันจะถูกใช้ และสถานะการดำเนินการและผลลัพธ์ยังคงมองเห็นได้ผ่าน Runs และ Monitoring, File Status และ Receipt

10 TB ไม่ใช่เกณฑ์ที่ไฟล์กลายเป็น large สำหรับ มันเป็นจุดหนึ่งใน Scale Test ที่ใช้เพื่อยืนยันว่า Transfer Architecture สามารถจัดการขนาดไฟล์ที่เพิ่มขึ้นในรูปแบบเดียวกันได้ไกลแค่ไหน ขึ้นอยู่กับสภาพแวดล้อมการดำเนินการ ภาระการถ่ายโอนอาจเริ่มต้นที่เพียงไม่กี่ร้อยเมกะไบต์เท่านั้น สิ่งที่สำคัญกว่าจำนวนที่ระบุคือว่า Transfer, Recovery และ Operation Model แบบเดียวกันสามารถรักษาไว้ได้เมื่อไฟล์มีขนาดใหญ่ขึ้น

การถ่ายโอนไฟล์

ขยาย Transfer Capability เมื่อขนาดไฟล์เพิ่มขึ้น

ถ่ายโอนไฟล์ดั้งเดิมตามที่เป็นอยู่จากไฟล์ทางธุรกิจที่มีหลายร้อยเมกะไบต์ไปยังชุดข้อมูลระดับเทราไบต์ ใช้ Parallel Processing เพื่อใช้ประโยชน์จากความสามารถเครือข่ายที่มีอยู่ และดำเนินการการถ่ายโอนแบบเดียวกันหลังจากหยุดชั่วขณะผ่าน Resume และ Recovery

ใช้ Large File Transfer แบบเดียวกันข้าม Servers, Cloud, Object Storage และ AI Compute เชื่อมต่องานที่เกิดขึ้นซ้ำๆ ผ่าน ระบบอัตโนมัติ และ Flow และยืนยันผลลัพธ์ขั้นสุดท้ายผ่าน Run และ Receipt