การถ่ายโอนไฟล์ปริมาณสูง

การถ่ายโอนไฟล์

ประมวลผลจำนวนไฟล์ก้อใหญ่อย่างรวดเร็วเป็นการถ่ายโอนเดียว

แม้ปริมาณข้อมูลรวมจะเท่ากัน ลักษณะของการโอนย้ายก็เปลี่ยนไปโดยสิ้นเชิงเมื่อจำนวนไฟล์เพิ่มขึ้น ไฟล์ขนาด 100 GB ไฟล์เดียวกับไฟล์ขนาด 100 KB หนึ่งล้านไฟล์อาจมีปริมาณข้อมูลใกล้เคียงกัน แต่เมื่อมีไฟล์ขนาดเล็กจำนวนมาก ไม่ใช่แค่ Network Throughput เท่านั้นที่ส่งผล การค้นหาไฟล์ การเปิด/ปิดไฟล์ Metadata การจัดการไดเรกทอรี การประมวลผลคิว การทำงานของ I/O ของระบบไฟล์ และผลลัพธ์การโอนย้ายแต่ละรายการ ก็ส่งผลอย่างมากต่อเวลาประมวลผลโดยรวมด้วย

การถ่ายโอนไฟล์

เมื่อจำนวนไฟล์เพิ่มขึ้น การประมวลผลไฟล์โดยรวมก็มีความสำคัญมากกว่าความเร็วของเครือข่ายเพียงอย่างเดียว

Large File Transfer และ High-Volume File Transfer แก้ไขปัญหาต่างกัน ไฟล์ขนาดใหญ่เดียวขึ้นอยู่กับ throughput ข้ามไฟล์เหล้าข้อมูลยาวและ Resume ที่จุดขัดจังหวะ ด้วยไฟล์เล็กจำนวนมาก ระบบจำเป็นต้องค้นหา เปิด อ่าน ถ่ายโอน สร้างที่เป้าหมาย ปิด และบันทึกผลลัพธ์สำหรับแต่ละไฟล์ เมื่อจำนวนไฟล์เพิ่มขึ้น ต้นทุนสะสมของการดำเนินการเล็กน้อยเหล่านี้สามารถกำหนดเวลาการถ่ายโอนทั้งหมด

สำหรับ High-Volume Transfer, เพียงแค่การเพิ่ม Gbps จึงน้อยสำคัญกว่าการเพิ่มความจุการประมวลผลที่ยั่งยืนของ File Processing Pipeline ทั้งหมด รวมถึง Source File System, Directory และ Metadata processing, Transfer Queue, Target Write และ File Result INNORIX ดำเนิน Network Transfer และ File Processing เป็นงาน High-Volume เดียวแทนที่จะถือว่าแยกต่างหาก

การถ่ายโอนไฟล์

ประมวลผลทุกอย่างจาก Discovery ไปถึง Final Result เป็น High-Volume Pipeline เดียว

High-Volume File Transfer เริ่มต้นก่อนไบต์แรกจะถูกส่ง ระบบต้องค้นหาไฟล์ใดที่มีอยู่ที่ Source เลือก File Set ที่ต้องการสำหรับงาน ประมวลผล Directory และ Metadata information และวางงานใน Queue ก่อนที่ Data Movement จริงจะเริ่มต้น ที่ Target, File creation, Write, Close และการบันทึกผลลัพธ์ยังซ้ำสำหรับทุกไฟล์

INNORIX ไม่ปล่อยให้ขั้นตอนเหล่านี้เป็นการดำเนินการ Pre- และ post-transfer ที่แยกต่างหาก จะดำเนินการ Complete Discover → Filter/Select → Queue → Transfer → Verify → File Result Pipeline สิ่งนี้อนุญาตให้ผู้ดำเนินการเห็นไม่เพียงแต่ Network Progress แต่ยังว่ามีเท่าใดของ Dataset ที่สมบูรณ์ได้รับการค้นพบและประมวลผล ไฟล์ใดที่สมบูรณ์ และไฟล์ใดที่คงเหลือ ทั้งหมดภายในบริบทของการถ่ายโอนเดียว

การถ่ายโอนไฟล์

ประมวลผลไฟล์ในแบบขนาน ขณะรักษา Original File และ Directory Structure

Bundling ไฟล์เล็กจำนวนมากเป็น Archive เดียวสามารถทำให้การถ่ายโอนง่ายขึ้น แต่เมื่อการจัดเก็บข้อมูลกลายเป็นขั้นตอนการถ่ายโอนพิเศษ ไฟล์ต้องได้รับการ Package หรือ Compress ที่ Source ก่อน จากนั้น Extract ที่ Target ตามด้วยการตรวจสอบผลลัพธ์ ในการวิจัย, Machine Vision, Media และ Software Packages ที่ Directory Structure เอง ยังคงมีความหมายภายในชุดข้อมูล สิ่งนี้สามารถกลายเป็นงานการดำเนินการแยกต่างหาก

INNORIX รักษา Original File และ Directory relationships ไว้ขณะประมวลผลไฟล์หลายไฟล์ในแบบขนานผ่าน Queue management และ Dynamic Concurrency จะลดการหน่วงเวลาสะสมของการส่งไฟล์ตามลำดับทีละรายการ ขณะหลีกเลี่ยงสมมติฐานที่ว่าการเปิดจำนวนไฟล์สูงสุดที่เป็นไปได้พร้อมกันนั้นเป็นทางเลือกที่ดีที่สุด แทนที่ Concurrency จะดำเนินการเพื่อให้เสร็จ Dataset ทั้งหมดอย่างเชื่อถือได้

การถ่ายโอนไฟล์

รักษาการประมวลผลที่ยั่งยืนภายในความจุของ Source และ Target

การเพิ่ม Concurrency อย่างต่อเนื่องไม่ได้ทำให้ High-Volume Transfer เร็วขึ้นเสมอไป การอ่านจาก Source File System และการประมวลผล Metadata การเขียนพร้อมกันไปยัง Target Storage, Disk I/O และทรัพยากรเครือข่ายอาจถูกใช้ร่วมกับภาระงานอื่น ๆ การเพิ่ม Concurrency มากเกินไปอาจกลับกลายเป็นการสร้างแรงกดดันที่ Queue และ Storage

INNORIX ดำเนินการงานโดยรวมผ่าน Queue และ Concurrency controls และปรับ Parallel Processing ตามเงื่อนไข Source, Target และ Network วัตถุประสงค์คือไม่ใช่การเรียกใช้จำนวนไฟล์ที่มากที่สุดในช่วงเวลาหนึ่ง แต่เพื่อรักษา File Processing Rate ที่ยั่งยืนภายในความจุของโครงสร้างพื้นฐานปัจจุบันขณะทำ Dataset ทั้งหมดเสร็จสมบูรณ์

การถ่ายโอนไฟล์

รักษาผลลัพธ์แต่ละรายการในไฟล์นับล้านและกู้คืนเพียงสิ่งที่จำเป็นเท่านั้น

ในการถ่ายโอน High-Volume, Overall Progress และ Average success rate เพียงอย่างเดียวอาจไม่บอกคุณว่างานจริงเสร็จสิ้นหรือไม่ หาก 1,284,389 ออกมา 1,284,392 ไฟล์ได้รับการส่ง Success rate อาจดูสูงมากขึ้น แต่การดำเนินการแล้วเป็นสิ่งสำคัญที่จะรู้ว่าไฟล์ใด 3 ไฟล์ล้มเหลวและว่าพวกเขาสามารถประมวลผลอีกครั้งได้หรือไม่

INNORIX รักษา Individual File Status ร่วมกับ Run โดยรวม Completed results จะถูกรักษาไว้ Interrupted transfers จะ Resume และไฟล์ที่จำเป็นในสถานะ Failed หรือ Partial เท่านั้นจะ Selectively Retried สิ่งนี้ทำให้ Recovery เป็นกระบวนการของการระบุไฟล์ที่ยังไม่สมบูรณ์และการทำให้ Dataset สุดท้ายเสร็จสิ้น แทนที่จะเรียกใช้ Dataset ทั้งหมดใหม่

การถ่ายโอนไฟล์

ตรวจสอบการส่งมอบที่สมบูรณ์ของ Dataset ที่จำเป็น ไม่ใช่เพียง Success Rate สูง

เมื่อจำนวนไฟล์มีจำนวนน้อย ความแตกต่างระหว่าง 99.99% และ 100% อาจดูเหมือนไม่มีนัยสำคัญ ในระดับขนาดใหญ่ อย่างไรก็ตาม แม้เปอร์เซ็นต์เล็กน้อยก็แทนจำนวนไฟล์จริงที่มีความหมาย 0.01% ของไฟล์หนึ่งล้านคือ 100 ไฟล์ และ 0.01% ของไฟล์ 100 ล้านคือ 10,000 ไฟล์ สำหรับ High-Volume Transfer, Average success rate เพียงอย่างเดียวจึงไม่เพียงพอเพื่อกำหนดว่างานเสร็จสิ้น

INNORIX แสดงความคืบหน้าโดยรวมใน Run ระบุขอบเขตที่ล้มเหลวผ่าน File Status และตรวจสอบผลลัพธ์สุดท้ายผ่าน Receipt หลังจาก Retry และ Recovery มาตรฐานความสมบูรณ์ของ High-Volume Transfer ไม่ใช่เพียงเปอร์เซ็นต์ความสำเร็จที่สูง แต่คือว่า File Set ที่ธุรกิจต้องการนั้นเสร็จสมบูรณ์ตั้งแต่ต้นจนจบจริงหรือไม่ และสามารถตรวจสอบผลลัพธ์ได้หรือไม่

การถ่ายโอนไฟล์

ส่งมอบ File Set ที่ต้องการพร้อม Directory Structure และ Filters ที่ยังคงไว้

High-volume Dataset มักเป็นมากกว่ารายชื่อไฟล์แบบง่าย Directory Structure เอง สามารถเป็นส่วนหนึ่งของข้อมูล ใน Research Datasets, Machine Vision, Media Projects และ Software Packages, Source Directory relationships อาจต้องยังคงเหมือนเดิมที่ Target เพื่อให้ Downstream systems สามารถใช้ข้อมูลได้ทันที

ในเวลาเดียวกัน การมีไฟล์นับล้านที่ Source ไม่ได้หมายความว่าไฟล์ทั้งหมดต้องเคลื่อนตัวเสมอ INNORIX เลือก Transfer targets โดย File Name, Extension, Directory และเงื่อนไขที่ต้องการ ขณะรักษา Original File และ Directory relationships ไว้ สิ่งนี้ทำให้สามารถเลือก File Set ที่จำเป็นต้องมีจริงสำหรับงานในระดับชุดข้อมูล และส่งมอบในโครงสร้างดั้งเดิมแทนที่จะจำลอง Source ทั้งหมด

การถ่ายโอนไฟล์

ขยาย One-Time Datasets เป็น Continuous Data Flows

High-Volume Data มักเกิดขึ้นอย่างต่อเนื่องแทนที่จะเพียงครั้งเดียว Machine Vision Images, Logs, Sensor Data, Research Results และ Media Assets สร้างไฟล์ใหม่ทุกวันหรืออย่างต่อเนื่อง ดังนั้นข้อมูลที่สร้างหลังจาก Migration เบื้องต้นอาจต้องส่งมอบซ้ำๆ ผ่าน Transfer Path เดียวกัน

INNORIX เริ่มต้นด้วย One-Time Dataset และเชื่อมต่อ Scheduled Transfer, File Event, API และคำขอภายนอกกับ Flow Model เดียวกัน ไฟล์ใหม่สามารถกรอง ประมวลผลผ่าน High-Volume Transfer และส่งคืนผลลัพธ์การเสร็จสมบูรณ์ไปยัง Next Flow หรือ Callback ขยาย Transfer เดียวกันจาก One-time bulk movement เป็น Continuous Data Delivery

การถ่ายโอนไฟล์

ใช้ High-Volume Transfer เดียวกันกับ Collection จาก Sources หลายรายและ Distribution ถึง Targets หลายราย

ไฟล์จำนวนมากไม่ได้นั้นเสมอสร้างขึ้นบน Server เดียว ข้อมูลอาจผลิตได้พร้อมกันทั่วทั้ง Factories, Branches, Devices และ Processing Servers ในทางกลับกัน Image Dataset, Software Package หรือ Media Asset หนึ่งอาจต้องแจกจ่ายไป Servers หรือ Compute Environments หลายราย

INNORIX เชื่อมต่อ High-Volume Transfer กับ N:1 Collection และ 1:N Distribution ใน Collection ระบบจะรักษาความสัมพันธ์ของไฟล์และ Path สำหรับแต่ละ Source ไว้ พร้อมแสดงว่าเก็บรวบรวมจากแต่ละ Source ไปแล้วเท่าใดและไฟล์ใดยังเหลืออยู่ ใน Distribution ระบบจะจัดการความคืบหน้าและผลลัพธ์ไฟล์สำหรับแต่ละ Target วิธีนี้ทำให้การประมวลผลระดับไฟล์แบบ High-Volume และเกณฑ์ความสมบูรณ์ระดับ Endpoint ของ Distribution & Collection ทำงานร่วมกันได้

การถ่ายโอนไฟล์

ใช้ High-Volume Operating Model เดียวกัน Across Servers, File Storage และ Object Storage

ไฟล์จำนวนมหาศาลไม่ได้ จำกัด เพียงแค่ Server เดียวหรือ File System เดียว High-Volume Data สามารถอยู่ได้ทั่วทั้ง Shared File Storage, Object Storage, Cloud, Data Centers, Branches และ Factories ใน Object Storage, Large numbers of Objects จะถูก Listed และ Filtered ก่อนที่จะประมวลผลผ่าน Queue และ Parallel Transfer แทนที่จะถูกจัดการเป็นไฟล์ File System

Discovery และ Access methods แตกต่างกันตามประเภท Storage แต่การดำเนินการแล้ว High-Volume Model เดียวกันสามารถนำไปใช้กับงานโดยรวม Individual File หรือ Object Results, Retry และสถานะการเสร็จสมบูรณ์สุดท้าย ไม่ว่าข้อมูลอยู่ที่ใด Discovery, Queue, Parallel Processing, Recovery และ Result เชื่อมต่อผ่าน Architecture Transfer เดียว

การถ่ายโอนไฟล์

เชื่อมต่อ Continuous High-Volume Movement สำหรับ AI และ Machine-Generated Data

AI และ Machine-Generated Data เป็นสภาพแวดล้อมตัวอย่างของ High-Volume Transfer Machine Vision สร้างไฟล์ภาพจำนวนมหาศาล AI Training Dataset อาจมีคอลเลกชันขนาดใหญ่ของภาพและ Label ส่วนใน Autonomous Systems, Sensor, งานวิจัย และ Digital Pathology ทั้งอัตราการสร้างไฟล์และจำนวนไฟล์ทั้งหมดส่งผลโดยตรงต่อ Transfer Architecture

INNORIX ใช้ High-Volume Transfer กับ Data Profiles เหล่านี้และเชื่อมต่อมันเมื่อจำเป็น กับ AI Data Delivery, Collection และ Automated Transfer High-Volume Transfer เอง เน้นไปที่การค้นหา ประมวลผล และกู้คืน Large numbers ของไฟล์จนกระทั่งผลลัพธ์สมบูรณ์ ขณะที่ Data Delivery ต่อ Compute, Collection และ Distribution ข้ามหลายรอบ Endpoints และ Execution automation รวมกันผ่าน Transfer Capabilities ที่สอดคล้องกัน

การถ่ายโอนไฟล์

ดู Everything จาก Dataset ทั้งหมด ลงไปถึงไฟล์แต่ละไฟล์ใน Run เดียว

เมื่อจำนวนไฟล์เพิ่มขึ้น การตรวจสอบ log บน Server แต่ละเครื่องโดยตรงไม่เพียงพอต่อการเข้าใจงานทั้งหมดอีกต่อไป ผู้ดำเนินการต้องเห็นก่อนว่า Dataset ทั้งหมดถูกประมวลผลไปแล้วเท่าใด จากนั้นเจาะลึกไปยัง Queue และไฟล์ที่ล้มเหลวเมื่อจำเป็น แล้วจึงกำหนดสถานะความสมบูรณ์สุดท้ายหลังจาก Recovery

INNORIX แสดงสถานะ Transfer โดยรวมและจำนวนไฟล์ที่ประมวลผลแล้วใน Run ให้ผลลัพธ์แต่ละรายการผ่าน File Status ประมวลผลงานที่เหลือผ่าน Queue และ Retry และยืนยันผลลัพธ์สุดท้ายผ่าน Receipt วิธีนี้สร้างโครงสร้างการดำเนินงานที่จัดการไฟล์นับล้านเป็นงานเดียว ในขณะที่ผู้ดำเนินการยังสามารถเจาะลึกไปยังระดับไฟล์แต่ละรายการได้เมื่อจำเป็น

การถ่ายโอนไฟล์

100 Million Files เป็นจุดของ Scale Validation ไม่ใช่คำนิยามของ High Volume

จุดที่ High-Volume Transfer กลายเป็นสิ่งจำเป็นไม่ได้ถูกกำหนดโดยจำนวนไฟล์เฉพาะ เวิร์กโฟลว์ที่มีอยู่อาจชะลอตัวลงด้วยไฟล์เพียงหลายพันไฟล์ ในขณะที่ Datasets และ Machine Data สามารถเติบโตไปเป็นไฟล์นับล้านหรือนับสิบล้าน คำถามสำคัญคือไม่ว่าไฟล์จำนวนเท่าใดจึงเข้าลักษณะ "high volume" แต่ว่า Discovery, Transfer, Recovery และ Result สามารถสตอปที่จะประมวลผลและดำเนินการในวิธีเดียวกันเมื่อจำนวนไฟล์เพิ่มขึ้น

100,000,000 Files ไม่ได้หมายความว่าลูกค้าแต่ละรายต้องดำเนินการใน Scale นั้น มันเป็นจุดหนึ่งใน Scale Test ที่ใช้เพื่อตรวจสอบว่า INNORIX High-Volume Transfer Architecture สามารถจัดการการเติบโตในจำนวนไฟล์จริงได้หรือไม่ ค่าของผลิตภัณฑ์ไม่ได้อยู่ในจำนวนเอง แต่ในการรักษา Transfer Model เดียวกันจาก Small Batches ไปเป็น Continuously generated Large-scale Datasets

การถ่ายโอนไฟล์

ดำเนินการ Thousands ถึง 100 Million Files เป็น Single High-Volume Transfer

แทนที่จะเปลี่ยนจำนวนไฟล์จำนวนมากเป็นเวิร์กโฟลว์ Archive แยกต่างหากเพื่อการถ่ายโอน ให้คงไว้ซึ่งโครงสร้างไฟล์และไดเรกทอรีดั้งเดิมและประมวลผลผ่าน Discovery, Queue และ Parallel Processing รักษาปริมาณงานที่ยั่งยืนตามความจุของ Source และ Target และเมื่อไฟล์ส่วนบุคคลพบปัญหา ให้ประมวลผลใหม่เฉพาะขอบเขตที่จำเป็นตามผลลัพธ์ระดับไฟล์

เริ่มต้นด้วย One-Time Dataset และใช้รูปแบบ High-Volume Transfer Model เดียวกันกับ Data Flows ที่เกิดซ้ำ Collection and Distribution, Object Storage และ AI and Machine Data จากการรัน Run ทั้งหมดลงไปถึงไฟล์ส่วนบุคคลและ Receipt สุดท้าย ดำเนินการทุกอย่างภายในโครงสร้างเดียวที่สอดคล้องกัน