Truyền tệp Tệp Lớn

Truyền tệp

Truyền tệp Tệp Lớn đến Hoàn thành với cùng một Quy trình làm việc.

Không có kích thước tệp duy nhất xác định tệp lớn. Ngay cả tệp 500 MB cũng có thể trở thành gánh nặng truyền tệp đáng kể khi phải gửi lặp lại hoặc trên mạng không ổn định. Với video đo được hàng chục gigabyte, dữ liệu nghiên cứu trong hàng trăm gigabyte và tập dữ liệu quy mô terabyte, thời gian truyền tệp và chi phí gửi lại sau lỗi sẽ lớn hơn nhiều.

Truyền tệp

Truyền tệp Tệp Lớn Bắt đầu với Gánh nặng Truyền tệp, Không phải Kích thước Tệp Cụ thể.

Tệp 500 MB có thể bình thường trong một môi trường, nhưng gửi lặp lại cùng tệp đến trang web từ xa hoặc truyền tệp trên mạng không ổn định có thể biến quá trình truyền tệp thành gánh nặng hoạt động. Khi tệp phát triển từ hàng chục hoặc hàng trăm gigabyte vào phạm vi terabyte, thời gian truyền tệp, khả năng hiển thị tiến trình, gửi lại sau lỗi, sử dụng mạng khoảng cách xa và xác minh hoàn thành cuối cùng đều trở nên ngày càng quan trọng.

Truyền tệp Tệp Lớn do đó ít liên quan đến chuyển sang sản phẩm khác ở trên ngưỡng kích thước cụ thể và nhiều hơn về mở rộng Khả năng Truyền tệp cần thiết trong cùng kiến trúc khi kích thước tệp và yêu cầu hoạt động tăng. INNORIX vận hành chuyển động dữ liệu quy mô lớn dựa không chỉ trên kích thước tệp mà còn trên thời lượng truyền tệp thực tế, chi phí khôi phục, điều kiện mạng và tần suất truyền tệp.

Truyền tệp

Truyền tệp Tệp Gốc Trực tiếp từ Nguồn đến Mục tiêu.

Chia nhỏ hoặc nén tệp lớn thủ công trước khi truyền tệp và sau đó tập hợp lại hoặc giải nén nó tại mục tiêu tạo ra công việc chuẩn bị và khôi phục vượt quá quá trình truyền tệp. Khi tệp trở nên lớn hơn, các bước thủ công này thêm độ phức tạp không chỉ để truyền tệp mà còn để các thủ tục hoạt động và xác minh kết quả.

INNORIX cho phép bạn chọn tệp gốc ở nguồn và truyền tệp trực tiếp đến mục tiêu. Nơi đường dẫn truyền tệp cho phép, Kiểm soát và Giám sát được xử lý bởi Nền tảng trong khi Chuyển động Dữ liệu thực tế được thiết lập giữa Nguồn và Mục tiêu Bắt buộc, giảm các kiến trúc lặp lại di chuyển cùng dữ liệu lớn thông qua Máy chủ Trung gian hoặc Lưu trữ Dùng chung.

Truyền tệp

Khôi phục Gián đoạn và Lỗi Lặp lại Trong cùng một Truyền tệp.

Càng lớn tệp, càng lâu quá trình truyền tệp có thể chạy và chi phí bắt đầu lại khi có sự cố lớn hơn. Trên các Mạng khoảng cách xa, các trang web từ xa và mạng không ổn định, sự thay đổi kết nối hoặc mất gói có thể xảy ra nhiều lần trong quá trình truyền tệp duy nhất. Ngăn chặn một gián đoạn trở thành gửi lại hoàn chỉnh là quan trọng để giảm thời gian hoàn thành thực tế.

INNORIX duy trì Trạng thái Truyền tệp và sử dụng Tiếp tục, Truyền tệp Một phần, Thử lại và Khôi phục để quá trình truyền tệp có thể tiếp tục từ điểm bắt buộc dựa trên dữ liệu đã hoàn thành. Gián đoạn Đa bội được quản lý như một phần của quá trình hoàn thành một truyền tệp tệp lớn thay vì như các truyền tệp mới riêng biệt.

Truyền tệp

Biến Mạng và Dung lượng Lưu trữ thành Thông suất Tệp Lớn Thực tế.

Ngay cả với băng thông mạng cao, quá trình truyền tệp tệp lớn có thể không sử dụng đầy đủ dung lượng có sẵn. Thông suất thực tế được xác định cùng nhau bởi độ trễ và RTT, mất gói, hiệu suất đọc lưu trữ nguồn, hiệu suất ghi lưu trữ mục tiêu, lưu lượng khác và phương pháp truyền tệp.

Khi một phiên duy nhất không thể sử dụng toàn bộ dung lượng có sẵn, INNORIX áp dụng Phiên song song và Đồng thời Động và vận hành quá trình truyền tệp theo khả năng xử lý của nguồn và mục tiêu. Thay vì nhìn vào một số mạng duy nhất, nó coi Đọc Nguồn → Xử lý Truyền tệp → Mạng → Ghi Mục tiêu là một Đường dẫn Hiệu suất Từ đầu đến cuối và biến dung lượng có thể thực sự sử dụng thành Thông suất Tệp.

Truyền tệp

Vận hành Dung lượng Truyền tệp Trên Khoảng cách Xa, Nhiều Mạng và Cơ sở hạ tầng Dùng chung.

Hiệu suất thực tế có thể khác nhau đáng kể giữa các truyền tệp bên trong cùng một trung tâm dữ liệu và truyền tệp trên các quốc gia hoặc lục địa, thậm chí trên cùng một mạng 10 Gbps. Khi khoảng cách tăng lên, RTT và mất gói có tác động lớn hơn, và một kết nối duy nhất có thể khó sử dụng toàn bộ băng thông có sẵn. Khi nguồn và mục tiêu có nhiều giao diện mạng hoặc đường dẫn, dung lượng trên các kết nối nhiều cũng có thể được sử dụng cho Chuyển động Dữ liệu.

Đồng thời, mạng doanh nghiệp không dành riêng cho truyền tệp. Các ứng dụng, cơ sở dữ liệu, sao lưu và lưu lượng người dùng chia sẻ cùng mạng, làm cho phân bổ dung lượng tổng thể và vận hành cũng quan trọng như tốc độ đỉnh của một truyền tệp riêng lẻ. INNORIX sử dụng Truyền tệp Song song, Đồng thời Động và quản lý Hàng đợi để sử dụng dung lượng có sẵn trên các môi trường khoảng cách xa và Nhiều Mạng trong khi vận hành nhiều truyền tệp trong cơ sở hạ tầng hiện có.

Truyền tệp

Mở rộng từ Một Tệp Lớn sang Nhiều Truyền tệp Lớn và Tập dữ liệu Hỗn hợp.

Truyền tệp Tệp Lớn không phải lúc nào cũng có nghĩa là di chuyển một tệp duy nhất. Nhiều người dùng có thể gửi tệp lớn cùng một lúc, nhiều máy chủ có thể cung cấp tập dữ liệu lớn, hoặc một tập dữ liệu duy nhất có thể chứa hàng trăm gigabyte video cùng với hàng ngàn tệp siêu dữ liệu, mô hình lớn và tệp hỗ trợ.

INNORIX quản lý không chỉ thông suất của một tệp lớn riêng lẻ mà còn Hàng đợi, Đồng thời và Dung lượng Nguồn và Mục tiêu khi nhiều truyền tệp chạy đồng thời. Đối với tập dữ liệu kết hợp các đặc điểm Tệp Lớn và Khối lượng cao, xử lý có thể được điều chỉnh theo kích thước tệp và số lượng tệp trong khi toàn bộ công việc được quản lý như một Lần chạy duy nhất.

Truyền tệp

Theo dõi Tiến trình, Toàn vẹn và Kết quả Cuối cùng như Một Quy trình Hoàn thành.

Khi tệp đa terabyte được truyền tệp trong một khoảng thời gian dài, chỉ biết rằng một quy trình đã kết thúc có thể không đủ. Các nhà điều hành cần biết mỗi tệp được truyền tệp bao xa, liệu Khôi phục có xảy ra trong quá trình truyền tệp, và liệu tất cả các tệp cần thiết có cuối cùng hoàn thành với kết quả dự kiến.

INNORIX cung cấp khả năng hiển thị tiến trình thông qua Lần chạy và Trạng thái Tệp, xử lý các vấn đề trong quá trình truyền tệp thông qua Khôi phục và cho phép các nhà điều hành xác minh trạng thái cuối cùng thông qua Kết quả Tệp và Biên lai sau khi hoàn thành.

Truyền tệp

Kết nối Truyền tệp Tệp Lớn Lặp lại đến Tự động hóa và Flow.

Truyền tệp Tệp lớn có thể là một cuộc di chuyển một lần hoặc cung cấp tập dữ liệu lặp lại mỗi ngày hoặc mỗi tuần. Truyền tệp Tệp Lớn giống nhau có thể bắt đầu không chỉ thông qua thực thi thủ công trong Bảng điều khiển, mà còn thông qua Lịch biểu, Sự kiện Tệp, API hoặc yêu cầu từ quy trình làm việc hiện có, với kết quả hoàn thành của nó kết nối với quy trình kinh doanh tiếp theo.

INNORIX sử dụng cùng một Động cơ Truyền tệp trên Yêu cầu khi cần và Truyền tệp Một lần, Lập lịch biểu và thực thi Hướng tới sự kiện, API và Flow. Điều này biến truyền tệp tệp lớn từ một tác vụ thủ công riêng biệt thành một khả năng có thể lặp lại cho chuyển động dữ liệu doanh nghiệp.

Truyền tệp

Áp dụng Truyền tệp Tệp Lớn giống nhau từ Máy chủ đến Lưu trữ Đối tượng và AI Compute.

Tệp lớn không di chuyển chỉ giữa các máy chủ. Kết hợp nguồn và mục tiêu tiếp tục thay đổi trong quá trình di chuyển Trung tâm Dữ liệu sang Cloud, các tập dữ liệu AI được cung cấp từ Lưu trữ Đối tượng đến Compute, phần mềm và phương tiện được phân phối giữa các trụ sở chính và chi nhánh, và Kết quả và Điểm kiểm tra được trả lại từ Compute đến Lưu trữ.

Các ngành công nghiệp và khối lượng công việc có thể từ Phương tiện / VFX, AI, Nghiên cứu, Chăm sóc sức khỏe, Kỹ thuật, Không gian địa lý và Sao lưu / Lưu trữ đến Sản xuất, nhưng các yêu cầu cơ bản vẫn giữ nguyên: di chuyển tệp lớn, duy trì truyền tệp chạy dài và xác minh kết quả cuối cùng. INNORIX áp dụng cùng một Mô hình Truyền tệp Tệp Lớn, Tiếp tục, Khôi phục và Kết quả trên các loại điểm cuối khác nhau và mở rộng cùng một khả năng sang Máy chủ sang Máy chủ, Lưu trữ Đối tượng, Web, Phân phối và Cung cấp Dữ liệu AI.

Truyền tệp

Giữ Mô hình Truyền tệp và Vận hành giống nhau khi Kích thước Tệp Lớn lên.

Thay vì xây dựng một môi trường truyền tệp riêng biệt cho mỗi kích thước tệp hoặc khối lượng công việc, truyền tệp tệp lớn có thể sử dụng cùng một mô hình vận hành như Chuyển động Dữ liệu khác trên Nền tảng INNORIX. Cho dù điểm bắt đầu là Truyền tệp Thủ công, Flow, API hay Nền tảng AI, cùng một Động cơ Truyền tệp Tệp Lớn được sử dụng và trạng thái hoạt động và kết quả vẫn hiển thị qua Lần chạy và Giám sát, Trạng thái Tệp và Biên lai.

10 TB không phải là ngưỡng mà tệp trở thành "lớn". Nó là một điểm trong Bài kiểm tra Quy mô được sử dụng để xác minh Kiến trúc Truyền tệp có thể xử lý kích thước tệp tăng lên như thế nào theo cách tương tự. Tùy thuộc vào môi trường vận hành, gánh nặng truyền tệp có thể bắt đầu chỉ từ một vài trăm megabyte. Điều quan trọng hơn một số cụ thể là liệu Mô hình Truyền tệp, Khôi phục và Vận hành giống nhau có thể được duy trì khi tệp phát triển.

Truyền tệp

Mở rộng Khả năng Truyền tệp khi Kích thước Tệp Lớn lên.

Truyền tệp tệp gốc như-vậy từ tệp kinh doanh đo được hàng trăm megabyte đến tập dữ liệu quy mô terabyte, sử dụng Xử lý Song song để tận dụng dung lượng mạng có sẵn và tiếp tục cùng một Truyền tệp sau gián đoạn thông qua Tiếp tục và Khôi phục.

Áp dụng cùng một Truyền tệp Tệp Lớn trên Máy chủ, Cloud, Lưu trữ Đối tượng và Compute AI, kết nối công việc lặp lại thông qua Tự động hóa và Flow và xác minh kết quả cuối cùng thông qua Lần chạy và Biên lai.