Truyền Tệp Khối lượng Cao

Truyền tệp

Xử lý Số lượng Khổng lồ Tệp Nhanh chóng dưới dạng Một Truyền Duy nhất.

Ngay cả khi tổng lượng dữ liệu là như nhau, bản chất của một truyền thay đổi hoàn toàn khi số lượng tệp tăng lên. Một tệp 100 GB duy nhất và một triệu tệp 100 KB có thể chứa lượng dữ liệu tương tự, nhưng với nhiều tệp nhỏ, không chỉ Thông lượng Mạng mà còn Khám phá Tệp, các hoạt động Mở / Đóng, Siêu dữ liệu, Xử lý Thư mục, Xử lý Hàng đợi, I/O Hệ thống Tệp và Kết quả Truyền riêng lẻ có tác động lớn đến tổng thời gian xử lý.

Truyền tệp

Khi Số lượng Tệp Tăng lên, Xử lý Tệp Tổng thể Quan trọng hơn Tốc độ Mạng Riêng biệt.

Truyền Tệp Lớn và Truyền Tệp Khối lượng Cao giải quyết các vấn đề khác nhau. Một tệp lớn duy nhất phụ thuộc rất nhiều vào thông lượng qua một luồng dữ liệu dài và Tiếp tục tại điểm gián đoạn. Tuy nhiên, với nhiều tệp nhỏ, hệ thống liên tục khám phá, mở, đọc, truyền, tạo tại mục tiêu, đóng và ghi lại kết quả cho từng tệp riêng lẻ. Khi số lượng tệp tăng lên, chi phí tích lũy của các hoạt động nhỏ này có thể xác định tổng thời gian truyền.

Đối với Truyền Khối lượng Cao, chỉ đơn giản là tăng Gbps do đó ít quan trọng hơn việc tăng khả năng xử lý bền vững của toàn bộ Đường ống Xử lý Tệp, bao gồm Hệ thống Tệp Nguồn, Xử lý Thư mục và Siêu dữ liệu, Hàng đợi Truyền, Ghi Mục tiêu và Kết quả Tệp. INNORIX vận hành Truyền Mạng và Xử lý Tệp dưới dạng một công việc Khối lượng Cao duy nhất thay vì xử lý chúng riêng biệt.

Truyền tệp

Xử lý Mọi thứ từ Khám phá đến Kết quả Cuối cùng như Một Đường ống Khối lượng Cao.

Truyền Tệp Khối lượng Cao bắt đầu trước khi byte đầu tiên được gửi. Hệ thống phải khám phá những Tệp nào tồn tại tại Nguồn, chọn Tập Tệp Bắt buộc cho công việc, xử lý thông tin Thư mục và Siêu dữ liệu, và đặt công việc vào Hàng đợi trước khi Chuyển động Dữ liệu thực tế bắt đầu. Tại Mục tiêu, Tạo Tệp, Ghi, Đóng và ghi lại kết quả cũng được lặp lại cho mỗi tệp.

INNORIX không để lại các bước này dưới dạng các hoạt động xử lý trước và sau truyền riêng biệt. Nó vận hành Đường ống Khám phá → Lọc / Chọn → Hàng đợi → Truyền → Xác minh → Kết quả Tệp hoàn chỉnh. Điều này cho phép các nhà điều hành không chỉ thấy Tiến độ Mạng, mà còn thấy bao nhiêu trong toàn bộ Bộ dữ liệu đã được khám phá và xử lý, những Tệp nào hoàn tất và những Tệp nào còn lại, tất cả đều nằm trong bối cảnh một Truyền duy nhất.

Truyền tệp

Xử lý Tệp Song song Trong khi Bảo toàn Cấu trúc Tệp và Thư mục Gốc.

Bundling nhiều tệp nhỏ vào một Kho lưu trữ duy nhất có thể đơn giản hóa quá trình truyền. Nhưng khi lưu trữ trở thành một bước truyền bổ sung, các tệp phải được đóng gói hoặc nén tại Nguồn trước, sau đó được trích xuất tại Mục tiêu, tiếp theo là xác minh kết quả. Trong Nghiên cứu, Thị giác Máy, Phương tiện và Gói Phần mềm nơi Cấu trúc Thư mục tự mang ý nghĩa trong Bộ dữ liệu, điều này có thể trở thành một nhiệm vụ vận hành riêng biệt.

INNORIX bảo toàn các mối quan hệ Tệp và Thư mục Gốc trong khi xử lý nhiều Tệp song song thông qua quản lý Hàng đợi và Tính đồng thời Động. Nó làm giảm độ trễ tích lũy của việc gửi tệp theo tuần tự từng cái một, đồng thời tránh giả định rằng mở số lượng tệp tối đa có thể cùng một lúc luôn là tốt nhất. Thay vào đó, tính đồng thời được vận hành để hoàn thành toàn bộ Bộ dữ liệu một cách đáng tin cậy.

Truyền tệp

Duy trì Xử lý Bền vững Trong Khả năng Nguồn và Mục tiêu.

Tăng tính đồng thời liên tục không phải lúc nào cũng làm cho Truyền Khối lượng Cao nhanh hơn. Hệ thống Tệp Nguồn đọc và xử lý Siêu dữ liệu, ghi đồng thời Lưu trữ Mục tiêu, I/O Đĩa và tài nguyên Mạng có thể được chia sẻ với các khối lượng công việc khác. Tính đồng thời quá mức có thể thay vào đó tập trung áp lực vào Hàng đợi và Lưu trữ.

INNORIX vận hành công việc tổng thể thông qua các kiểm soát Hàng đợi và Tính đồng thời và điều chỉnh Xử lý Song song theo điều kiện Nguồn, Mục tiêu và Mạng. Mục đích không phải là chạy số lượng Tệp lớn nhất có thể vào một thời điểm, mà là duy trì Tốc độ Xử lý Tệp bền vững trong khả năng của cơ sở hạ tầng hiện tại trong khi hoàn thành toàn bộ Bộ dữ liệu.

Truyền tệp

Bảo toàn Kết quả Riêng lẻ Trên Hàng triệu Tệp và Phục hồi Chỉ những Gì Cần thiết.

Trong một Truyền Khối lượng Cao, Tiến độ Tổng thể và tốc độ Thành công Trung bình riêng có thể không cho biết liệu công việc thực tế đã hoàn thành hay không. Nếu 1.284.389 trong số 1.284.392 tệp đã được giao, tỷ lệ thành công có thể trông cực kỳ cao, nhưng về mặt vận hành, điều quan trọng hơn là biết ba Tệp nào không thành công và liệu chúng có thể được xử lý lại hay không.

INNORIX duy trì Trạng thái Tệp Riêng lẻ cùng với Chạy Tổng thể. Kết quả Hoàn tất được bảo toàn, Truyền Bị gián đoạn được Tiếp tục và chỉ những Tệp cần thiết ở các trạng thái Thất bại hoặc Một phần được Thử lại Có chọn lọc. Điều này làm cho Phục hồi trở thành một quá trình xác định những Tệp chưa hoàn thành và hoàn thành Bộ dữ liệu Cuối cùng, thay vì chạy lại toàn bộ Bộ dữ liệu.

Truyền tệp

Xác minh Giao hàng Hoàn toàn Bộ dữ liệu Bắt buộc, Không chỉ Tỷ lệ Thành công Cao.

Khi số lượng tệp nhỏ, sự khác biệt giữa 99,99% và 100% có thể trông không đáng kể. Tuy nhiên, ở quy mô lớn, ngay cả một tỷ lệ nhỏ cũng đại diện cho một số Tệp thực tế có ý nghĩa. 0,01% của một triệu tệp là 100 tệp, và 0,01% của 100 triệu tệp là 10.000 tệp. Đối với Truyền Khối lượng Cao, tỷ lệ Thành công Trung bình riêng do đó không đủ để xác định rằng công việc đã hoàn thành.

INNORIX hiển thị tiến độ tổng thể trong Chạy, xác định phạm vi không thành công thông qua Trạng thái Tệp và xác minh kết quả cuối cùng thông qua Biên lai sau Thử lại và Phục hồi. Tiêu chuẩn hoàn thành cho Truyền Khối lượng Cao không phải đơn giản là tỷ lệ Thành công cao, mà liệu Tập Tệp được yêu cầu bởi kinh doanh đã thực sự được Hoàn tất từ đầu đến cuối và kết quả của nó có thể được xác minh hay không.

Truyền tệp

Giao Tập Tệp Bắt buộc với Cấu trúc Thư mục và Bộ lọc Nguyên vẹn.

Bộ dữ liệu Khối lượng cao thường không chỉ là danh sách Tệp đơn giản. Cấu trúc Thư mục tự có thể là một phần của dữ liệu. Trong Bộ dữ liệu Nghiên cứu, Thị giác Máy, Dự án Phương tiện và Gói Phần mềm, mối quan hệ Thư mục Nguồn có thể cần phải vẫn còn nguyên vẹn tại Mục tiêu để các hệ thống hạ lưu có thể sử dụng dữ liệu ngay lập tức.

Đồng thời, việc có hàng triệu Tệp tại Nguồn không có nghĩa là mỗi tệp phải luôn được di chuyển. INNORIX chọn các mục tiêu Truyền theo Tên Tệp, Phần mở rộng, Thư mục và các điều kiện Bắt buộc trong khi bảo toàn mối quan hệ Tệp và Thư mục Gốc. Điều này giúp có thể chọn Tập Tệp thực sự cần thiết cho công việc ở cấp độ Bộ dữ liệu và giao nó theo cấu trúc Gốc của nó thay vì sao chép toàn bộ Nguồn.

Truyền tệp

Mở rộng Bộ dữ liệu Một lần thành Luồng Dữ liệu Liên tục.

Dữ liệu Khối lượng cao thường được tạo liên tục thay vì chỉ một lần. Hình ảnh Thị giác Máy, Nhật ký, Dữ liệu Cảm biến, Kết quả Nghiên cứu và Tài sản Phương tiện Tạo các Tệp mới mỗi ngày hoặc liên tục, vì vậy dữ liệu được tạo sau Quá trình Di chuyển ban đầu có thể cần được giao lại nhiều lần thông qua cùng một Đường dẫn Truyền.

INNORIX bắt đầu với một Bộ dữ liệu Một lần và kết nối Truyền Lên lịch, Sự kiện Tệp, API và các yêu cầu Bên ngoài với cùng một Mô hình Luồng. Các Tệp Mới có thể được Lọc, xử lý thông qua Truyền Khối lượng Cao, và Kết quả Hoàn thành của chúng được chuyển đến Luồng hoặc Lệnh gọi lại tiếp theo, mở rộng cùng một Truyền từ chuyển động khối lượng một lần thành Giao dữ liệu Liên tục.

Truyền tệp

Áp dụng Truyền Khối lượng Cao Giống nhau cho Bộ sưu tập từ Nhiều Nguồn và Phân phối cho Nhiều Mục tiêu.

Số lượng lớn Tệp không phải lúc nào cũng được tạo trên một Máy chủ duy nhất. Dữ liệu có thể được tạo đồng thời trên các Nhà máy, Chi nhánh, Thiết bị và Máy chủ Xử lý. Ngược lại, một Bộ dữ liệu Hình ảnh, Gói Phần mềm hoặc Tài sản Phương tiện có thể cần được phân phối cho nhiều Máy chủ hoặc Môi trường Tính toán.

INNORIX kết nối Truyền Khối lượng Cao với Bộ sưu tập N:1 và Phân phối 1:N. Trong Bộ sưu tập, nó bảo toàn mối quan hệ Tệp và Đường dẫn cho mỗi Nguồn trong khi hiển thị bao nhiêu đã được thu thập từ mỗi Nguồn và Tệp nào còn lại. Trong Phân phối, nó quản lý tiến độ và Kết quả Tệp cho mỗi Mục tiêu. Điều này cho phép Xử lý Cấp độ Tệp Khối lượng Cao và Tiêu chí hoàn thành Cấp độ Điểm cuối của Phân phối & Bộ sưu tập hoạt động cùng nhau.

Truyền tệp

Áp dụng Cùng một Mô hình Vận hành Khối lượng Cao Trên Máy chủ, Lưu trữ Tệp và Lưu trữ Đối tượng.

Số lượng khổng lồ của Tệp không giới hạn ở một Máy chủ hoặc Hệ thống Tệp duy nhất. Dữ liệu Khối lượng Cao có thể tồn tại trên Lưu trữ Tệp Chia sẻ, Lưu trữ Đối tượng, Đám mây, Trung tâm Dữ liệu, Chi nhánh và Nhà máy. Trong Lưu trữ Đối tượng, số lượng lớn Đối tượng được Liệt kê và Lọc trước khi được xử lý thông qua Hàng đợi và Truyền Song song thay vì được xử lý dưới dạng các tệp Hệ thống Tệp.

Phương pháp Khám phá và Truy cập khác nhau tùy theo Loại Lưu trữ, nhưng về mặt vận hành, cùng một Mô hình Khối lượng Cao có thể được áp dụng cho công việc Tổng thể, Kết quả Tệp hoặc Đối tượng Riêng lẻ, Thử lại và trạng thái Hoàn thành Cuối cùng. Dù dữ liệu nằm ở đâu, Khám phá, Hàng đợi, Xử lý Song song, Phục hồi và Kết quả được kết nối thông qua một kiến trúc Truyền duy nhất.

Truyền tệp

Kết nối Chuyển động Khối lượng Cao Liên tục cho Dữ liệu Tạo bởi AI và Máy.

Dữ liệu AI và Tạo bởi Máy là các môi trường đại diện cho Truyền Khối lượng Cao. Thị giác Máy tạo ra số lượng khổng lồ Tệp Hình ảnh, Bộ dữ liệu Đào tạo AI có thể chứa các bộ sưu tập lớn Hình ảnh và Nhãn, và trong Hệ thống Tự động, Cảm biến, Nghiên cứu và Bệnh lý Kỹ thuật số, cả tốc độ tạo tệp và tổng số tệp đều ảnh hưởng trực tiếp đến Kiến trúc Truyền.

INNORIX áp dụng Truyền Khối lượng Cao cho các Hồ sơ Dữ liệu này và kết nối nó, khi cần thiết, với Giao dữ liệu AI, Bộ sưu tập và Truyền Tự động. Chính Truyền Khối lượng Cao tập trung vào khám phá, xử lý và phục hồi số lượng lớn Tệp cho đến khi kết quả hoàn thành, trong khi Giao dữ liệu cho Tính toán, Bộ sưu tập và Phân phối trên nhiều Điểm cuối và tự động hóa thực thi được kết hợp thông qua Khả năng Truyền tương ứng.

Truyền tệp

Xem Mọi thứ từ Toàn bộ Bộ dữ liệu Xuống đến một Tệp Riêng lẻ trong Một Chạy.

Khi số lượng tệp tăng lên, việc trực tiếp kiểm tra nhật ký trên các Máy chủ Riêng lẻ không còn đủ để hiểu toàn bộ công việc. Các nhà điều hành cần xem bao nhiêu từ toàn bộ Bộ dữ liệu đã được xử lý trước tiên, đi sâu vào Hàng đợi và Tệp Thất bại khi cần thiết, sau đó xác định trạng thái Hoàn thành Cuối cùng sau Phục hồi.

INNORIX hiển thị trạng thái Truyền Tổng thể và số Tệp được xử lý trong Chạy, cung cấp kết quả Riêng lẻ thông qua Trạng thái Tệp, xử lý công việc Còn lại thông qua Hàng đợi và Thử lại, và xác nhận kết quả Cuối cùng thông qua Biên lai. Điều này cung cấp một cấu trúc vận hành xử lý hàng triệu Tệp dưới dạng một công việc trong khi vẫn cho phép các nhà điều hành đi sâu vào cấp độ Tệp Riêng lẻ khi cần thiết.

Truyền tệp

100 Triệu Tệp Là một Điểm Xác thực Quy mô, Không phải Định nghĩa của Khối lượng Cao.

Điểm tại đó Truyền Khối lượng Cao trở nên cần thiết không được xác định bởi một số lượng tệp cụ thể. Các quy trình Hiện tại có thể chậm lại với chỉ hàng nghìn Tệp, trong khi Bộ dữ liệu và Dữ liệu Máy có thể phát triển thành hàng triệu hoặc hàng chục triệu. Câu hỏi quan trọng không phải là bao nhiêu tệp đủ điều kiện là "khối lượng cao," mà liệu Khám phá, Truyền, Phục hồi và Kết quả có thể tiếp tục được xử lý và vận hành theo cách giống nhau khi số lượng tệp tăng lên hay không.

100.000.000 Tệp không có nghĩa là mỗi khách hàng đều cần vận hành ở quy mô đó. Nó là một điểm trong một Bài kiểm tra Quy mô được sử dụng để xác minh liệu Kiến trúc Truyền Khối lượng Cao INNORIX có thể xử lý sự tăng trưởng trong số lượng tệp thực tế hay không. Giá trị của sản phẩm nằm không phải ở con số tự nó, mà ở việc duy trì cùng một Mô hình Truyền từ các Lô nhỏ đến Bộ dữ liệu Quy mô lớn được tạo liên tục.

Truyền tệp

Vận hành Hàng nghìn đến 100 Triệu Tệp dưới dạng Một Truyền Khối lượng Cao duy nhất.

Thay vì chuyển đổi số lượng lớn Tệp thành một quy trình Lưu trữ riêng biệt chỉ để truyền, hãy giữ nguyên Cấu trúc Tệp và Thư mục gốc và xử lý chúng thông qua Khám phá, Hàng đợi và Xử lý Song song. Duy trì thông lượng bền vững theo Công suất Nguồn và Mục tiêu, và khi các Tệp riêng lẻ gặp sự cố, hãy xử lý lại chỉ phạm vi cần thiết dựa trên Kết quả Cấp Tệp.

Bắt đầu với Bộ dữ liệu Một lần và áp dụng Mô hình Truyền Khối lượng cao tương tự cho các Dòng dữ liệu Định kỳ, Thu thập và Phân phối, Kho lưu trữ Đối tượng và Dữ liệu AI và Máy. Từ toàn bộ Lần chạy xuống các Tệp riêng lẻ và Biên lai cuối cùng, hãy vận hành mọi thứ trong một cấu trúc nhất quán.