Trong thời đại công nghệ đang phát triển vượt bậc như hiện nay, các doanh nghiệp luôn chú trọng ứng dụng Big Data để cạnh tranh và phát triển. Vậy khi triển khai và lưu trữ Big Data đâu là vấn đề lớn nhất mà các doanh nghiệp sẽ gặp phải? Mời các bạn cùng Asia Soft tìm hiểu qua bài viết sau nhé!

1. Những quan niệm sai lầm phổ biến về Big Data

1.1. Dữ liệu không bằng thông tin

Dữ liệu và thông tin thường được sử dụng đồng nghĩa. Trên thực tế, không phải vậy, dữ liệu đề cập đến một điểm dữ liệu gốc (cho dù thông qua số, văn bản, hình ảnh, video,…), trong khi thông tin được liên kết trực tiếp với nội dung và cần phải mang tính thông tin. Nhiều dữ liệu hơn không nhất thiết có nghĩa là nhiều thông tin hơn, cũng không có nghĩa là thông tin sẽ tăng theo tỷ lệ ví dụ đơn giản:

Hiện nay nhiều người thường xuyên sao lưu ổ cứng của mình. Không có gì nhiều để giải thích về điều này, mỗi bản sao lưu sẽ tạo ra một bộ dữ liệu mới nhưng thông tin không tăng lên.

1.2. Thông tin không bằng trí tuệ (Insight)

Bây giờ chúng tôi đã loại bỏ tất cả các phần trùng lặp của dữ liệu và dữ liệu tích hợp có nội dung tương tự, tất cả những gì chúng tôi còn lại là thông tin. Điều này có nhất thiết hữu ích cho chúng tôi không? Không nhất thiết, để thông tin có thể chuyển hóa thành trí tuệ, nó phải đáp ứng ít nhất ba tiêu chí sau:

• Khả năng giải mã:

Đây có thể là vấn đề đặc biệt trong thời đại Big Data, ngày càng có nhiều công ty sản xuất một lượng lớn dữ liệu mỗi ngày nhưng họ vẫn chưa tìm ra cách sử dụng nên họ tạm thời lưu trữ dữ liệu này một cách phi cấu trúc. Dữ liệu phi cấu trúc này không nhất thiết phải được giải mã. 

Ví dụ: Bạn ghi lại khoảng thời gian giữa một khách hàng lật trang ba lần trên trang web của bạn: 3 giây, 2 giây và 17 giây, nhưng bạn quên đánh dấu ba lần này thể hiện ý nghĩa gì. Những dữ liệu này là thông tin (không lặp lại). Nhưng nó không thể giải mã được nên không thể trở thành trí tuệ.

• Sự liên quan: 

Sự liên quan giữa thông tin và trí tuệ là một quá trình liên tục và phức tạp, và nó đóng vai trò quan trọng trong nhiều lĩnh vực như khoa học dữ liệu, quản lý tri thức, quản lý thông tin, và nhiều ngành công nghiệp khác. Điều này giúp cá nhân và tổ chức tận dụng thông tin để đạt được sự hiểu biết sâu rộng và đưa ra quyết định thông minh.

• Mới lạ: 

Tính mới lạ của thông tin khi trở thành trí tuệ nằm ở khả năng biến đổi thông tin từ một tập hợp dữ liệu không có hình dáng hoặc ý nghĩa cụ thể thành một nguồn sức mạnh mà có thể tạo ra sự sáng tạo, tiến bộ, và giải quyết các thách thức đối mặt.

2. 8 vấn đề mà việc lưu trữ gặp phải trong kỷ nguyên Big Data

Với sự phát triển bùng nổ của các ứng dụng Big Data, nó đã có được kiến ​​trúc độc đáo của riêng mình và trực tiếp thúc đẩy sự phát triển của công nghệ lưu trữ, mạng và điện toán. Xét cho cùng, việc giải quyết các nhu cầu đặc biệt của Big Data là một thách thức mới. Sự phát triển của phần cứng cuối cùng được thúc đẩy bởi các yêu cầu về phần mềm. Trong ví dụ này, chúng ta có thể thấy rõ rằng các yêu cầu ứng dụng phân tích Big Data đang ảnh hưởng đến sự phát triển của cơ sở hạ tầng lưu trữ dữ liệu.

Mặt khác, sự thay đổi này có thể là cơ hội cho các nhà sản xuất thiết bị lưu trữ và nhà sản xuất cơ sở hạ tầng CNTT khác. Khi lượng dữ liệu có cấu trúc và phi cấu trúc tiếp tục tăng lên và nguồn dữ liệu phân tích ngày càng đa dạng, thiết kế hệ thống lưu trữ trước đây không còn có thể đáp ứng nhu cầu của các ứng dụng Big Data. Các nhà cung cấp dịch vụ lưu trữ đã nhận ra điều này và họ đã bắt đầu sửa đổi thiết kế kiến ​​trúc của hệ thống lưu trữ dựa trên khối và tệp để thích ứng với những yêu cầu mới này. Ở đây, chúng ta thảo luận về các thuộc tính liên quan đến cơ sở hạ tầng lưu trữ Big Data và xem cách chúng đáp ứng những thách thức của Big Data.

2.1. Vấn đề về năng lực

“Dung lượng lớn” được đề cập ở đây thường có thể đạt quy mô dữ liệu cấp PB, do đó, hệ thống lưu trữ dữ liệu khổng lồ cũng phải có mức khả năng mở rộng tương ứng. Đồng thời, hệ thống lưu trữ phải dễ dàng mở rộng, có thể tăng dung lượng bằng cách thêm các mô-đun hoặc vỏ đĩa mà không cần thời gian ngừng hoạt động. Dựa trên nhu cầu như vậy, khách hàng ngày càng ưa chuộng việc lưu trữ theo kiến ​​trúc mở rộng quy mô. Đặc điểm của cấu trúc cụm mở rộng là ngoài dung lượng lưu trữ nhất định, mỗi nút còn có khả năng xử lý dữ liệu nội bộ và thiết bị kết nối, hoàn toàn khác với kiến ​​trúc ống khói của các hệ thống lưu trữ truyền thống. đạt được sự mượt mà liền mạch, mở rộng để tránh đảo lưu trữ.

Ngoài kích thước dữ liệu khổng lồ, các ứng dụng “Big Data” còn có nghĩa là có số lượng tệp khổng lồ. Vì vậy, làm thế nào để quản lý siêu dữ liệu được tích lũy trong lớp hệ thống tập tin là một vấn đề khó khăn, nếu không được xử lý đúng cách sẽ ảnh hưởng đến khả năng mở rộng và hiệu suất của hệ thống. Điểm thắt cổ chai này tồn tại trong các hệ thống NAS truyền thống. May mắn thay, kiến ​​trúc lưu trữ dựa trên đối tượng không gặp phải vấn đề này, nó có thể quản lý số lượng hàng tỷ tệp trong hệ thống mà không gặp phải những rắc rối về quản lý siêu dữ liệu như lưu trữ truyền thống. Hệ thống lưu trữ dựa trên đối tượng cũng có khả năng mở rộng trên diện rộng và có thể được triển khai ở nhiều địa điểm khác nhau để tạo thành cơ sở hạ tầng lưu trữ quy mô lớn trên khắp các khu vực.

2.2. Khả năng đáp ứng thời gian thực 

Các ứng dụng “Big Data” cũng có vấn đề về thời gian thực. Đặc biệt là khi nói đến các ứng dụng liên quan đến giao dịch trực tuyến hoặc tài chính. 

Ví dụ: Các dịch vụ quảng cáo và khuyến mãi trực tuyến trong ngành bán quần áo trực tuyến yêu cầu phân tích thời gian thực về hồ sơ duyệt web của khách hàng và vị trí quảng cáo chính xác. Điều này đòi hỏi hệ thống lưu trữ phải có khả năng hỗ trợ các tính năng trên đồng thời duy trì tốc độ phản hồi cao, bởi kết quả của việc phản hồi chậm là hệ thống sẽ đẩy nội dung quảng cáo “hết hạn” đến cho khách hàng. Trong kịch bản này, hệ thống lưu trữ kiến ​​trúc mở rộng quy mô có thể tận dụng lợi thế của nó vì mỗi nút của nó đều có các thành phần xử lý và kết nối, đồng thời sức mạnh xử lý có thể tăng lên đồng thời với việc tăng công suất. Hệ thống lưu trữ dựa trên đối tượng có thể hỗ trợ các luồng dữ liệu đồng thời, do đó cải thiện hơn nữa thông lượng dữ liệu.

Có nhiều môi trường ứng dụng “Big Data” yêu cầu hiệu suất IOPS cao (IOPS – Hoạt động đầu vào/đầu ra mỗi giây), là số lượng hoạt động đọc và ghi (I/O) mỗi giây. Nó chủ yếu được sử dụng trong cơ sở dữ liệu và các ứng dụng khác các tình huống để đo lường hiệu suất truy cập ngẫu nhiên), chẳng hạn như tính toán hiệu năng cao HPC. Ngoài ra, sự phổ biến của ảo hóa máy chủ cũng dẫn đến nhu cầu IOPS cao, giống như nó đã làm thay đổi môi trường CNTT truyền thống. Để đáp ứng những thách thức này, nhiều mẫu thiết bị lưu trữ thể rắn khác nhau đã xuất hiện, từ bộ đệm đơn giản bên trong máy chủ đến hệ thống lưu trữ có thể mở rộng với phương tiện lưu trữ thể rắn,…

Truy cập đồng thời Khi các công ty nhận ra giá trị tiềm năng của các ứng dụng phân tích Big Data, họ sẽ kết hợp nhiều bộ dữ liệu hơn vào hệ thống của mình để so sánh và cho phép nhiều người chia sẻ và sử dụng dữ liệu hơn. Để tạo ra nhiều giá trị kinh doanh hơn, các công ty thường phân tích toàn diện nhiều đối tượng dữ liệu từ các nền tảng khác nhau. Cơ sở hạ tầng lưu trữ, bao gồm cả hệ thống tệp toàn cầu, có thể giúp người dùng giải quyết các vấn đề truy cập dữ liệu.Hệ thống tệp chung cho phép nhiều người dùng trên nhiều máy chủ truy cập đồng thời vào dữ liệu tệp và những dữ liệu này có thể được lưu trữ ở nhiều vị trí trên các loại thiết bị lưu trữ khác nhau.

2.3. Tính bảo mật

Các ứng dụng trong một số ngành đặc biệt nhất định, chẳng hạn như dữ liệu tài chính, thông tin y tế và tình báo chính phủ, có các tiêu chuẩn bảo mật và yêu cầu bảo mật riêng. Mặc dù những điều này không khác gì đối với các nhà quản lý CNTT và phải tuân theo, nhưng phân tích Big Data thường yêu cầu tham chiếu lẫn nhau của nhiều loại dữ liệu. Trước đây không có quyền truy cập dữ liệu hỗn hợp như vậy. đối với một số vấn đề bảo mật mới cần được xem xét.

2.4. Vấn đề chi phí

“Lớn” cũng có thể có nghĩa là đắt tiền. Đối với những công ty đang sử dụng môi trường Big Data, kiểm soát chi phí là vấn đề then chốt. Nếu chúng ta muốn kiểm soát chi phí, điều đó có nghĩa là chúng ta phải làm cho từng thiết bị trở nên “hiệu quả” hơn, đồng thời giảm bớt những linh kiện đắt tiền đó. Hiện tại, các công nghệ như chống trùng lặp dữ liệu đã thâm nhập vào thị trường lưu trữ sơ cấp và hiện có thể xử lý nhiều loại dữ liệu hơn, điều này có thể mang lại nhiều giá trị hơn cho các ứng dụng lưu trữ Big Data và cải thiện hiệu quả lưu trữ. Trong môi trường mà khối lượng dữ liệu ngày càng tăng, việc giảm mức tiêu thụ bộ nhớ phụ trợ dù chỉ vài điểm phần trăm cũng có thể mang lại lợi tức đầu tư đáng kể. Ngoài ra, việc sử dụng công nghệ cung cấp mỏng, ảnh chụp nhanh và nhân bản cũng có thể cải thiện hiệu quả lưu trữ.

Nhiều hệ thống lưu trữ Big Data bao gồm các thành phần lưu trữ, đặc biệt đối với các tổ chức cần phân tích dữ liệu lịch sử hoặc cần bảo quản dữ liệu trong thời gian dài thì thiết bị lưu trữ là rất cần thiết. Từ góc độ chi phí lưu trữ trên mỗi đơn vị dung lượng, băng vẫn là phương tiện lưu trữ tiết kiệm nhất. Trên thực tế, ở nhiều doanh nghiệp, việc sử dụng hệ thống lưu trữ hỗ trợ băng dung lượng lớn cấp terabyte vẫn là tiêu chuẩn và thông lệ trên thực tế.

Yếu tố có tác động lớn nhất đến việc kiểm soát chi phí chính là các thiết bị phần cứng thương mại đó. Vì vậy, nhiều người dùng lần đầu trong lĩnh vực này cũng như những người có ứng dụng lớn nhất sẽ tùy chỉnh “nền tảng phần cứng” của riêng mình thay vì sử dụng các sản phẩm thương mại sẵn có. Động thái này có thể được sử dụng để cân bằng việc kiểm soát chi phí trong quá trình họ sử dụng. mở rộng kinh doanh. Để đáp ứng nhu cầu này, ngày càng có nhiều sản phẩm lưu trữ được cung cấp dưới dạng phần mềm thuần túy, có thể cài đặt trực tiếp trên các thiết bị phần cứng có sẵn, đa dụng hoặc có sẵn của người dùng. Ngoài ra, nhiều công ty phần mềm lưu trữ vẫn đang bán các thiết bị phần cứng và phần mềm tích hợp lấy sản phẩm phần mềm làm cốt lõi hoặc liên minh với các nhà sản xuất phần cứng để tung ra các sản phẩm hợp tác.

2.5. Tích lũy dữ liệu

Nhiều ứng dụng Big Data liên quan đến các vấn đề tuân thủ quy định, thường yêu cầu dữ liệu phải được lưu giữ trong nhiều năm hoặc nhiều thập kỷ. Ví dụ, thông tin y tế thường được lưu giữ để đảm bảo an toàn cho người bệnh, trong khi thông tin tài chính thường được lưu giữ trong 7 năm. 

Một số người dùng sử dụng bộ lưu trữ Big Data hy vọng rằng dữ liệu có thể được lưu trong thời gian dài hơn vì mọi dữ liệu đều là một phần của hồ sơ lịch sử và việc phân tích dữ liệu chủ yếu dựa trên các khoảng thời gian. Để đạt được khả năng lưu trữ dữ liệu lâu dài, các nhà sản xuất bộ lưu trữ phải phát triển các chức năng có thể liên tục phát hiện tính nhất quán của dữ liệu và các tính năng khác đảm bảo tính sẵn sàng cao trong thời gian dài. Đồng thời, cũng cần nhận thức được yêu cầu chức năng của việc cập nhật dữ liệu trực tiếp tại chỗ.

2.6. Uyển chuyển

Cơ sở hạ tầng của hệ thống lưu trữ Big Data thường rất lớn nên phải được thiết kế cẩn thận để đảm bảo tính linh hoạt của hệ thống lưu trữ để có thể mở rộng và mở rộng cùng với phần mềm phân tích ứng dụng. Trong môi trường lưu trữ Big Data, không cần thực hiện di chuyển dữ liệu vì dữ liệu sẽ được lưu trữ ở nhiều địa điểm triển khai cùng một lúc. Khi cơ sở hạ tầng lưu trữ Big Data được đưa vào sử dụng, rất khó điều chỉnh, do đó nó phải có khả năng thích ứng với nhiều loại ứng dụng và kịch bản dữ liệu khác nhau.

2.7. Nhận thức ứng dụng

Những người sử dụng Big Data sớm nhất đã phát triển một số cơ sở hạ tầng tùy chỉnh cho các ứng dụng, chẳng hạn như các hệ thống được phát triển cho các dự án của chính phủ và các máy chủ chuyên dụng do các nhà cung cấp dịch vụ Internet lớn tạo ra. Trong lĩnh vực hệ thống lưu trữ phổ thông, việc sử dụng công nghệ nhận biết ứng dụng ngày càng trở nên phổ biến, đây cũng là một phương tiện quan trọng để nâng cao hiệu quả và hiệu suất của hệ thống do đó, công nghệ nhận biết ứng dụng cũng nên được sử dụng trong môi trường lưu trữ Big Data.

2.8. Thách thức với các doanh nghiệp nhỏ 

Không chỉ những nhóm người dùng lớn đặc biệt dựa vào Big Data, mà theo yêu cầu kinh doanh, các công ty nhỏ chắc chắn sẽ áp dụng Big Data trong tương lai. Chúng tôi thấy rằng một số nhà sản xuất bộ lưu trữ đã phát triển một số hệ thống lưu trữ “Big Data” nhỏ, chủ yếu thu hút những người dùng nhạy cảm hơn về chi phí.

3. Ứng dụng Big Data hiện nay 

3.1. Các trường hợp ứng dụng Big Data: Ngành y tế

Seton Healthcare là khách hàng đầu tiên áp dụng công nghệ Watson mới nhất của IBM để phân tích và dự đoán nội dung chăm sóc sức khỏe. Công nghệ này cho phép các công ty tìm thấy lượng lớn thông tin y tế lâm sàng liên quan đến bệnh nhân và phân tích thông tin bệnh nhân tốt hơn thông qua xử lý Big Data.

Tại một bệnh viện ở Toronto, Canada, có hơn 3.000 lượt đọc dữ liệu mỗi giây đối với trẻ sinh non. Thông qua việc phân tích những dữ liệu này, các bệnh viện có thể biết trước trẻ sinh non nào gặp vấn đề và thực hiện các biện pháp có mục tiêu để ngăn ngừa tử vong cho trẻ sinh non.

Nó giúp nhiều doanh nhân phát triển sản phẩm dễ dàng hơn, chẳng hạn như các ứng dụng sức khỏe thu thập dữ liệu qua mạng xã hội. Có thể trong vài năm tới, dữ liệu họ thu thập sẽ cho phép bác sĩ đưa ra chẩn đoán chính xác hơn cho bạn, chẳng hạn thay vì người lớn uống một viên ba lần một ngày, nó sẽ tự động nhắc nhở bạn khi phát hiện thuốc trong cơ thể bạn. máu đã được chuyển hóa. Bạn uống thuốc lại.

3.2. Các trường hợp ứng dụng Big Data: Ngành năng lượng

Lưới điện thông minh hiện đã đạt đến cấp độ đầu cuối ở Châu Âu, được gọi là đồng hồ đo thông minh. Tại Đức, nhằm khuyến khích sử dụng năng lượng mặt trời, năng lượng mặt trời sẽ được lắp đặt tại các hộ gia đình, ngoài việc bán điện cho bạn, bạn còn có thể mua lại khi năng lượng mặt trời của bạn dư thừa điện. Dữ liệu được thu thập 5 phút hoặc 10 phút một lần thông qua lưới điện, có thể dùng để dự đoán thói quen tiêu dùng điện của khách hàng… từ đó suy ra lượng điện mà toàn lưới điện sẽ cần trong 2 đến 3 tháng tới. Với dự đoán này, một lượng điện nhất định có thể được mua từ các công ty phát điện hoặc cung cấp điện. Bởi vì điện hơi giống hợp đồng tương lai, nếu mua trước sẽ rẻ hơn nhưng nếu mua tại chỗ sẽ đắt hơn. Sau khi vượt qua dự đoán này, chi phí mua sắm có thể giảm xuống.

Hệ thống gió Vestas dựa trên phần mềm BigInsights và siêu máy tính IBM, sau đó phân tích dữ liệu thời tiết để tìm ra vị trí tốt nhất để lắp đặt tua-bin gió và toàn bộ trang trại gió. Sử dụng Big Data, công việc phân tích trước đây mất hàng tuần giờ có thể được hoàn thành trong vòng chưa đầy một giờ.

3.3. Các trường hợp ứng dụng Big Data: Ngành truyền thông

XO Communications đã giảm gần một nửa số lượng khách hàng rời bỏ bằng cách sử dụng phần mềm phân tích dự đoán SPSS của IBM. XO hiện có thể dự đoán hành vi của khách hàng, xác định xu hướng hành vi và xác định những thiếu sót, giúp công ty có biện pháp kịp thời để giữ chân khách hàng. Ngoài ra, bộ tăng tốc phân tích mạng Netezza mới của IBM sẽ giúp các công ty truyền thông đưa ra các quyết định khoa học và hợp lý hơn bằng cách cung cấp một nền tảng duy nhất, có thể mở rộng từ đầu đến cuối cho các quan điểm phân tích mạng, dịch vụ và khách hàng.

Các nhà khai thác viễn thông có thể phân tích nhiều hành vi và xu hướng khác nhau của người dùng thông qua hàng chục triệu dữ liệu khách hàng và bán chúng cho các công ty có nhu cầu. Đây là một nền kinh tế dữ liệu mới.

China Mobile sử dụng phân tích Big Data để tiến hành giám sát có mục tiêu, cảnh báo sớm và theo dõi mọi hoạt động kinh doanh của doanh nghiệp. Hệ thống tự động nắm bắt những thay đổi của thị trường ngay lần đầu tiên và sau đó đẩy chúng đến người được chỉ định một cách nhanh nhất để người đó có thể tìm hiểu tình hình thị trường trong thời gian ngắn nhất.

NTT docomo (nhà khai thác truyền thông di động lớn nhất Nhật Bản, với hơn 60 triệu người dùng theo hợp đồng) kết hợp thông tin vị trí của điện thoại di động với thông tin trên Internet để cung cấp cho khách hàng thông tin về các nhà hàng gần đó. Khi chuyến tàu cuối cùng đang đến gần, nó sẽ cung cấp cho khách hàng chuyến tàu cuối cùng dịch vụ thông tin.

3.4. Các trường hợp ứng dụng Big Data: Ngành bán lẻ

“Một trong những khách hàng của chúng tôi là nhà bán lẻ thời trang đặc biệt hàng đầu cung cấp dịch vụ cho khách hàng thông qua các cửa hàng bách hóa địa phương, Internet và hoạt động kinh doanh danh mục đặt hàng qua thư. Công ty hy vọng sẽ cung cấp các dịch vụ khác biệt cho khách hàng. Làm thế nào để định vị vị thế của công ty khác biệt hóa, họ hiểu sâu hơn về mô hình tiếp thị mỹ phẩm bằng cách thu thập thông tin xã hội từ Twitter và Facebook, và sau đó họ nhận ra rằng họ phải giữ được hai loại khách hàng có giá trị: người tiêu dùng cao và người có ảnh hưởng cao. Cho phép người dùng truyền miệng, đây là sự kết hợp hoàn hảo giữa dữ liệu giao dịch và dữ liệu tương tác để cung cấp giải pháp cho những thách thức kinh doanh.” Công nghệ của Informatica đã giúp nhà bán lẻ này làm phong phú thêm dữ liệu chủ khách hàng của mình bằng dữ liệu từ nền tảng xã hội để hỗ trợ các dịch vụ kinh doanh của mình Thêm nhắm mục tiêu.

Các công ty bán lẻ cũng theo dõi chuyển động của khách hàng trong cửa hàng và tương tác với hàng hóa. Họ kết hợp dữ liệu này với hồ sơ giao dịch để thực hiện phân tích nhằm đưa ra lời khuyên về mặt hàng nào nên bán, cách đặt chúng và thời điểm điều chỉnh giá bán. Cách tiếp cận này đã giúp một công ty bán lẻ hàng đầu giảm lượng hàng tồn kho xuống 17%. Đồng thời, vừa duy trì thị phần, vừa tăng tỷ trọng các sản phẩm nhãn hiệu riêng có tỷ suất lợi nhuận cao.

Qua bài viết trên, Asia Soft hy vọng bạn có thể nhận thấy được những khó khăn khi triển khai Big Data là gì trong cuộc sống hiện nay. Các doanh nghiệp nói riêng và những lĩnh vực, nghề nghiệp nói chung, có thể ứng dụng Big Data để dễ dàng hơn trong việc tổng hợp, phân tích, xử lý dữ liệu, từ đó góp phần tăng năng suất và hiệu quả công việc.