- Sản phẩm
- Phân tích
- Amazon OpenSearch Service
- ELK Stack
ELK Stack
ELK Stack là gì?
ELK Stack là một từ viết tắt được sử dụng để mô tả một bộ dịch vụ bao gồm 3 dự án phổ biến: Elasticsearch, Logstash và Kibana. Thường được gọi là Elasticsearch, ELK Stack mang tới cho bạn khả năng tổng hợp nhật ký từ tất cả các hệ thống và ứng dụng của bạn, phân tích những nhật ký này, hiển thị dữ liệu để giám sát ứng dụng và cơ sở hạ tầng, khắc phục sự cố nhanh hơn, phân tích bảo mật, v.v.
E = Elasticsearch
Elasticsearch là công cụ tìm kiếm và phân tích phân tán được xây dựng trên Apache Lucene. Khả năng hỗ trợ đa dạng ngôn ngữ, hiệu suất cao và tài liệu JSON không lược đồ khiến Elasticsearch trở thành một lựa chọn lý tưởng cho nhiều trường hợp sử dụng tìm kiếm và phân tích nhật ký khác nhau.Tìm hiểu thêm»
Vào ngày 21 tháng 1 năm 2021, Elastic NV thông báo rằng họ sẽ thay đổi chiến lược cấp phép phần mềm và không phát hành các phiên bản mới của Elasticsearch và Kibana theo Giấy phép Apache, Phiên bản 2.0 [ALv2]. Thay vào đó, các phiên bản mới của phần mềm sẽ được cung cấp theo giấy phép Elastic, với mã nguồn có sẵn theo Giấy phép Elastic hoặc SSPL. Các giấy phép này không phải là nguồn mở và không đem đến cho người dùng quyền tự do như nhau. Để đảm bảo rằng cộng đồng nguồn mở cũng như khách hàng tiếp tục có bộ phân tích và tìm kiếm nguồn mở hoàn toàn, chất lượng cao, an toàn, chúng tôi đã giới thiệu dự án OpenSearch, một nhánh được cấp phép ALv2 tập trung vào cộng đồng tách ra từ nguồn mở Elasticsearch và Kibana. Bộ sản phẩm OpenSearch bao gồm một công cụ tìm kiếm, OpenSearch và OpenSearch Dashboards, một giao diện dành cho người dùng và để hiển thị trực quan.
L = Logstash
Logstash là một công cụ thu nạp dữ liệu nguồn mở cho phép bạn thu thập dữ liệu từ các nguồn khác nhau, chuyển đổi dữ liệu và gửi dữ liệu tới điểm đích bạn muốn. Với các bộ lọc được tạo sẵn và hỗ trợ hơn 200 phần bổ trợ, Logstash cho phép người dùng dễ dàng thu nạp bất kỳ dữ liệu đến từ nguồn hay thuộc loại dữ liệu nào.Tìm hiểu thêm »
K = Kibana
Kibana là một công cụ hiển thị trực quan và khám phá dữ liệu dành cho hoạt động đánh giá nhật ký và sự kiện. Kibana cung cấp các biểu đồ tương tác dễ sử dụng, những bộ lọc và tập hợp được tạo sẵn cũng như hỗ trợ không gian địa lý, khiến cho công cụ này trở thành lựa chọn ưa thích cho hoạt động hiển thị trực quan dữ liệu được lưu trữ trong Elasticsearch.Tìm hiểu thêm »
ELK Stack đáp ứng một nhu cầu trong lĩnh vực phân tích nhật ký. Khi ngày càng nhiều cơ sở hạ tầng CNTT của bạn chuyển sang các đám mây công cộng, bạn cần một giải pháp quản lý và phân tích nhật ký để giám sát cơ sở hạ tầng này cũng như xử lý mọi nhật ký máy chủ, nhật ký ứng dụng và đường dẫn nhấp chuột. ELK Stack cung cấp một giải pháp phân tích nhật ký tuy đơn giản nhưng lại vô cùng hiệu quả cho các nhà phát triển và kỹ sư DevOps để giúp họ thu thập những thông tin chi tiết giá trị về chẩn đoán lỗi, hiệu suất ứng dụng và giám sát cơ sở hạ tầng - với mức giá vô cùng phải chăng.
Tại sao ELK Stack lại phổ biến như vậy?
ELK Stack được sử dụng phổ biến vì dịch vụ này đáp ứng được một nhu cầu trong lĩnh vực phân tích nhật ký. Khi ngày càng nhiều cơ sở hạ tầng CNTT của bạn chuyển sang các đám mây công cộng, bạn cần một giải pháp quản lý và phân tích nhật ký để giám sát cơ sở hạ tầng này cũng như xử lý mọi nhật ký máy chủ, nhật ký ứng dụng và đường dẫn nhấp chuột. ELK Stack cung cấp một giải pháp phân tích nhật ký tuy đơn giản nhưng lại vô cùng hiệu quả cho các nhà phát triển và kỹ sư DevOps để giúp họ thu thập những thông tin chi tiết giá trị về chẩn đoán lỗi, hiệu suất ứng dụng và giám sát cơ sở hạ tầng - với mức giá vô cùng phải chăng.
ELK Stack - Lựa chọn phương án phù hợp
Bạn có thể chọn tự mình triển khai và quản lý ELK Stack với phiên bản Elasticsearch và Kibana được cấp phép Apache 2.0 [tới phiên bản 7.10.2] hoặc tự mình quản lý một công cụ nguồn mở thay thế cho ELK Stack với OpenSearch, OpenSearch Dashboards và Logstash. Tuy nhiên, bạn sẽ muốn các nhà phát triển hoặc kỹ sư DevOps của mình dành thời gian xây dựng những ứng dụng sáng tạo hay là quản lý các tác vụ vận hành như triển khai, nâng cấp, cài đặt và vá phần mềm, sao lưu và giám sát? Ngoài ra, việc thay đổi quy mô để đáp ứng các yêu cầu kinh doanh của bạn hoặc đảm bảo tính bảo mật và tuân thủ là một thách thức đối với lựa chọn tự quản lý.
Hoặc bạn có thể lựa chọn một phương án dễ dàng hơn, với quy mô linh hoạt và an toàn hơn.
Giới thiệu về Amazon OpenSearch Service
Amazon OpenSearch Servicecung cấp các phiên bản mới nhất của OpenSearch, hỗ trợ 19 phiên bản Elasticsearch [phiên bản 1.5 đến 7.10] cùng tính năng hiển thị trực quan được Kibana và OpenSearch Dashboards hỗ trợ [phiên bản 1.5 đến 7.10]. Dịch vụ này tích hợp với Logstash cũng như các dịch vụ AWS khác như Amazon Kinesis Data Firehose, Amazon CloudWatch Logs và AWS IoT nhằm mang tới cho bạn sự linh hoạt trong việc lựa chọncông cụ thu nạp dữ liệuthỏa mãn được những yêu cầu trong trường hợp sử dụng của mình.
OpenSearch bao gồm một số mã Elasticsearch được Apache cấp phép từ Elasticsearch B.V. và mã nguồn khác. Elasticsearch B.V. không phải là nguồn của mã nguồn khác đó. ELASTICSEARCH là nhãn hiệu đã đăng ký của Elasticsearch B.V.
Làm thế nào để bắt đầu sử dụng Amazon OpenSearch Service?
Bạn may mắn đấy! Chúng tôi đã tạo ra bản hướng dẫn từng bước này để giúp bạn bắt đầu sử dụng Amazon OpenSearch Service. Với Bậc miễn phí AWS, bạn có thể tạo miền đầu tiên của mình mà không phải chịu bất cứ rủi ro hay chi phí nào.
Bắt đầu
Logging là một phần không thể thiếu trong bất kì hệ thống nào, nó giúp chúng ta lưu lại dấu vết, hoạt động của ứng dụng, giúp phân tích, điều tra bugs, bla bla…
Việc quản lý log sao cho hiệu quả luôn là một bài toán cần phải giải khi mà trong một hệ thống lớn thì file log có thể lên tới vài chục GB, hay là trong mô hình microservices thì chúng ta có rất nhiều servers tương ứng với rất nhiều file logs.
Hôm nay tôi xin giới thiệu về ELK stack một công cụ mạnh mẽ dùng để quản lý và phân tích log tập chung.
ELK stack là gì
“ELK” là từ viết tắt của ba dự án nguồn mở: Elaticsearch, Logstash và Kibana. Trong đó:
- Elaticsearch: là một search engine được rất nhiều anh em sử dụng, trong bộ ba này thì nó đóng vai trò là một store để chứa logs kiêm vai trò tìm kiếm và phân tích mạnh mẽ vốn có.
- Logstash: đây là một công cụ sử dụng để thu thập, xử lý log được viết bằng Java. Nhiệm vụ chính của logstash là thu thập log sau đó chuyển vào Elastichsearch. Mỗi dòng log của logstash được lưu trữ đưới dạng json.
- Kibana: là công cụ cho phép trực quan hoá dữ liệu từ Elasticsearch, ở đây chính là đống logs của chúng ta.
Luồng hoạt động
- Đầu tiên, log sẽ được đưa đến Logstash. [Thông qua nhiều con đường, ví dụ như server gửi UDP request chứa log tới URL của Logstash, hoặc Beat đọc file log và gửi lên Logstash]
- Logstash sẽ đọc những log này, thêm những thông tin như thời gian, IP, parse dữ liệu từ log [server nào, độ nghiêm trọng, nội dung log] ra, sau đó ghi xuống database là Elasticsearch.
- Khi muốn xem log, người dùng vào URL của Kibana. Kibana sẽ đọc thông tin log trong Elasticsearch, hiển thị lên giao diện cho người dùng query và xử lý.
Vì sao nên sử dụng ELK stack
Với các hệ thống hoặc ứng dụng nhỏ, ta không cần ELK Stack làm gì, cứ ghi log ra file hoặc stdout của hệ thống là được
Tuy nhiên với hệ thống lớn, gồm nhiều services lại là câu chuyện khác.
- Quản lý log tập trung: Thay vì phải lọ mọ vào từng servers xem log thì chúng ta chỉ cần mở kibana trên trình duyệt web là có thể xem được log của tất cả các servers rồi
- Dễ dàng tích hợp: dù bạn có dùng Nginx hay Apache, dùng MSSQL, MongoDB hay Redis, Logstash đều có thể đọc hiểu và xử lý log của bạn nên việc tích hợp rất dễ dàng.
- Search và filter mạnh mẽ: Elasticsearch cho phép lưu trữ thông tin kiểu NoSQL, hỗ trợ luôn Full-Text Search nên việc query log rất dễ dàng và mạnh mẽ, ngay cả với dữ liệu log cực kì lớn.
- Scale dễ dàng: Khi muốn xử lý nhiều log hơn, chúng ta chỉ việc tăng số nodes của Elasticsearch hoặc Logstash lên là xong
- Dễ dàng triển khai và hoàn toàn miễn phí: Chúng ta có thể chạy bộ 3 này trên 1 server duy nhất, và không tốn tiền bản quyền vì các phần mềm này đều là mã nguồn mở + free.
- Cộng đồng mạnh, tutorial nhiều.
Hi vọng qua bài viết này các bạn có thể hiểu tổng quan ELK Stack là gì và tại sao chúng ta cần nó
Nếu cần hỗ trợ, bạn vui lòng liên hệ , website: //support.pavietnam.vn
Tham khảo các bài viết khác tại đây
Các khuyến mãi tại đây