Bagging la gi

• TỪ ĐIỂN
• CHỦ ĐỀ

Từ vựng tiếng Anh theo chủ đề:

Từ vựng tiếng Anh hay dùng:

bagging

bagging /'bægiɳ/

• danh từ
  • vải may bao, vải may túi

Xem thêm: sacking, base, handbag, pocketbook, purse, bagful, traveling bag, grip, suitcase, old bag, udder, cup of tea, dish, bulge, pocket

Trong machine learning tồn tại định lý “không có bữa trưa miễn phí” [No free lunch theorem], tức là không tồn tại một thuật toán mà luôn tốt cho mọi ứng dụng và mọi tập dữ liệu, vì các thuật toán machiner learning thường dựa trên một tập các tham số [hyperparameters] hoặc một giả thiết nhất định nào đó về phân bố dữ liệu. Vì vậy để tìm được những thuật toán phù hợp cho tập dataset của mình có thể các bạn sẽ cần nhiều thời gian để test các thuật toán khác nhau. Rồi từ đó thực hiện hiệu chỉnh các tham số [tuning hyperparameters] của thuật toán để thu được độ chính xác cao nhất.

Một cách khác có thể sử dụng để tăng độ chính xác trên tập dataset của bạn là kết hợp [combine] một số mô hình với nhau. Phương pháp này gọi là esemble learning. Ý tưởng của việc combine các mô hình khác nhau xuất phát từ một suy nghĩ hợp lý là: các mô hình khác nhau có khả năng khác nhau, có thể thực hiện tốt nhất các loại công việc khác nhau [subtasks], khi kết hợp các mô hình này với nhau một cách hợp lý thì sẽ tạo thành một mô hình kết hợp [combined model] mạnh có khả năng cải thiện hiệu suât tổng thể [overall performance] so với việc chỉ dùng các mô hình một cách đơn lẻ.

Các phương pháp Ensemble Learning được chia thành 3 loại sau đây:

• Bagging [đóng bao]
• Boosting [tăng cường]
• Stacking [Xếp chồng]

Trong post này, trước hết tôi sẽ giới thiệu 3 kỹ thuật ensemble learning kể trên, sau đó là cách sử dụng thư viện caret và caretEnsemble trong R để triển khai chúng và áp dụng vào bài toán cụ thể.

Để cài đặt 2 thư viện này ta dùng lệnh install.packages[.] với tham số đầu vào là tên thư viện muốn cài:

Đôi nét về thư viện caret: Ngôn ngữ R khác biệt bởi số lượng rất lớn các packages chuyên dụng khác nhau cho phép xây dựng các mô hình dự đoán. Tuy nhiên đây cũng chính là khuyết điểm, khi có quá nhiều các gói triển khai machine learning algorithms dưới dạng các hàm rải rác đòi hỏi ta cần nhiều thời gian để tìm kiếm và nắm vững những đặc trưng về cú pháp cũng như cách sử dụng của từng hàm. Để giải quyết vấn đề này Max Kuhn đã xây dựng một giao diện phổ quát cho phép truy cập và sử dụng các machine learning algorithms từ cái gói khác nhau được triển khai trên ngôn ngữ R. Kết quả chính là package caret [viết tắt từ Classification and Regression Training], được công bố đầu tiên vào năm 2008 tại tạp chí phần mềm thống kê Journal of Statistical Software. Gói caret giúp chúng ta tiết kiệm được rất nhiều thời gian trong quá trình phân tích và xây dựng các models. Dưới đây là một số đặc trưng cơ bản của gói caret:

• Sử dụng cú pháp lệnh chung [phổ quát] không phụ thuộc vào cú pháp của các hàm gốc [các hàm triển khai các machine learningalgorithms]

• Tự động tìm kiếm những giá trị tối ưu cho các hyperparameters của mô hình [tuning parameters]

• Có khả năng tổ chức tính toán song song để tăng đáng kể tốc độ quá trình huấn luyện mô hình

• Sử dụng Caret cho phép giải quyết hầu hết các nhiệm vụ trong machine learning từ tiền xủ lý cho đến đánh giá mô hình

1. Phân biệt 3 kỹ thuật boosting, baggig và statcking

Bagging xây dựng một lượng lớn các models [thường là cùng loại] trên những subsamples khác nhau từ tập training dataset một cách song song nhằm đưa ra dự đoán tốt hơn.

Boosting xây dựng một lượng lớn các models [thường là cùng loại]. Tuy nhiên quá trình huấn luyện trong phương pháp này diễn ra tuần tự theo chuỗi [sequence]. Trong chuỗi này mỗi model sau sẽ học cách sửa những errors của model trước [hay nói cách khác là dữ liệu mà model trước dự đoán sai].

Stacking xây dựng một số models [thường là khác loại] và một mô hình supervisor model, mô hình này sẽ học cách kết hợp kết quả dự báo của một số mô hình một cách tốt nhất.

2. Thực hành

Nạp các thư viện cần dùng vào phiên làm việc của R để thực hành:

Kiểm tra số lượng các machine learning algorithms trong R được hỗ trợ bởi caret: