Gradient Descent with Controlled Ascent in Pareto Optimization

Tóm tắt báo cáo

Multi-Task Learning (MTL) là một mô hình được thiết lập tốt cho các mô hình học tập chung cho nhiều nhiệm vụ tương quan. Thường thì các nhiệm vụ xung đột, đòi hỏi sự cân bằng giữa chúng trong quá trình tối ưu hóa. Trong những trường hợp như vậy, các phương pháp MTL dựa trên tối ưu hóa đa mục tiêu có thể được sử dụng để tìm một hoặc nhiều nghiệm tối ưu Pareto. Một yêu cầu phổ biến trong các ứng dụng MTL, không thể giải quyết được bằng các phương pháp này, là tìm ra giải pháp thỏa mãn sở thích do người dùng chỉ định đối với các tổn thất theo nhiệm vụ cụ thể. Exact Pareto Optimization (EPO) là phương pháp tiếp cận độc đáo kết hợp nhiều dốc đi xuống với đi lên được kiểm soát cẩn thận để đi qua mặt trước Pareto một cách có nguyên tắc, điều này cũng làm cho nó trở nên mạnh mẽ khi khởi tạo. Khả năng mở rộng của thuật toán cho phép sử dụng nó trong các mạng sâu quy mô lớn cho MTL. Chỉ giả định khả năng khác biệt của các hàm mất mát theo nhiệm vụ cụ thể, EPO cung cấp các đảm bảo về mặt lý thuyết cho sự hội tụ.