BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

Tóm tắt báo cáo

Giới thiệu về BERT- (Bidirectional Encoder Repersentations from Transformer). BERT được thiết kế để tiền huấn luyện những đại diện theo 2 chiều sâu ( khác với 2 chiều nông như ở Transformer) bằng cách cùng lúc nhận vào các ngữ cảnh cả trái và phải của từ. BERT có thể fine-tuned để mang lại các kết quả state-of-art cho nhiều bài toán khác như là QA, language inference từ cấu trúc đã có của BERT. BERT hoạt động theo concept dễ hiểu tuy nhiên đạt được những kết quả rất tốt cho nhiều bài toán ví dụ: nâng GLUE benchmark lên 80.4% ( cải thiện 7.6%), MultiNLI accuracy lên 86.7% ( cải thiện 5.6%) ,the SQuAD v1.1 QATest F1 lên 93.2 ( cải thiện 1.5), vượt khả năng của con người. 2.0.