LINE chia sẻ cách kiểm chứng hồi quy E2E do AI tạo trước khi đưa vào CI
Bài chia sẻ từ LINE Plus cho thấy test chạy xanh chưa chắc kiểm tra đúng yêu cầu. Nhóm QA bổ sung truy vết assertion, cổng kiểm tra và review trước khi vận hành hồi quy định kỳ.
Vibe DevOps biên soạn ngày · khoảng 509 từ
Điểm chính từ bài gốc
- Nhóm QA của Giftshop tại LINE Plus nhận thấy test do AI sinh có thể chạy thành công nhưng chọn nhầm vùng giao diện hoặc bỏ sót điều kiện cần kiểm tra.
- Pipeline được điều chỉnh để cố định tiêu chí đạt theo đặc tả của con người và dừng khi có điểm mơ hồ ảnh hưởng đến kết quả.
- Nhóm bổ sung kiểm tra độ phủ assertion, thử thay đổi giá trị kỳ vọng và gói thông tin review trước khi đưa bộ test vào lịch chạy CI.
Theo bài gốc
Bài học từ test xanh nhưng kiểm tra sai
Trong bài chia sẻ kỹ thuật, nhóm QA của LINE Plus mô tả việc áp dụng AI vào hồi quy E2E cho cổng người bán Giftshop. Vấn đề không chỉ nằm ở tốc độ sinh mã: AI có thể tự chọn phần tử đầu tiên khi gặp nhiều vùng tương tự, hoặc chỉ kiểm tra một phần yêu cầu rồi vẫn báo đạt.
Nhóm chuyển sang mô hình truy vết kỳ vọng đến assertion, chặn mã thiếu kiểm chứng và yêu cầu con người giải quyết điểm chưa rõ. Với các assertion phù hợp, họ cố ý đổi giá trị kỳ vọng để xem test có thất bại hay không. Bài viết cho biết phạm vi hồi quy tăng từ 98 lên 196 ca và đã được tích hợp chạy định kỳ qua CI.
Bình luận của Vibe DevOps — không phải nội dung bài gốc
Góc nhìn vận hành: kiểm tra cả chất lượng bộ test
Góc nhìn Vibe DevOps: Với đội dùng AI để mở rộng kiểm thử trong pipeline triển khai, tín hiệu xanh nên được xem là kết quả thực thi, không tự động là bằng chứng đã kiểm tra đủ yêu cầu nghiệp vụ. Nên bắt đầu bằng việc ghi rõ từng điều kiện cần đạt và đối chiếu chúng với assertion thực tế.
Có thể ưu tiên review những test quyết định quyền triển khai, đặc biệt khi locator chọn giữa nhiều phần tử hoặc dữ liệu thay đổi theo môi trường. Nếu công cụ tự sửa test, đội nên xem thay đổi đó có vô tình nới tiêu chí đạt hay không. Việc lưu bằng chứng lựa chọn phần tử và tách kết quả chạy khỏi nhận xét của AI giúp người duyệt có cơ sở đánh giá rõ hơn.
- Giữ tiêu chí chấp nhận độc lập với mã do AI sinh.
- Dừng để làm rõ điều kiện mơ hồ thay vì tự chọn cách dễ vượt kiểm tra.
- Chỉ đưa test vào cổng triển khai sau khi đã rà lại ý nghĩa của các assertion.
⚠️ Lưu ý và giới hạn
- Đây là bài học kỹ thuật từ một dịch vụ, không phải thông báo phát hành công cụ. Tác giả lưu ý vẫn cần người review và không phải assertion nào cũng kiểm chứng được bằng cách đổi giá trị kỳ vọng.