Thí nghiệm đơn giản nhất
Thử nghiệm A/B là một trong những hình thức thí nghiệm đơn giản và mạnh mẽ nhất. Bạn lấy hai phiên bản, cho nhóm người này xem phiên bản A và nhóm kia phiên bản B, rồi đo phiên bản nào tốt hơn. Công ty công nghệ dùng thử nghiệm A/B tối ưu hóa mọi thứ từ màu nút bấm đến trang giá và cả tính năng sản phẩm. Nhưng logic tương tự áp dụng trong y tế (thuốc so với giả dược), giáo dục (phương pháp A so với B) và marketing (tiêu đề email A so với B).
Sức mạnh của thử nghiệm A/B đến từ ngẫu nhiên hóa. Bằng cách phân ngẫu nhiên vào nhóm A hoặc B, bạn loại bỏ ảnh hưởng biến gây nhiễu. Bất kỳ khác biệt kết quả nào giữa hai nhóm đều do thay đổi bạn thực hiện, không phải khác biệt sẵn có giữa mọi người. Đây là nguyên tắc nền tảng của thử nghiệm ngẫu nhiên có đối chứng trong y tế, được coi là tiêu chuẩn vàng của bằng chứng.
Thiết kế thí nghiệm
Thử nghiệm A/B tốt bắt đầu với giả thuyết rõ ràng và một chỉ số đo lường duy nhất. "Chúng tôi tin rằng đổi nút đăng ký từ xanh lá sang xanh dương sẽ tăng tỷ lệ nhấp." Chỉ số là tỷ lệ nhấp. Đối chứng (A) là nút xanh lá. Biến thể (B) là nút xanh dương. Mọi thứ khác giữ nguyên.
Nguyên tắc "thay đổi một thứ" này quan trọng. Nếu đồng thời đổi màu nút, nội dung và bố cục trang, rồi chuyển đổi tăng, bạn không biết thay đổi nào gây ra cải thiện. Thử nghiệm đa biến tồn tại cho thử nhiều thay đổi cùng lúc, nhưng cần mẫu lớn hơn nhiều và phân tích phức tạp hơn.
Bạn cũng cần quyết định trước thử nghiệm chạy bao lâu. Điều này phụ thuộc tính toán cỡ mẫu, gồm tỷ lệ chuyển đổi hiện tại, hiệu ứng nhỏ nhất cần phát hiện (cải thiện nhỏ nhất bạn quan tâm) và mức tin cậy mong muốn. Chạy thử nghiệm không có cỡ mẫu định trước là lỗi phổ biến nhất.
Cỡ mẫu: Tại sao quan trọng đến vậy
Cỡ mẫu quyết định công suất thống kê của thử nghiệm - khả năng phát hiện hiệu ứng thật khi có. Quá ít khách, bạn có thể bỏ lỡ cải thiện thật vì kết quả quá nhiễu. Quá nhiều, lãng phí thời gian và tài nguyên chạy lâu hơn cần thiết.
Giả sử tỷ lệ chuyển đổi hiện tại 3,2% và bạn muốn phát hiện cải thiện ít nhất 0,5 điểm phần trăm. Tùy mức tin cậy và yêu cầu công suất, bạn có thể cần 15.000 đến 30.000 khách mỗi nhóm. Nếu chỉ có 1.000 khách mỗi nhóm, thử nghiệm thiếu công suất và có thể cho kết quả không kết luận được, ngay cả khi phiên bản mới thực sự tốt hơn.
Khoảng tin cậy trên cho thấy tỷ lệ chuyển đổi ước tính mỗi nhóm. Lưu ý chúng hơi chồng lấp. Khác biệt có ý nghĩa thống kê hay không phụ thuộc cỡ mẫu chính xác và mức chồng lấp. Khi khoảng tin cậy chồng lấp ít hoặc không chồng lấp, bằng chứng mạnh hơn.
Ý nghĩa thống kê trong thử nghiệm A/B
Sau khi thu đủ dữ liệu, bạn chạy kiểm định thống kê (thường kiểm định z hai tỷ lệ hoặc chi bình phương) để xác định khác biệt có ý nghĩa thống kê không. Kết quả là giá trị p. Nếu p dưới ngưỡng (thường 0,05), bạn kết luận khác biệt khó do ngẫu nhiên.
Nhưng ý nghĩa không kể hết câu chuyện. Cải thiện có ý nghĩa thống kê 0,02 điểm phần trăm thật về mặt thống kê nhưng có lẽ không đáng nỗ lực kỹ thuật. Luôn kết hợp kiểm định ý nghĩa với nhìn vào kích thước hiệu ứng thực tế. Tăng 0,5 điểm phần trăm chuyển đổi có nghĩa là doanh thu đáng kể? Phụ thuộc bối cảnh kinh doanh.
Một số đội dùng cách tiếp cận Bayes thay vì giá trị p tần suất. Thử nghiệm A/B Bayes cho phát biểu xác suất trực tiếp: "có 94% xác suất biến thể B tốt hơn A." Nhiều người thực hành thấy trực quan hơn giá trị p chuẩn, vốn trả lời câu hỏi hơi khác.
Cạm bẫy phổ biến
Xem kết quả quá sớm. Đây là lỗi phổ biến và tai hại nhất. Nếu kiểm tra kết quả hàng ngày và dừng khi thấy ý nghĩa lần đầu, bạn tăng đáng kể tỷ lệ dương tính giả. Kiểm định thống kê được thiết kế đánh giá một lần, tại cỡ mẫu định trước. Nếu cần theo dõi kết quả liên tục, dùng phương pháp kiểm định tuần tự tính cho nhiều lần nhìn.
Thử quá nhiều biến thể. Thử năm phiên bản cùng lúc (A/B/C/D/E) có vẻ hiệu quả, nhưng nhân đôi cơ hội dương tính giả. Với năm biến thể và ngưỡng ý nghĩa 5%, xác suất ít nhất một dương tính giả khoảng 19%. Cần hiệu chỉnh so sánh bội hoặc tăng mẫu.
Công ty SaaS chạy thử nghiệm A/B trên trang giá. Sau ba ngày, quản lý sản phẩm kiểm tra thấy biến thể B tăng 15% chuyển đổi với p-value 0,03. Hào hứng, họ dừng thử nghiệm và triển khai biến thể B. Hai tuần sau, nhận ra chuyển đổi thực sự không tăng. Chuyện gì xảy ra? Xem sớm bắt được dao động ngẫu nhiên. Nếu chờ đủ cỡ mẫu 10.000 khách mỗi nhóm, hiệu ứng sẽ giảm còn 2% và không có ý nghĩa.
Bỏ qua phân khúc. Thử nghiệm A/B có thể không thấy khác biệt tổng thể, nhưng biến thể B có thể tốt hơn nhiều cho người dùng di động trong khi tệ hơn cho desktop. Các hiệu ứng triệt tiêu nhau khi gộp. Phân tích phân khúc có thể tiết lộ hiểu biết giá trị, nhưng cẩn thận: thử nhiều phân khúc cũng tăng rủi ro dương tính giả.
Thử nghiệm khi không đủ lưu lượng. Trang web nhỏ hoặc sản phẩm ít lưu lượng thường không đạt cỡ mẫu cần thiết trong thời gian hợp lý. Chạy thử nghiệm ba tháng đưa vào hiệu ứng mùa vụ và gây nhiễu khác. Nếu lưu lượng quá thấp cho hiệu ứng muốn phát hiện, xem xét thử thay đổi lớn hơn (cần ít mẫu hơn để phát hiện) hoặc dùng phương pháp định tính.
Thử nghiệm A/B là thí nghiệm ngẫu nhiên so sánh hai phiên bản để tìm phiên bản tốt hơn. Thử nghiệm tốt cần giả thuyết rõ ràng, một chỉ số chính, cỡ mẫu tính trước và kỷ luật chờ đủ kết quả trước khi kết luận. Cạm bẫy lớn nhất là xem kết quả quá sớm, thử quá nhiều biến thể không hiệu chỉnh, và nhầm ý nghĩa thống kê với tầm quan trọng thực tế. Làm đúng, thử nghiệm A/B cho bằng chứng nhân quả thay vì phỏng đoán.