Đo lường hiệu quả tự động hóa AI một cách trung thực
Ba phép thử tách khoản tiết kiệm thật khỏi con số quảng bá, kèm ví dụ tính đủ chi phí, số giờ đo được và điểm hòa vốn tính bằng tháng.
Austin Vu · Managing Partner, Qonnex
Bản chào nào về tự động hóa cũng có một con số tiết kiệm. Sáu mươi giờ mỗi tuần. Hoàn vốn trong ba tháng. Những con số tròn trịa, đầy tự tin, và hiếm khi đứng vững khi phòng tài chính rà lại sau một năm.
Khoảng cách đó thường không phải do gian dối. Vấn đề là hiệu quả chỉ được tính một lần, trước khi triển khai, bởi chính những người mong muốn tin vào nó nhất, rồi không bao giờ được đo lại. Cách đo trung thực khác ở ba điểm cụ thể, và mỗi điểm có một phép thử đi kèm.
Ba phép thử mà phần lớn con số không vượt qua
Phép thử phản chứng: không có dự án này thì mọi thứ có tự cải thiện không? Quy trình tốt lên vì nhiều lý do chẳng liên quan gì đến phần mềm mới. Nhân viên mới hết giai đoạn làm quen. Nhà cung cấp cuối cùng cũng chuẩn hóa mẫu hóa đơn. Khối lượng công việc giảm sau mùa cao điểm. Nếu đội của bạn vốn đã lên kế hoạch dọn dẹp quy trình và việc đó tự nó tiết kiệm tám giờ mỗi tuần, thì tám giờ ấy không được ghi công cho tự động hóa. Cách phòng vệ duy nhất là một đường cơ sở được ghi lại bằng văn bản, có ngày tháng, kèm danh sách mọi thay đổi khác đang diễn ra trong giai đoạn đo lường.
Phép thử tính đủ chi phí: bạn đã đếm hết những gì mình bỏ ra chưa? Tiền thuê phần mềm thường là dòng nhỏ nhất. Triển khai và tích hợp là tiền thật. Đào tạo là giờ công có trả lương của từng người ngồi trong phòng. Và dòng ẩn lớn nhất là số giờ của chính đội ngũ bạn: trưởng phòng vận hành ngồi trong mọi buổi cấu hình, kế toán trưởng dựng lại quy trình phê duyệt, hai nhân viên làm sạch dữ liệu nhà cung cấp suốt ba cuối tuần. Những giờ đó đã đổ vào dự án thì phải nằm trong cột chi phí, tính theo đơn giá đầy đủ.
Phép thử độ bền: mức lợi có sống sót qua tháng thứ ba không? Tháng đầu tiên có sự mới mẻ và sự quan tâm của ban lãnh đạo chống lưng. Người nhiệt huyết thúc đẩy việc sử dụng, đội hỗ trợ của nhà cung cấp phản hồi nhanh, các ca khó được xử lý bằng hăng hái. Đến tháng thứ ba, những người nhiệt huyết đã chuyển sang dự án khác và hàng đợi ngoại lệ đã phình ra đến kích thước tự nhiên của nó. Những gì lúc đó vẫn đo được mới là mức lợi thật. Đo ở tháng đầu tiên là bạn đang ghi lại tuần trăng mật.
Con số vượt qua cả ba phép thử sẽ nhỏ hơn con số trong tờ rơi, đến muộn hơn, và là con số thật.
Một ví dụ cụ thể, kèm phép tính
Lấy một nhà phân phối 200 nhân sự, mỗi tháng xử lý khoảng 4.000 hóa đơn nhà cung cấp và 2.500 chứng từ giao nhận, với năm nhân viên kế toán phải trả chuyên nhập liệu, đối chiếu và truy đòi chứng từ. Họ triển khai một hệ thống tự động xử lý tài liệu: đọc chứng từ đến, khớp với đơn đặt hàng và ghi nhận giao dịch sạch vào hệ thống kế toán.
Phía chi phí, tính đủ:
- Triển khai và tích hợp: 38.000 đô la, trả một lần
- Giờ công nội bộ trong giai đoạn triển khai: 300 giờ với đơn giá đầy đủ 55 đô la, tức 16.500 đô la
- Đào tạo: 120 giờ công cho ba mươi người, tức 6.600 đô la
- Tổng chi ban đầu: 61.100 đô la
- Vận hành: 2.400 đô la mỗi tháng cho phần mềm cộng 600 đô la hỗ trợ, tổng 3.000 đô la
Phía khoản lợi, đo chứ không ước. Hồ sơ của nhà cung cấp hứa hẹn 60 giờ mỗi tuần. Phép thử phản chứng trừ đi tám giờ, vì kế hoạch chuẩn hóa mẫu hóa đơn vốn có sẵn đằng nào cũng mang lại chừng đó. Hệ thống còn tạo thêm việc mới: khoảng sáu giờ mỗi tuần để rà hàng đợi ngoại lệ. Và đến tháng thứ ba, khi sự chú ý ban đầu lắng xuống, con số duy trì được, kiểm chứng bằng dấu thời gian, là 34 giờ mỗi tuần.
- Con số trong hồ sơ nhà cung cấp
- 60 giờ/tuần
- Sau phép thử phản chứng
- 52 giờ/tuần
- Sau khi trừ việc mới phát sinh
- 46 giờ/tuần
- Còn duy trì ở tháng thứ ba
- 34 giờ/tuần
Với đơn giá đầy đủ 40 đô la, 34 giờ mỗi tuần tương đương khoảng 5.900 đô la mỗi tháng. Cộng thêm 1.600 đô la mỗi tháng từ các khoản thanh toán trùng được chặn lại và chiết khấu thanh toán sớm không còn bị bỏ lỡ, cả hai đều nhìn thấy được trên sổ cái, khoản lợi đo được vào khoảng 7.500 đô la mỗi tháng. Trừ 3.000 đô la chi phí vận hành, hệ thống tạo ra 4.500 đô la mỗi tháng.
Điểm hòa vốn: 61.100 đô la chia cho 4.500 đô la rơi vào khoảng tháng thứ mười bốn. Nói cho trung thực là mười một đến mười tám tháng, tùy mức độ sử dụng thực tế và giả định về tiền lương.
Phép tính của nhà cung cấp trên cùng sản phẩm lấy 60 giờ so với riêng tiền thuê phần mềm: hoàn vốn chưa đến bốn tháng. Cùng một phần mềm, cùng một công ty. Chỉ một trong hai con số xứng đáng xuất hiện trong tài liệu trình hội đồng quản trị.
Vì sao một khoảng đáng tin hơn một con số duy nhất
"Hòa vốn ở tháng mười bốn" nghe có vẻ chính xác, nhưng độ chính xác đó là đi vay. Các biến số thật, gồm mức độ sử dụng, khối lượng ngoại lệ và giả định tiền lương, đều bất định, nên kết quả cũng bất định theo. Một khoảng buộc bạn gọi tên các giả định của mình; một con số duy nhất che chúng đi.
Quy tắc ra quyết định rất đơn giản. Dựng khoảng từ một kịch bản thận trọng và một kịch bản kỳ vọng. Nếu đầu thận trọng vẫn vượt ngưỡng yêu cầu của bạn, hãy tiến hành. Nếu chỉ đầu lạc quan mới vượt, bạn không phải đang phê duyệt một dự án, bạn đang đặt cược.
Vì sao khảo sát "thời gian tiết kiệm" luôn thổi phồng
Hỏi nhân viên xem tự động hóa tiết kiệm cho họ bao nhiêu thời gian là cách đo phổ biến nhất và kém tin cậy nhất. Con người báo cáo thời gian họ nhớ, và trí nhớ giữ lại phiên bản tệ nhất: tờ hóa đơn mất bốn mươi phút, chứ không phải tờ trung vị mất sáu phút. Số phút giành lại cũng vụn vặt, rải rác trong ngày thành những khoảng trống quá nhỏ để dùng vào việc khác, nên tổng số trong khảo sát không bao giờ tái hiện thành sản lượng ở bất cứ đâu.
Theo kinh nghiệm của chúng tôi, khoảng cách giữa số tự khai và số đo bằng dấu thời gian thường từ một phần ba trở lên. Quy tắc khắc phục: một giờ chỉ được tính là tiết kiệm khi dấu thời gian, con số sản lượng hoặc dòng bảng lương thay đổi. Mọi thứ còn lại là giả thuyết.
Bảng tính bạn có thể tự áp dụng
Một trang, sáu cột cho mỗi quy trình:
- Đường cơ sở, đo và ghi ngày: số giờ, chi phí và tỷ lệ sai sót trước khi thay đổi bất cứ điều gì.
- Mức lợi được tuyên bố: con số của nhà cung cấp hoặc của đội, ghi lại để sau này đối chiếu.
- Khấu trừ phản chứng: phần cải thiện thuộc về những thay đổi khác vốn đã diễn ra.
- Việc mới phát sinh: xử lý ngoại lệ, hàng đợi rà soát, bảo trì.
- Mức lợi kiểm chứng, đo ở tháng thứ ba và đo lại ở tháng thứ sáu, lấy từ dữ liệu hệ thống thay vì khảo sát.
- Chi phí đầy đủ: khoản chi một lần, giờ công nội bộ theo đơn giá đầy đủ, và các khoản định kỳ.
Điểm hòa vốn bằng chi phí ban đầu chia cho khoản lợi ròng kiểm chứng mỗi tháng, viết dưới dạng một khoảng. Bất kỳ hệ thống tự động hóa nào không điền được cột thứ năm trong vòng một quý sau khi vận hành đều nên xem là chưa được chứng minh, bất kể tài liệu chào hàng nói gì.
Bảng tính này cũng chính là kỷ luật chúng tôi áp dụng trong các dự án của mình, vì chúng tôi buộc phải làm vậy: phần phân tích và rà soát chiến lược là miễn phí; ngoài phần đó, bạn không trả tiền nếu không có khoản tiết kiệm được kiểm chứng. Cách kiểm chứng được mô tả tại trang cách chúng tôi làm việc, và bản phân tích sẽ áp phép tính này lên chính số liệu của bạn trước khi bạn cam kết bất cứ điều gì.