Thức xuyên đêm, liên tục kiểm tra log, truy vết từng bước xử lý: Những nỗ lực của đội ngũ CNTT phía sau sự ổn định của hệ thống thanh toán tài khoản viễn thông trên Google Play

Yêu cầu từ đối tác rất khắt khe: thời gian xử lý phải dưới 7 giây, tỷ lệ lỗi không được vượt ngưỡng. Điều đó khiến mỗi khi hệ thống có dấu hiệu chậm lại, áp lực là điều cả đội đều cảm nhận rõ. Bởi ai cũng hiểu rằng, chỉ một sự chậm trễ nhỏ cũng có thể ảnh hưởng đến trải nghiệm khách hàng và trực tiếp tác động tới doanh thu.

Trong giai đoạn đầu, đội dự án chủ yếu tập trung xử lý các vấn đề phát sinh. Tuy nhiên, càng triển khai, mọi người càng nhận ra rằng nếu chỉ “vá lỗi” thì hệ thống khó có thể ổn định lâu dài. Từ đó, cả đội đã thống nhất một hướng đi khác – khó hơn nhưng cần thiết hơn: rà soát lại toàn bộ hệ thống, tìm ra các điểm nghẽn cốt lõi và tối ưu từ gốc.

Quá trình này không hề đơn giản. Mọi thay đổi đều phải thực hiện trong khi hệ thống vẫn đang vận hành liên tục. Có những thời điểm, anh em trong đội phải ở lại làm việc muộn, từng bước kiểm tra lại luồng xử lý, so sánh từng chỉ số trước và sau khi thay đổi để đảm bảo mọi thứ an toàn trước khi đưa vào vận hành.

Team Dự án cùng nhau nỗ lực cải thiện tối ưu hệ thống DCB 

Nhiều cải tiến được thực hiện một cách âm thầm nhưng mang lại hiệu quả rõ rệt. Đội đã rút gọn luồng xử lý bằng cách giảm phụ thuộc vào các lớp trung gian, chuyển sang kết nối trực tiếp với cơ sở dữ liệu BCCS Sale để giảm độ trễ. Song song đó là việc tối ưu dữ liệu: tách log lỗi khỏi luồng chính, tinh chỉnh cấu trúc bảng và bổ sung trường thời gian để truy vấn nhanh hơn. Những thay đổi này giúp hệ thống “nhẹ” hơn và cải thiện đáng kể tốc độ xử lý.

Ở lớp hạ tầng, cơ chế cân bằng tải cũng được nâng cấp với HTTP/2 để phân phối request hiệu quả hơn giữa các node, đặc biệt trong các khung giờ cao điểm khi lưu lượng giao dịch tăng mạnh. Cùng với đó, hệ thống giám sát được cải tiến theo hướng chủ động hơn: log được tổ chức lại chi tiết theo từng bước xử lý, dashboard theo dõi KPI/KQI được thiết lập và ngưỡng cảnh báo được hạ xuống 4 giây để phát hiện sớm các dấu hiệu bất thường.

Đằng sau những cải tiến đó là rất nhiều nỗ lực thầm lặng. Có những ngày, công việc kéo dài tới tối muộn để thử nghiệm và tinh chỉnh. Có những thời điểm hệ thống phát sinh sự cố, cả đội gần như thức xuyên đêm, liên tục kiểm tra log, truy vết từng bước xử lý, họp nhanh để tìm nguyên nhân và đưa ra phương án khắc phục trong thời gian ngắn nhất. Những lúc như vậy, áp lực là rất lớn, nhưng cũng chính là lúc tinh thần trách nhiệm và sự gắn kết của cả đội được thể hiện rõ nhất – mỗi người một phần việc, phối hợp chặt chẽ, không ai rời vị trí cho đến khi hệ thống ổn định trở lại.

Phần lớn công việc trong suốt hành trình này không phải là những thay đổi “lớn”, mà là những nỗ lực bền bỉ: đọc log, đo hiệu năng, thử nghiệm và điều chỉnh liên tục. Có những ngày, kết quả chỉ là hệ thống nhanh hơn một chút – nhưng chính những “một chút” đó, khi tích lũy lại, đã tạo nên sự khác biệt rõ ràng.

Trong những thời điểm tải cao, cả đội phải theo dõi hệ thống gần như liên tục. Không khí làm việc có lúc căng thẳng, nhưng cũng chính lúc đó tinh thần đồng đội được thể hiện rõ nhất – cùng nhau giữ nhịp hệ thống, cùng nhau vượt qua áp lực.

Sau quá trình tối ưu, hệ thống đã có những cải thiện rõ rệt: thời gian xử lý giao dịch nhanh hơn, tỷ lệ thành công cao hơn và nguy cơ gián đoạn kênh thanh toán được giảm thiểu. Quan trọng hơn, phía sau những con số đó là sự yên tâm – khi hệ thống ổn định, trải nghiệm khách hàng được đảm bảo và doanh thu được bảo vệ.

Nhìn lại chặng đường đã qua, điều đọng lại không chỉ là những cải tiến về kỹ thuật, mà còn là những câu chuyện rất thật về sự nỗ lực: những buổi tối làm việc muộn, những đêm thức cùng hệ thống, và tinh thần không bỏ cuộc cho đến khi vấn đề được giải quyết.

Hành trình tối ưu Google DCB vì thế không chỉ là câu chuyện về công nghệ, mà còn là câu chuyện về con người – những người đã âm thầm đồng hành, kiên trì và cùng nhau làm tốt hơn mỗi ngày.