Walkaway DR — Cách Một Chiếc Điện Thoại Khôi Phục Máy Chủ Đã Hỏng

Tình Huống Mà Không Ai Chuẩn Bị

Phục hồi thảm họa trong phần mềm doanh nghiệp dựa vào cụm chuyển đổi dự phòng, cơ sở dữ liệu nhân bản và đội vận hành 24/7. Nó giả định bạn có trung tâm dữ liệu, kỹ sư mạng và ngân sách.

Bây giờ hãy loại bỏ tất cả. Bạn đang vận hành một trạm y tế trên một Raspberry Pi trong vùng thảm họa. Bộ nguồn bị đá văng. Thẻ SD bị hỏng. Thiết bị rơi khỏi bàn gấp trong cơn dư chấn. Máy chết.

Mọi hồ sơ bệnh nhân trong 72 giờ qua đều trên thiết bị đó. Phân loại sàng lọc. Nhật ký cấp phát thuốc. Chuỗi giám sát sản phẩm máu. Các ca phẫu thuật đang diễn ra. Tất cả.

Phục hồi thảm họa truyền thống nói: khôi phục từ bản sao lưu. Nhưng máy chủ sao lưu chính là thiết bị vừa hỏng. Không có đám mây. Không có trung tâm dữ liệu thứ hai. Không có đội CNTT.

Thứ duy nhất có: một điều dưỡng với chiếc điện thoại đã âm thầm đồng bộ dữ liệu mỗi năm phút.

Giao Thức Xuồng Cứu Sinh

Chúng tôi gọi đây là Giao thức Xuồng Cứu Sinh vì phép ẩn dụ chính xác. Khi tàu chìm, xuồng cứu sinh mang hành khách. Khi máy chủ chết, điện thoại mang dữ liệu.

Mỗi PWA (Ứng dụng Web Tiến bộ) trong hệ thống xGrid chạy một tiến trình nền gọi là Lifeboat Client. Mỗi năm phút, nó âm thầm kéo dữ liệu mới từ Raspberry Pi và lưu trữ cục bộ trong IndexedDB của trình duyệt -- một cơ sở dữ liệu bền vững tồn tại qua việc khởi động lại ứng dụng, khởi động lại điện thoại, và thậm chí chế độ máy bay.

Bản sao lưu không phải là một tập tin. Đó là một kho sự kiện có cấu trúc với mọi thay đổi đã xảy ra trên máy chủ, cộng thêm ảnh chụp định kỳ về trạng thái hiện tại của tất cả các bảng quan trọng -- hồ sơ bệnh nhân, sản phẩm máu, ca phẫu thuật, lịch dùng thuốc, kế hoạch chăm sóc.

Khi máy chủ chết, điện thoại thậm chí không biết ngay lập tức. Lần tiếp theo nó cố đồng bộ, nó nhận ra máy chủ đã biến mất. Khi một Raspberry Pi mới xuất hiện trên mạng, điện thoại phát hiện tự động: danh tính máy chủ đã thay đổi, và cơ sở dữ liệu trống.

Điều đó kích hoạt quá trình khôi phục.

Ba Phút Để Khôi Phục Hoàn Toàn

Quy trình khôi phục được thiết kế cho điều dưỡng, không phải kỹ sư:

Anh chup nhanh khoi phuc trang thai hien tai ngay lap tuc -- bang dieu khien co the su dung trong vai giay. Cac su kien phat lai toan bo lich su, dam bao moi duong kiem toan con nguyen ven.

Tai Sao Su Kien, Khong Chi Anh Chup Nhanh

Anh chup nhanh cho ban biet moi thu dang o dau. Su kien cho ban biet chung da den do bang cach nao.

Neu ban chi khoi phuc anh chup nhanh, ban biet Benh nhan A co hai don vi mau duoc phan bo. Nhung ban khong biet ai phan bo, khi nao, hay tai sao. Ban khong biet rang viec phan bo la mot lenh khan cap luc 2 gio sang vi benh nhan dang xuat huyet va bac si dang phau thuat cho benh nhan khac.

xGrid ghi lai moi thay doi trang thai nhu mot su kien bat bien: ai lam, khi nao, tren thiet bi nao, voi ly do gi. Kho su kien chi them vao -- su kien khong bao gio bi xoa hoac sua doi. Moi su kien mang mot ma bam mat ma (cryptographic hash) cua noi dung.

Khi dien thoai khoi phuc sang may chu moi, no gui toan bo chuoi su kien. May chu co the tai tao khong chi trang thai hien tai ma toan bo lich su cua moi quyet dinh, moi lenh ghi de, moi ban giao.

Xac Minh Chuoi Bam

Lam sao ban biet du lieu khoi phuc la day du va khong bi gia mao?

Moi loai thuc the (san pham mau, ca phau thuat, ho so benh nhan) duy tri mot chuoi bam lien tuc:

chain[i] = SHA-256(chain[i-1] + event_id + payload_hash)

Khai niem nay tuong tu blockchain, nhung khong co chi phi van hanh. Neu may chu goc co 500 su kien san pham mau tao ra chuoi bam a3f2..., va may chu khoi phuc xu ly cung 500 su kien do, no phai tao ra chuoi bam dong nhat a3f2....

Neu bat ky su kien nao bi thieu, bi sua doi, hoac sai thu tu, chuoi bam se phan ky. He thong danh dau no. Ban biet co van de truoc khi bat ky ai bat dau su dung du lieu.

Tinh Luy Dang: Luoi An Toan Cho Mang Khong On Dinh

Dieu gi xay ra neu dien thoai cua dieu duong mat WiFi giua chung qua trinh khoi phuc? Co ay ket noi lai va nhan "Khoi phuc" lan nua. Lieu no co sao chep trung?

Khong. Moi su kien co mot ID duy nhat va ma bam noi dung. Khi may chu nhan mot su kien da xu ly, no kiem tra:

• Cung ID, cung ma bam: Da ton tai. Bo qua. Khong trung lap.
• Cung ID, khac ma bam: Xung dot. Tu choi va ghi nhat ky de dieu tra.
• ID moi: Chen binh thuong.

Dieu duong co the nhan "Khoi phuc" muoi lan. Ket qua giong het nhu nhan mot lan. Day khong phai tinh nang tien loi -- day la thuoc tinh an toan quan trong. Trong moi truong cang thang voi ket noi khong on dinh, moi nguoi se thu lai. He thong phai xu ly viec thu lai mot cach on hoa.

Nhung Gi Duoc Khoi Phuc

Anh chup Lifeboat bao gom 20 bang quan trong:

Moi bang quan trong cho an toan benh nhan deu duoc bao gom. Neu no anh huong den quyet dinh lam sang, no ton tai qua qua trinh khoi phuc.

Thuc Te Cua The SD

Cac thiet bi Raspberry Pi su dung the SD de luu tru. The SD se mon. Chung khong duoc thiet ke cho kieu ghi cua may chu co so du lieu. Trong trien khai thuc dia chay 24/7, hong the SD khong phai la van de neu ma la khi nao.

Day la ly do Giao thuc Xuong Cuu Sinh ton tai. Khong phai la chinh sach bao hiem cho su kien kho xay ra, ma la mot phan thuong xuyen cua gia dinh van hanh he thong. He thong duoc thiet ke cho su co phan cung.

Qua trinh khoi phuc cung bao ve the SD moi. Thay vi ghi hang nghin thao tac co so du lieu rieng le, moi lo su kien duoc xu ly trong mot giao dich duy nhat. It thao tac ghi hon co nghia la it hao mon the SD hon, keo dai tuoi tho cua thiet bi thay the.

12 Buoc Xac Minh

Bai kiem tra DR dau cuoi cua chung toi chay 12 buoc:

1. Khoi tao may chu goc voi benh nhan, san pham mau, ca phau thuat va du lieu LSCO
2. Tao ke hoach cham soc PFC voi dau hieu sinh ton, the thuong vong TCCC va yeu cau MEDEVAC
3. Xuat tat ca su kien va anh chup (phan trang, dua tren con tro)
4. Ghi lai dau van tay chuoi bam cua may chu goc
5. Khoi dong may chu moi voi co so du lieu trong
6. Khoi phuc lo 1: anh chup + lo su kien dau tien
7. Khoi phuc cac lo con lai
8. So sanh chuoi bam giua may chu goc va may chu khoi phuc
9. Gui lai tat ca su kien (kiem tra tinh luy dang) -- xac minh khong trung lap
10. Xac minh tat ca du lieu LSCO ton tai: ke hoach PFC, the TCCC, yeu cau MEDEVAC
11. Kiem tra lich su khoi phuc: khong su kien nao bi tu choi
12. Xac nhan tinh toan ven cua duong kiem toan day du

Tat ca 12 buoc deu dat. May chu khoi phuc khong the phan biet voi may chu goc -- cung du lieu, cung lich su, cung chuoi bam.

Y Nghia Trong Thuc Te

Mot doi benh vien da chien trien khai voi hai thiet bi Raspberry Pi va mot hop phu tung. Khi mot thiet bi hong -- va no se hong -- trinh tu thay the mat vai phut, khong phai vai gio. Khong can ky su. Khong can truy cap dong lenh. Khong can dao tao dac biet ngoai viec "nhap PIN khi dien thoai yeu cau."

Du lieu khong nam tren may chu. No nam o moi noi -- tren moi dien thoai va may tinh bang da ket noi voi may chu. May chu khong phai la nguon su that. No la mot diem tap hop tien loi. Cac dien thoai la xuong cuu sinh, va chung luon san sang.

Day la y nghia cua Walkaway trong thuc te. Khong chi la cac nha phat trien co the roi di (ho co the -- xem The Walkaway Test). Ma phan cung cung co the roi di. Roi khoi ban. Bi giam len. Boc chay trong dư chan. Du lieu ton tai vi du lieu khong bao gio chi o mot noi.

---

Bai lien quan: The Walkaway Test · SQLite in the Battlefield · Hub-and-Spoke: Network Architecture for Disconnected Operations