M5 MacBook Pro: ML inference nhanh hơn M4 40%

Benchmark m5 macbook pro độc lập đang xuất hiện tuần này, và con số nổi bật là Neural Engine: nhanh hơn M4 khoảng 40% trên ba bộ test khác nhau, vượt tuyên bố "tới 35%" của Apple.

Setup test

Chạy bộ năm model (LLaMA 3 8B, Whisper Large v3, SDXL Turbo, MobileNet V3, BERT Large) trên M4 14-inch và M5 14-inch cùng RAM/SSD. Model chuyển sang Core ML và chạy trên Neural Engine (không phải GPU) để cô lập nâng cấp.

Kết quả

Thời gian inference trung bình giảm 40% (32-47% tùy model). Điện tiêu thụ mỗi lần inference giảm 28%, tổng năng lượng giảm ~57%. CPU tăng 14% Geekbench multi-core; GPU tăng 18% 3DMark. Neural Engine rõ ràng là điểm nâng cấp chính.

Ý nghĩa

Người dùng chạy inference trên thiết bị (transcribe, sửa ảnh, LLM cục bộ) sẽ thấy bước nhảy đáng kể. Người dùng phổ thông thì cải thiện ít hơn.