Brush: Công cụ Gaussian Splatting đa năng giúp việc tái tạo 3D trở nên dễ dàng hơn

Lĩnh vực tái tạo 3D đang chứng kiến một bước chuyển đổi quan trọng với sự xuất hiện của các công cụ dễ tiếp cận hơn. Các thảo luận trong cộng đồng cho thấy sự quan tâm ngày càng tăng đối với công nghệ Gaussian splatting, đặc biệt là khả năng phổ cập hóa việc tái tạo 3D trên các nền tảng và thiết bị khác nhau.

Chi tiết kỹ thuật và trách nhiệm đằng sau dự án " Brush ", thể hiện khả năng tái tạo 3D của nó

Phá bỏ rào cản

Brush, một công cụ Gaussian splatting mới, đang thu hút sự chú ý nhờ khả năng tương thích đa nền tảng và hiệu suất ấn tượng. Người dùng cho biết phiên bản demo trên trình duyệt hoạt động cực kỳ mượt mà, xử lý các tệp .ply 50MB với độ trễ tối thiểu và tạo ra hình ảnh chất lượng cao mà không bị nhấp nháy hay lỗi.

Yêu cầu kỹ thuật hiện tại

Đối với người dùng web:

• Chrome 129+ (phiên bản desktop)
• Cần bật cờ WebGPU cho người dùng Linux
• Tham số khởi chạy bổ sung cho Linux: --enable-features=Vulkan
• Firefox và Safari sẽ được hỗ trợ trong tương lai

Quy trình hai bước

Quy trình làm việc hiện tại bao gồm hai bước chính:

1. Tạo vị trí camera :

   • Yêu cầu COLMAP hoặc các giải pháp thay thế như GLOMAP
   • Thời gian xử lý: khoảng 30 phút
   • Được coi là điểm nghẽn đáng kể trong quy trình

2. Huấn luyện Gaussian Splatting :

   • Sử dụng hình ảnh và vị trí camera làm dữ liệu đầu vào
   • Tạo ra mô hình 3D khớp với ảnh đầu vào
   • Nhanh hơn đáng kể so với bước tạo vị trí camera

Hiệu suất và chất lượng

So sánh điểm chuẩn với phiên bản Gaussian Splat gốc cho thấy kết quả cạnh tranh:

Ứng dụng thực tế

Cộng đồng nhấn mạnh một số trường hợp sử dụng tiềm năng:

• Tham quan bất động sản ảo
• Nâng cao trải nghiệm xem đường phố
• Tạo nội dung thực tế ảo
• Hiệu ứng đặc biệt trong sản xuất video
• Hệ thống robot và ứng dụng SLAM (tuy nhiên hiện tại vẫn còn chậm cho xe tự hành)

Phát triển trong tương lai

Nhóm phát triển ghi nhận một số lĩnh vực cần cải thiện:

• Đang nỗ lực loại bỏ sự phụ thuộc vào COLMAP
• Khám phá tích hợp với ARCore/ARKit cho khởi tạo trên thiết bị di động
• Tối ưu hóa hiệu suất huấn luyện
• Nghiên cứu hỗ trợ lưới (mesh) để dễ chỉnh sửa hơn

Tính năng dễ tiếp cận

Một ưu điểm đáng chú ý là khả năng chạy trên nhiều cấu hình phần cứng khác nhau:

• Hoạt động trên laptop với GPU thông thường
• Hỗ trợ macOS/Windows/Linux
• Tương thích với card đồ họa AMD/NVIDIA
• Hỗ trợ Android (cần thiết lập thêm)
• Hoạt động trên trình duyệt
• Có khả năng hỗ trợ iOS (hiện chưa triển khai)

Dự án này đánh dấu một bước tiến quan trọng trong việc giúp công nghệ tái tạo 3D trở nên dễ tiếp cận hơn với đông đảo người dùng, mặc dù vẫn còn một số thách thức kỹ thuật cần được giải quyết.