Hoa Kỳ
horovod/horovod
Distributed training framework for TensorFlow, Keras, PyTorch, and Apache MXNet.
Thành tựu nổi bật
Những danh hiệu mới nhất của dự án
#2 Repository Của Tháng
#4 Repository Của Tháng
#9 Repository Của Tháng
🚀 Horovod: Huấn luyện học sâu phân tán nhanh như tên gọc, dễ như mở rộng
Horovod biến script huấn luyện một GPU thành quy mô nhiều GPU/máy chủ mà không cần sửa code.
Horovod là khung huấn luyện học sâu phân tán (distributed training) hỗ trợ TensorFlow, Keras, PyTorch và Apache MXNet. Phát triển bởi Uber, dự án giúp dễ dàng mở rộng huấn luyện từ một GPU lên hàng trăm GPU mà không cần thay đổi lớn. Được tích hợp mô hình MPI (Message Passing Interface), Horovod tối ưu hiệu suất truyền dữ liệu giữa các nút.
✨ Điểm nổi bật
- MPI-based: Dựa trên khái niệm MPI như allreduce, allgather, broadcast — dễ tích hợp và hiệu quả.
- Hỗ trợ đa framework: Chạy trên TensorFlow, Keras, PyTorch, Apache MXNet chỉ với vài dòng code.
- Mở rộng dễ dàng: Từ 1 GPU → nhiều GPU → nhiều máy chủ mà không cần sửa script.
- Hiệu suất cao: Đạt 90% hiệu suất mở rộng trên 512 GPU (Inception V3, ResNet-101).
- Cài đặt đơn giản: Cài qua pip, hỗ trợ GPU với NCCL.
- Mã nguồn mở: Thuộc LF AI & Data Foundation, cộng đồng phát triển mạnh.
💡 Vì sao đáng chú ý
Khác với các giải pháp như Distributed TensorFlow (parameter server), Horovod áp dụng mô hình MPI giúp giảm thiểu thay đổi code và tối ưu tốc độ truyền dữ liệu. Đặc biệt hiệu quả khi huấn luyện mô hình lớn trên nhiều GPU hoặc máy chủ. Phù hợp với các nhóm nghiên cứu và doanh nghiệp cần mở rộng huấn luyện mà không muốn xây dựng hệ thống phân tán phức tạp.
#DistributedTraining #MachineLearning #TensorFlow #PyTorch #OpenSource #TiniX
Dự án tương tự
Khám phá các dự án và mô hình AI khác có sự tương đồng.
Visualizer for neural network, deep learning and machine learning models
Implement a ChatGPT-like LLM in PyTorch from scratch, step by step
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
🧑🏫 60+ Implementations/tutorials of deep learning papers with side-by-side notes 📝; including transformers (original, xl, switch, feedback, vit, ...), optimizers (adam, adabelief, sophia, ...), gans(cyclegan, stylegan2, ...), 🎮 reinforcement learning (ppo, dqn), capsnet, distillation, ... 🧠
Ultralytics YOLO27, YOLO26, YOLO11, YOLOv8 — object detection, instance segmentation, semantic segmentation, image classification, pose estimation, object tracking
Clone a voice in 5 seconds to generate arbitrary speech in real-time
DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective.