sinanuozdemir/foundations-of-gen-ai

📚 Notebook khám phá đường từ BERT tới LLM đa dạng thức

Bộ tài liệu thực hành toàn diện từ O'Reilly Live Training, đi từ lý thuyết Transformer tới các ví dụ thực chiến.

Kho lưu trữ này là tài liệu kèm theo khóa đào tạo trực tuyến của O'Reilly với tên gọi "Transformer Architectures for Generative AI", do Sinan Ozdemir (CTO LoopGenius, giảng viên Johns Hopkins) trực tiếp biên soạn. Nội dung gồm hơn hai chục notebook Jupyter, mỗi notebook kết hợp lý thuyết ngắn với đoạn code thực hành, giúp người học nhanh chóng nắm vững cách các kiến trúc Transformer vận hành trong cả NLP lẫn computer vision.

✨ Điểm nổi bật

• Khóa học O'Reilly: Tài liệu chính thức đi kèm khóa học Live Online Training.
• BERT – nền tảng LLM: Nhận diện cách BERT mở đường cho các mô hình ngôn ngữ lớn.
• GPT – LLM học cách nói: Tìm hiểu quá trình tiến bộ từ GPT tới các phiên bản sau.
• T5 – căn bằng hướng dẫn: Khám phá cách T5 tiên phong trong việc căn chỉnh theo chỉ dẫn.
• Multimodal LLMs: Xây dựng hệ thống caption ảnh bằng Vision Transformer.
• Kiểm tra embedding: So sánh cơ chế attention khác nhau qua token embeddings.
• Fine-tuning BERT/OpenAI: Áp dụng BERT và OpenAI để phân loại đánh giá ứng dụng.
• VQA System: Xây dựng hệ thống hỏi đáp ảnh bằng GPT-2 + Vision Transformer.
• SAWYER – RLHF đầy đủ: Fine-tuning Llama-3, huấn luyện reward model, áp dụng RLHF.
• Distillation & Speculative Decoding: Khám phá kỹ thuật rút gọn mô hình và tăng tốc sinh.
• RAG & Agent: Giới thiệu vector database, retrieval và đánh giá lựa chọn công cụ.
• Probing Chess LLMs: Phân tích khả năng của LLM trong chơi cờ vua.

💡 Vì sao đáng chú ý

Dự án nổi bật bởi sự kết hợp giữa lý thuyết sâu và thực hành trực tiếp qua notebook, giúp người học không chỉ hiểu khái niệm mà còn chạy thử ngay. Các notebook được chia thành nhiều chủ đề phụ như embedding, classification, multimodal, RLHF, RAG và probing — đáp ứng nhu cầu học tập từ cơ bản tới nâng cao. Đặc biệt, các phần liên quan đến SAWYER và RLHF cung cấp quy trình hoàn chỉnh từ fine-tuning tới sử dụng mô hình, rất hữu ích cho người muốn xây dựng LLM tùy chỉnh.

#GenerativeAI #Transformers #MachineLearning #TiniX