Triển khai Triton Inference Server trên Google Kubernetes Engine

Triển khai Triton Inference Server trên Google Kubernetes Engine

Trong bài viết này, mình sẽ giới thiệu và hướng dẫn bạn cách triển khai Triton trên GKE để chạy các mô hình Deep Learning có sử dụng GPU.

26-01-2023

#Machine Learning #Deep Learning #Artificial Intelligence #K8S #Triton Inference Server #Google Kubernetes Engine #MLOps #Model Serving

Triển khai GPT-J 6B Vietnamese News trên Docker và K8S

Triển khai GPT-J 6B Vietnamese News trên Docker và K8S

Thời gian gần đây đang nổi lên 1 con AI tên là ChatGPT có khả năng giao tiếp như người thật, biết làm thơ, viết luận văn, giải toán, dịch tiếng Anh sang tiếng Việt, ngay cả viết và đọc hiểu code. Thậm

28-12-2022

#Machine Learning #Deep Learning #Artificial Intelligence #Docker #GPT-J #K8S #Natural Language Generation #Language Model

Cấu hình GPU trong Docker

Cấu hình GPU trong Docker

Trong bài trước, mình đã trình bày cách thiết lập môi trường Docker để chạy server Jupyter. Với nó, bạn có thể cài đặt bất kỳ package nào mà bạn muốn như scikit-learn, Tensorflow, PyTorch. Nhưng những

10-01-2021

#Docker #Jupyter

Cách thiết lập môi trường Docker cho server Jupyter của bạn

Cách thiết lập môi trường Docker cho server Jupyter của bạn

Jupyter Notebook và Jupyter Lab là 2 môi trường tuyệt vời cho data scientist thực hành với dữ liệu của mình. Tuy nhiên, đôi khi việc thực hành với dữ liệu gặp 1 chút khó khăn. Nào là cài đặt Java để c

05-01-2021

#Docker #Jupyter Notebook #Jupyter Lab

Làm quen với Kafka: Phần 1 - Chat với nhau trên console

Làm quen với Kafka: Phần 1 - Chat với nhau trên console

Trong 1 hệ thống theo kiến trúc Microservice, để xử lý 1 khối lượng dữ liệu lớn với sự tác động của nhiều service khác nhau, ta phải có cơ chế để các service này giao tiếp với nhau một cách hiệu quả,

01-01-2021

#Coding #Kafka #Python