Home »  Tags »  AI

AI

Fault-Tolerance for LLM Inference

What happens if the GPU crashes while answering your ChatGPT request.

2024-11-15 · 6 min · Pierre Louis Aublin