AI glossary

इन्फरेंस

एक मॉडल को रिस्पॉन्स प्राप्त करने के लिए चलाना। मॉडल को ट्रेन करने के विपरीत। प्रोडक्शन में अधिकांश LLM लागत inference की होती है।

Want to talk about how this applies to your stack?