AI glossary

स्ट्रीमिंग

मॉडल की response को token-दर-token उत्पन्न होते ही return करना, पूरे reply की प्रतीक्षा करने के बजाय। chat UX के लिए महत्वपूर्ण — पूरी response में कुछ सेकंड लगने पर भी responsive महसूस होता है।