محرك الاستدلال AI المرن للمؤسسة

1// الاستدلال عالي الإنتاجية باستخدام vLLM
2من vllm import LLM, SamplingParams
3
4يطالب = ["شرح الحوسبة الكمومية في 100 كلمة."]
5sampling_params = SamplingParams (درجة الحرارة = 0.8، top_p = 0.95)
6
7llm = LLM (نموذج = "llama-3-70b-instruct"، Tensor_parallel_size=4)
8المخرجات = llm.generate(المطالبات، sampling_params)