Akışı aç
Chat isteğinde stream true gönder. Gateway kullanım bilgisini akışa dahil etmek için gerekli stream_options alanını ayarlar.
Python
stream = client.chat.completions.create(
model="siber-v3",
messages=[{"role": "user", "content": "Kısa bir test planı yaz."}],
max_tokens=1024,
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="")Parçaları doğru ayır
Bir ağ parçası yarım UTF-8 karakteri veya birden fazla SSE olayı taşıyabilir. data satırlarını olay sınırına kadar biriktir; tamamlanma işaretini ve hata olaylarını işle. Araç argümanlarının parçalı gelmesini de göz önünde tut.
İptal ve kesilme
İstemci bağlantısının iptali iç isteğe aktarılır. Kısmi içerik üretilmiş olabilir; kesilen çağrıyı otomatik olarak ücretsiz veya hiç çalışmamış sayma. Kullanım bulunamazsa rezervasyon uzlaştırma gerektirebilir.