BEACHSIDE BLOG

Azure と GitHub と C# が好きなエンジニアの個人メモ ( ・ㅂ・)و ̑̑

2024-04-26から1日間の記事一覧

Azure OpenAI の Asynchronous Modified Filter (非同期変更フィルター) で Streaming のレスポンスを劇的改善する

Azure OpenAI でストリーミングのレスポンスを使うと、遅すぎて思ってたのと違うんだが...と思うことありませんか? それを解消する手段の一つが Asynchronous Modified Filter (非同期変更フィルター) です。 Asynchronous Modified Filter (非同期変更フィ…