Zwei Modelle im Test gegeneinander

Zwei Modelle im Test gegeneinander

- Matt

Weil hinter IChatClient beides stecken kann, lässt sich ein Vergleich in wenigen Zeilen bauen:

IChatClient[] kandidaten =
[
    new OllamaApiClient(new Uri("http://homelab:11434"), "llama3.1:8b"),
    new OpenAIClient(key).GetChatClient("gpt-4o-mini").AsIChatClient(),
];

foreach (var c in kandidaten)
{
    var sw = Stopwatch.StartNew();
    var a = await c.GetResponseAsync(prompt);
    Console.WriteLine($"{c.GetType().Name}: {sw.ElapsedMilliseconds} ms");
    Console.WriteLine(a.Text);
}

Für eine belastbare Bewertung reicht das nicht, dafür gibt es die Evaluation-Pakete. Für die Frage „taugt das lokale Modell für diese eine Aufgabe” ist es aber genau richtig, weil man die Antworten nebeneinander sieht.

Bei Zusammenfassungen war der Unterschied bei mir kleiner als erwartet. Bei allem mit Struktur im Ergebnis deutlich größer.