Letzte Woche habe ich mit den obigen Chatbots getestet, wie gut sie bereits Buchungssätze bilden können. Dabei ist mir aufgefallen, dass sie Aufgaben als Text ab einem Foto sehr gut auslesen können, aber einen Kontoplan von einem Foto strukturiert in eine Excel-Datei zu überführen, hat nicht wirklich gut funktioniert. Also wollte ich mit dem Use Case weiter testen.
➡️ Versuch 1 (Foto): Ich gab den folgenden LLMs (ChatGPT-5, Claude Sonnet 4.5, Gemini Pro 2.5, Microsoft Copilot, Manus AI), wie letzte Woche, ein Foto mit einem gesamten Kontoplan. → Kein Chatbot konnte etwas Sinnvolles extrahieren. Und ich habe wirklich geübt…..
➡️ Versuch 2 (PDF): Ich lud ein PDF mit einem grossen KMU-Kontenrahmen (24 Seiten, rund 900 Konten) in jeden Chatbot und bat ihn mit einem gut strukturierten Prompt, das PDF auszulesen und mir eine Excel-Datei zu erstellen – mit Kontonummer und Kontobezeichnung – als Download.
Die Herausforderung:
Neben der effektiven Aufgabe ist ja besonders, dass 900 Konten und 24 Seiten ein relativ grosser Umfang für ein LLM darstellen. Ich rechnete aufgrund meiner bisherigen Erfahrungen mit Abbrüchen oder unvollständigen Ergebnissen.
Ergebnis:
👉 Copilot und Gemini: Trotz mehrmaliger, selbstbewusster Ankündigung kam kein gültiger Download-Link zustande.
👉 Claude Sonnet 4.5 (CHF 20-Abo) konnte die Aufgabe auch nicht zu Ende führen. Nach mehrmaligen Versuchen lief ich dann in die Kapazitäts-Begrenzung und habe dann abgebrochen.
👉 Manus AI löste die Aufgabe, aber exportierte nur 20 Konten. Ein Verhalten, das ich bei anderen Chatbots früher schon oft beobachtet habe.
👉 ChatGPT-5 im Thinking Mode: zu meinem Erstaunen hat ChatGPT effektiv den gesamten Kontorahmen 1:1 korrekt und vollständig in die Excel-Datei übertragen, und ich konnte sie per Download-Link öffnen -> 🥳
👉 Lokale LLM: Auf meinem Laptop habe ich diverse lokale LLM installiert und versuchte die Aufgabe natürlich auch mit diesen zu lösen. Zusammen mit ChatGPT, Claude und Gemini entwickelte ich einen Python-Code, mit dem ich das PDF auslesen und dann gestaffelt an das LLM senden konnte. Ich war gespannt, wie weit ich es hier bringen würde.
🗂️ Deepseek-coder:33b extrahierte z.B. ca. 145 Konten korrekt
🗂️ codellama:13b-instruct ca. 200 korrekt extrahierte Konten
🔝 Qwen2.5 extrahierte dann den gesamten Kontoplan korrekt! -> 🥳
👉 Natürlich machten mich ChatGPT/Claude und Gemini darauf aufmerksam, dass ich für diese konkrete Aufgabe PDF-Kontoplan zu Excel bei einem bestehenden Programmier-Umfeld und wenn die Daten so perfekt strukturiert vorliegen, kein LLM benötige, sondern einfach ein Python-Programm ausführen könnte. Dies war dann von ChatGPT/Claude und Gemini in Kürze geschrieben und übersetzte mir das PDF in Sekunden korrekt in eine Excel-Datei 😀.
in KI & Finance
Roman Kalberer
27. Oktober 2025