eine Sprache durch passives Umblättern in einem Lehrbuch.
Du kommst wirklich voran, wenn die Sprache zu dir spricht.
Wenn Sie Bilder sehen, echte Sätze hören, versuchen zu sprechen und Suggestions bekommen, dann macht in Ihrem Kopf schließlich alles Klick.
Früher brauchte man immer einen Lehrer an seiner Seite, um ein solches Suggestions zu bekommen.
Heutzutage kann generative KI diese Rolle auf Ihrem Telefon oder Laptop übernehmen, wie ein KI-Sprachlehrer, den Sie jederzeit nutzen können.
Als ich vor zehn Jahren anfing, Mandarin zu lernen, sah ich, dass viele Ausländer aufgrund der schlechten Aussprache Schwierigkeiten hatten, von Einheimischen in alltäglichen Gesprächen verstanden zu werden.
Es hat mich überzeugt, dass ein reichhaltiger Wortschatz ohne gute Aussprache nutzlos ist.
Ich erinnere mich noch daran, wie ich in meiner Wohnung in Shanghai saß und immer wieder denselben Satz wiederholte, ohne dass mich jemand korrigierte.
Als ich Jahre später die generative KI entdeckte, erinnerte ich mich an den Ingenieur in China, der mit Grammatikbüchern und Tönen zu kämpfen hatte.
Ich wollte Instruments entwickeln, die mir in der Vergangenheit geholfen hätten.
Da ich als Startup-Gründer nicht viel Freizeit habe, brauchte ich eine Möglichkeit, schnell neue Instruments zu entwickeln und zu testen.
Aus diesem Grund habe ich mich an n8n gewandt, um Assistenten zu entwickeln, die meine Chinesischübungen erheblich erleichtert hätten.
In diesem Artikel werde ich zeigen, wie ich n8n und multimodale KI verwende, um „Lernpartner“ für das Sprachenlernen aufzubauen, die:
- Korrigieren Sie meine Aussprache mithilfe der Textual content-to-Speech-Funktionen
- Erstellen Sie Übungen zum Lernen von Vokabellisten
- Generieren Sie Bilder, um Wörter oder Kontexte für das Üben im Lernkartenstil zu veranschaulichen
Gemeinsam zeigen sie, wie KI und Low-Code-Plattformen wie n8n jeden beim Erlernen einer komplexen Sprache unterstützen können.
Selbst bei täglicher Nutzung kostet das alles zusammen weniger als 1 Euro professional Monat.
KI für Aussprache und mündliches Verständnis
Mein Identify ist Samir, ein Provide-Chain-Experte, der während seines sechsjährigen Aufenthalts in China mit Mandarin zu kämpfen hatte.
Lassen Sie mich Ihnen Yin vorstellen, den KI-gestützten Sprachtrainer, den ich letzte Woche entwickelt habe.
Dies ist eine Webanwendung, die ich entwickelt habe, um meine Chinesisch-Lernreise nach mehr als fünf Jahren ohne Praxis zu unterstützen.
Es umfasst drei Funktionen:
- Ausspracheübungen
- A number of-Alternative-Fragen (MCQ)
- Lernkarten
Ich werde jede Funktion verwenden, um zu demonstrieren, wie ich multimodale KI verwende, um mein Leseverständnis, mein Hörverständnis und meine Aussprache in Mandarin zu verbessern.
Warum ist die Aussprache auf Mandarin so wichtig?
Lassen Sie mich eine echte Geschichte aus China erzählen, um hervorzuheben, wie wichtig es ist, in Mandarin den richtigen Ton zu verwenden.
Eines Tages wurde ich zu einem Vorstellungsgespräch beim größten chinesischen Expressunternehmen mit einem Wert von mehreren Milliarden Greenback eingeladen.
Das gesamte Gespräch fand auf Chinesisch statt.
Ich hatte meine Sätze sorgfältig vorbereitet und hervorgehoben, wie ich Knowledge Science zur Verbesserung des Lagerbetriebs eingesetzt habe.
Irgendwann wollte ich sagen: „Ich nutze Knowledge Science, um die Kommissionierproduktivität im Lager zu verbessern.“
Das Verb „Kommissionieren“ bedeutet das Entnehmen von Waren aus Regalen oder Regalen in einem Lagerhaus.
Auf Chinesisch verwendeten meine Kollegen das Verb 拣货 (jiǎn huò) um diesen Vorgang zu beschreiben.
Aber anstatt zu sagen jiǎn huòsagte ich jiàn huò.
Das ist ein ganz anderes Wort, das Sie in einem Vorstellungsgespräch auf keinen Fall verwenden möchten.
Um es hier höflich zu halten, sagen wir mal jiàn huò ist ein unhöfliches Wort.
Der Supervisor brach in Gelächter aus.
Ich verstand den Grund erst, als ich mich später mit der Headhunterin besprach und den Satz für sie wiederholte.
Dieser Second hat mir gezeigt, dass es bei der Aussprache im Chinesischen nicht nur darum geht, natürlich zu klingen.
Sie können Tausende von Wörtern kennen, aber wenn Ihr Ton falsch ist, werden die Leute Sie nicht verstehen.
Aus diesem Grund ist das erste Characteristic meiner App eine KI Aussprachetrainer.
Verwendung der Sprach-zu-Textual content-Erkennung zum Üben
Mithilfe von Speech-to-Textual content und Argumentation hört die App zu, was ich sage, vergleicht es mit dem Zielsatz und gibt Rückmeldung darüber, welche Töne oder Silben falsch waren.
Der Schwerpunkt liegt hier auf der Verbesserung meiner Aussprache von Logistik- und Provide-Chain-Begriffen (mein Fachgebiet).
Für jedes Wort haben wir:
- Das Wort in vereinfachten Mandarin-Schriftzeichen: 合同
- Der Satz, mit dem ich meine Aussprache üben konnte: 我们需要在发货前签署这份运输合同.
- Die englische Übersetzung: Wir müssen diesen Transportvertrag vor dem Versand der Ware unterzeichnen.
Für Anfänger können wir mit dem Schalter sogar Phonetik (Mandarin-Pinyin) hinzufügen.
Wie übt man die Aussprache?
Ich muss nur die Mikrofontaste unten drücken, um meinen Satz aufzunehmen.
Die Aufnahme wird automatisch zur Analyse an das Backend gesendet, das meine Aussprache mit der richtigen vergleicht.
Wenige Sekunden später erhielt ich mein Suggestions.
Das Suggestions ist recht detailliert; Es konzentriert sich auf die Wörter, die Sie falsch ausgesprochen haben.
Es ist quick so, als würde mich ein persönlicher Lehrer in Echtzeit korrigieren, nur dass dieser nie müde wird.
Natürlich ersetzt dies nicht einen großartigen Lehrer im Einzelunterricht, aber es kann Ihnen beim Üben nach dem Unterricht helfen.
Als ich anfing, Mandarin zu lernen, verbrachte ich die Abende (nach der Arbeit) alleine und wiederholte einfache Sätze, um mich mit den Nuancen der Töne vertraut zu machen.
Ich hatte damals keine Feedbackschleife; Dieses Device wäre sehr hilfreich gewesen.
Wie funktioniert es?
Textual content-to-Speech- und Argumentationsfunktionen von GenAI
Das Backend ist ein einfacher n8n-Workflow, der über einen Webhook mit dem Frontend verbunden ist.
Die Textual content-to-Speech-Funktionen werden verwendet, um die vom Frontend gesendete Audiodatei in Phonetik (Pinyin) zu transkribieren.
Die Ausgabe dieses Gemini-Audiotranskriptionsknotens umfasst die Phonetik:
(
{
"content material": {
"components": (
{
"textual content": "zuò pǐn huò zǒnggòng fàng zài èrshí ge tuōpán shàng.n"
}
),
"position": "mannequin"
},
"finishReason": "STOP",
"avgLogprobs": -0.16858814502584524
}
)Dieses Pinyin wird dann an den KI-Knoten gesendet Pronounciation Evaluation zusammen mit der Zielaussprache.
In diesem Beispiel habe ich das vorletzte Wort falsch ausgesprochen.
Genau das hat der Agent in seinem Suggestions erwähnt.
Dies zeigt, wie wir Textual content-to-Speech-Funktionen in Kombination mit der Argumentation generativer KI-Modelle nutzen können, um unsere Aussprache zu verbessern.
Dies kann an jede Sprache angepasst werden.
Wie sieht es mit der Bilderzeugung und Speetch-to-Textual content aus?
Generative KI für die Content material-Generierung
Wenn Sie die Benutzeroberfläche der Anwendung betrachten, stellen Sie fest, dass jedes Wort Folgendes enthält:
- Ein anschauliches Bild
- Ein Satz für den Kontext
- Audiotranskription über die Mikrofonsymbole verfügbar
Diese Inhalte werden mithilfe von KI-Modellen generiert, um verschiedene Lehrmaterialien für die zweite Funktion bereitzustellen: Lernkarten.
Textual content-to-Speech-Lösungen
Eine gute Möglichkeit, die Aussprache zu üben, besteht darin, zuzuhören und zu wiederholen.
Bevor ich meinen Satz aufzeichne, kann ich daher mit dieser ersten Speech-to-Textual content-Funktion lernen, wie man das Wort ausspricht.
Hierfür verwende ich die Textual content-to-Speech-API von Google, da sie ziemlich praktisch und kostenlos ist.
from gtts import gTTS
def generate_speech(textual content: str, lang: str):
filename = f"{uuid4().hex}.mp3"
filepath = f"./knowledge/gtts/{filename}"
tts = gTTS(textual content=textual content, lang=lang)
tts.save(filepath)Mit ein paar Codezeilen können Sie mithilfe des richtigen Sprachcodes die Textual content-to-Speech-Umwandlung eines beliebigen Wortes generieren.
Genau das habe ich in dem Device zum Generieren von Karteikarten verwendet, das ich vor drei Jahren auf In the direction of Knowledge Science vorgestellt habe.
Die damalige Idee bestand darin, mein Hörverständnis durch das Hinzufügen von Audio zu den Lernkartenantworten zu verbessern.
Was ist mit langen Sätzen?
Das Drawback bei Google Textual content-to-Speech ist die Roboterstimme.
Zum Glück haben wir elf Labore.
Der obige Workflow ist per Webhook mit der App verbunden.
Der Eleven-Labs-Knoten, der die Ausgabe des AI-Agenten entgegennimmt Generate Instance um die Audioversion des Satzes zu generieren.
Der Benutzer kann sich nun den Satz anhören, der „wie“ ein Muttersprachler ausgesprochen wird.
Was bleibt übrig? Fragen und Illustrationen …
Erstellung von Lehrmaterialien
Wie im vorherigen Abschnitt erläutert, werden die Sätze auch mithilfe von KI generiert.
Der von Gemini betriebene AI Agent-Knoten nimmt das zu untersuchende Wort als Eingabe und generiert anhand der folgenden Systemaufforderung einen Satz.
You're a Chinese language language tutor for professionals.
Given a Chinese language phrase, you MUST return a JSON object with EXACTLY these keys:
- "sentence": a brief Chinese language sentence utilizing the phrase in a enterprise or
daily-life context
- "pinyin": the pinyin of the complete sentence
- "english": the English translation of the sentence
Return ONLY legitimate JSON. No explanations, no backticks, no further textual content.
Instance:
{
"sentence": "我去仓库检查货物。",
"pinyin": "Wǒ qù cāngkù jiǎnchá huòwù.",
"english": "I am going to the warehouse to examine the products."
}Das sorgt für eine nahezu unendliche Übungsvielfalt.
Und das Sahnehäubchen ist das mit Geminis Nano Banana erzeugte Bild, das uns hilft, ein Wort mit seinem Kontext zu verbinden.
Nachdem ich Tausende chinesischer Schriftzeichen gelernt hatte, fiel mir auf, dass Bilder beim Auswendiglernen neuer Wörter helfen.
Genau das verwende ich in der Lernkartenfunktion.
Das n8n-Backend bietet dem Frontend Folgendes:
- Das Wort auf Chinesisch, das Sie mit Pinyin und englischer Übersetzung lernen möchten
- Ein Beispielsatz und seine von GPT generierte Übersetzung
- Ein illustratives Bild von Gemini
Das Frontend verwaltet dann den Mechanismus zum Umdrehen der Karte.
Wenn Sie diese auf Ihre Bedürfnisse zugeschnittene Lösung neu erstellen möchten, habe ich sie geteilt ein ähnlicher Workflow auf meinem GitHub.
Mögen Sie A number of-Alternative-Fragen? Gen AI kann helfen!
Generieren Sie Übungen aus einer Vokabelliste
Für die letzte Funktion generieren wir A number of-Alternative-Fragen, um dieselbe Vokabelliste zu lernen.
Wir bitten Gemini, Fragen aus der Vokabelliste zu generieren und dabei A number of-Alternative-Optionen mit nur einer richtigen Antwort zu verwenden.
(
{
"output": {
"query": "Which of the next is the right Chinese language translation for 'Variable Pricing'? Please reply with A, B, C, or D.",
"choices": {
"A": "仓库",
"B": "可变定价",
"C": "卡车司机",
"D": "投标"
},
"right": "B",
"right_feedback": "Nice job! 可变定价 (kě biàn dìng jià) means Variable Pricing.",
"wrong_feedback": "Oops! The proper reply is B: 可变定价 (kě biàn dìng jià), which suggests Variable Pricing."
}
}
)Das Frontend nutzt diese Ausgabe, um den Fragen angepasstes Suggestions zu geben.
Das Backend dieser Funktion basiert auf einem n8n-Workflow, den ich auch auf meinem GitHub geteilt habe: KI-gestützter Sprachlehrer mit GPT.
Abschluss
Ich habe diese App entwickelt, um zu experimentieren, wie KI meine Lernfähigkeiten verbessern könnte.
Nach quick fünf Jahren ohne Chinesischkenntnisse hat sich dieser multimodale KI-Assistent als große Hilfe erwiesen.
Das gesamte Backend basiert auf n8n für schnelles Prototyping und nahtlose Integration.
Sie kennen sich mit n8n noch nicht aus und möchten es lernen?
Auf meinem YouTube-Kanal habe ich ein komplettes Tutorial für Anfänger, das Sie von der Instanzerstellung bis zur Einrichtung der Anmeldeinformationen begleitet.
Nach diesem Tutorial können Sie alle in my freigegebenen Workflows verwenden Repository.
Da ich keine Zeit habe, persönlich an Chinesischkursen teilzunehmen, kann ich einen Assistenten haben, der sich an meinen Zeitplan anpasst.
Können wir es besser machen?
Auf der „Roadmap“ dieses kleinen Nebenprojekts habe ich Folgendes:
- Hinzufügen komplexer Grammatikübungen, die mündlich durchgeführt werden könnten (Kombination von Leseverständnis, Grammatik und Aussprache)
- Implementierung eines Schreibmoduls, das meine Kalligraphie mithilfe der Bildverarbeitung korrigiert
Abhängig von meiner Verfügbarkeit werde ich versuchen, es bis zum ersten Quartal 2026 zu versenden.
Über mich
Lasst uns weitermachen LinkedIn Und Twitter; Ich bin Provide Chain Engineer und nutze Datenanalysen, um Logistikabläufe zu verbessern und Kosten zu senken.
Für Beratung oder Beratung zu Analytik und nachhaltiger Lieferkettentransformation kontaktieren Sie mich bitte über Logigreen Consulting.