Big Data und Text Mining im internationalen Umfeld erfordert nicht nur skalierbare Architekturen – gleichzeitig muss die Qualität der Ergebnisse in allen Sprachen auf dem gleichen Niveau gehalten werden. Das stellt uns vor die Herausforderung, unser gelerntes Wissen aus einer Sprache auch auf neue zu übertragen. Herkömmliche Natural Language Processing und Machine Learning-Ansätze erfordern dafür Trainingsdaten für alle Sprachen, eigene Preprocessing-Pipelines und die Verwaltung verschiedener Modelle.

Eine Lösung, die gleichzeitig für alle Sprachen funktioniert, sind Transformer Modelle, wie bspw. Google BERT.