Die Bewahrung von Wissen ist eine entscheidende Herausforderung für kleine und mittlere Unternehmen (KMU). Die Fluktuation der Mitarbeiter und die sich verändernden Arbeitsaufgaben führen zu einem permanenten Risiko des Wissens- und Erfahrungsverlustes. Daher benötigen KMUs effektive und effiziente Strategien zur Wissensbewahrung. Da das meiste Wissen in Unternehmen in erster Linie als Sprache oder Text kodiert ist, bieten große Sprachmodelle (LLMs) eine vielversprechende Lösung für die Erhaltung und Nutzung von Wissen. Trotz ihrer Stärken sind ihre Einführung und Nutzung jedoch eine Herausforderung. Um dieses Problem anzugehen, schlagen wir ein System vor, das auf dem Konzept der Retrieval-Augmented Generation (RAG) basiert und kleine, lokal ausgeführte Sprachmodelle mit traditionellen Retrieval-Algorithmen kombiniert, um den Prozess der Wissensbewahrung und -nutzung durch die Reduzierung des Suchaufwands erheblich zu verbessern.