A python webserver with a streamlit app to provide interactive access to LLMs and quickly test ideas.
Access the app here: https://transformers-playground.felix-jobson.net
The server is offline most of the time due to costs of running it. To start a new chat, the page needs to be refreshed.
- Plain chat with a LLM
- Retrieval Augmented Generation (RAG) to ask questions to documents
- Backend built on top of a paperspace machine.
- Python webserver is written with FastAPI and runs in a Docker container with compose.
- Frontend is a streamlit app hosted on the streamlit community cloud and talks to the web server via http requests.
- LLMs are deployed with huggingface transformers.
- RAG is implemented with langchain and faiss.
| Question | Document | Answer | Correct |
|---|---|---|---|
| Wie lange dauert der erste Studienabschnitt? | Prüfungsordnung OTH Regensburg | Der erste Studienabschnitt dauert zwei Semester, gemäß § 3 Abs. 1 der Studien- und Prüfungsordnung für den Bachelorstudiengang Mathematik an der Hochschule für angewandte Wissenschaften Regensburg. | ✅ |
| Wann wird man exmatrikutliert? | Prüfungsordnung OTH Regensburg | Exmatrikulation bezieht sich auf den Prozess, bei dem eine Person offiziell von einer Schule, einem Programm oder einer Einrichtung ausgeschlossen wird. Der Zeitpunkt der Exmatrikulation hängt von den spezifischen Regeln und Vorschriften der Institution ab. An den meisten Hochschulen und Universitäten erfolgt die Exmatrikulation automatisch, sobald der Student alle erforderlichen Kurse absolviert hat, alle angebotenen akademischen Chancen ausgeschöpft hat und alle Verpflichtungen gegenüber der Institution erfüllt hat. In einigen Fällen kann eine Person auch auf eigenen Wunsch exmatrikuliert werden. Es ist erwähnenswert, dass die Exmatrikulation kein permanenter Ausschluss ist, da eine Person nach einer bestimmten Zeit wieder aufgenommen werden kann oder sogar die Möglichkeit hat, wieder in das Programm zurückzukehren. | ❌ info was not in document, answer was generic |
| Was war 2021 in Kanada? | tageschau.de Artikel über den Klimawandel | Eine Hitzewelle brachte Temperaturen von bis zu 49,6 Grad Celsius. | ✅ |
| Was erkannte Henri Poincaré 1895? | Spektrum der Wissenschaft Artikel über den Kategorientheorie | Henri Poincaré erkannte 1895, dass es eine Möglichkeit gibt, Löcher auf einer geometrischen Form mit algebraischen Mitteln aufzuspüren. Er erkannte, dass eine Möglichkeit darin besteht, alle möglichen geschlossenen Kurven auf einer Oberfläche zu untersuchen. | ✅ |
| Wie oft wurde das Album Back in Black verkauft? | Wikipedia Artikel über AC/DC | Back in Black hat laut einigen Quellen[2][3][4] über 50 Millionen Tonträger weltweit verkauft. | ✅ |
- Improve RAG parameters, they are not really optimized at the moment.
- Investigate behaviour of vector database
Make sure that the server is configured. Run make build to build the Docker image. make run creates the container with Docker compose, loads the model and starts the server. Then the server also starts automatically when the machine is booted.
Prerequisite is a fresh paperspace P5000 ML in a box virtual server. This machine is equipped with a NVIDIA GPU that has 16 GB RAM.
sudo apt update && sudo apt upgrade -yexport DOCKER_CONFIG=${DOCKER_CONFIG:-$HOME/.docker}mkdir -p $DOCKER_CONFIG/cli-pluginscurl -SL https://github.com/docker/compose/releases/download/v2.23.0/docker-compose-linux-x86_64 -o $DOCKER_CONFIG/cli-plugins/docker-composechmod +x $DOCKER_CONFIG/cli-plugins/docker-composesee also official docs.
use docker without sudo
sudo usermod -aG docker $USERnewgrp docker