OpenFest 2026

Тази лекция е въведение в това как можем да си хостнем open source Large Language Models (LLMs) изцяло локално, на стар хардуер който досега е стоял събиращ прах в някой шкаф. Ще видим какво е inference server, какво е Голям Езиков Модел, и как можем да си подкараме LLM който работи изцяло на наш хардуер.

Ще обясним:
- Какви инструменти са нужни и как с тях можем да си хостнем локален LLM
- Какъв хардуер е нужен, и кое определя скоростта и качеството на работата на LLM-a
- Какво е quantization на LLM, защо е важно, и кога и как да го използваме
- Какви са ползите и ограниченията на това да си хостваме LLM локално
- Как изглежда процеса на конфигуриране и използване на локален LLM inference server стъпка по стъпка

Да си направим Cloud платформа от нула за 2 часа, при това на bash. Ще се научим да работим с libvirt и как работят основните функции на Cloud платформите като OpenStack или AWS.