OpenFest 2026

Тази лекция е въведение в това как можем да си хостнем open source Large Language Models (LLMs) изцяло локално на стар хардуер, който досега е стоял, събиращ прах в някой шкаф. Ще видим какво е inference server, какво е Голям Езиков Модел и как можем да си подкараме LLM, който работи изцяло на наш хардуер.

Ще обясним:
– какви инструменти са нужни и как с тях можем да си хостнем локален LLM;
– какъв хардуер е нужен и кое определя скоростта и качеството на работата на LLM-a;
– какво е quantization на LLM, защо е важно и кога и как да го използваме;
– какви са ползите и ограниченията на това да си хостваме LLM локално;
– как изглежда процесът на конфигуриране и използване на локален LLM inference server стъпка по стъпка.

Да си направим Cloud платформа от нула за 2 часа, при това на bash. Ще се научим да работим с libvirt и как работят основните функции на Cloud платформите като OpenStack или AWS.