07.11.2026 –, зала "София" Език: Български
Тази лекция е въведение в това как можем да си хостнем open source Large Language Models (LLMs) изцяло локално на стар хардуер, който досега е стоял, събиращ прах в някой шкаф. Ще видим какво е inference server, какво е Голям Езиков Модел и как можем да си подкараме LLM, който работи изцяло на наш хардуер.
Ще обясним:
– какви инструменти са нужни и как с тях можем да си хостнем локален LLM;
– какъв хардуер е нужен и кое определя скоростта и качеството на работата на LLM-a;
– какво е quantization на LLM, защо е важно и кога и как да го използваме;
– какви са ползите и ограниченията на това да си хостваме LLM локално;
– как изглежда процесът на конфигуриране и използване на локален LLM inference server стъпка по стъпка.
Георги Апостолов е системен администратор на Linux в екипа за операции (OPS) на StorPool.