2026-11-07 –, Sofia hall Language: Български
Тази лекция е въведение в това как можем да си хостнем open source Large Language Models (LLMs) изцяло локално, на стар хардуер който досега е стоял събиращ прах в някой шкаф. Ще видим какво е inference server, какво е Голям Езиков Модел, и как можем да си подкараме LLM който работи изцяло на наш хардуер.
Ще обясним:
- Какви инструменти са нужни и как с тях можем да си хостнем локален LLM
- Какъв хардуер е нужен, и кое определя скоростта и качеството на работата на LLM-a
- Какво е quantization на LLM, защо е важно, и кога и как да го използваме
- Какви са ползите и ограниченията на това да си хостваме LLM локално
- Как изглежда процеса на конфигуриране и използване на локален LLM inference server стъпка по стъпка
Georgi Apostolov is a Linux system administrator in the OPS team at StorPool.