Автономный ИИ бот: без цензуры, без игровой видео карты, без интернета, бесплатно, без настройки: запуск в несколько кликов.
Итак, если вам нужен свой чат бот с блэкджеком и у вас под рукой есть компьютер с хотя бы 8-16 ГБ оперативной памяти, вы зашли по адресу.
0. Самые прошаренные - сразу заходят сюда, и все сами скачивают и запускают, но статья не для них, а для "нормальных обычных людей" :) https://lmstudio.ai/
1. Программа
Качаем программу (на самом деле таких программ много, но сейчас остановимся на этой для упрощения процесса) для работы с языковой моделью (моделей тоже много и каждый день появляются еще больше):
Для Windows:
https://github.com/LostRuins/koboldcpp/releases/download/v1.82.4/koboldcpp_cu12.exe
Для Windows без отдельной игровой видео карты:
https://github.com/LostRuins/koboldcpp/releases/download/v1.82.4/koboldcpp_nocuda.exe
Для Linux:
https://github.com/LostRuins/koboldcpp/releases/download/v1.82.4/koboldcpp-linux-x64-cuda1210
Для Linux без отдельной игровой видео карты:
https://github.com/LostRuins/koboldcpp/releases/download/v1.82.4/koboldcpp-linux-x64-nocuda
Для Mac:
https://github.com/LostRuins/koboldcpp/releases/download/v1.82.4/koboldcpp-mac-arm64
2. Модель
Если у вас есть хотя бы ~5.3 GB свободной оперативной памяти (RAM), качаем языковую модель без цензуры, которая понимает русский, например отсюда:
https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGUF/resolve/main/luna-ai-llama2-uncensored.Q2_K.gguf
Повыбирать для доступной вам оперативной памяти можно здесь:
https://huggingface.co/TheBloke/Luna-AI-Llama2-Uncensored-GGUF
или здесь
https://huggingface.co/TheBloke/SOLAR-10.7B-Instruct-v1.0-uncensored-GGUF
или здесь
https://huggingface.co/TheBloke/llama-30b-supercot-GGML
https://huggingface.co/TheBloke/WizardLM-30B-Uncensored-GGUF
Смотрите в столбец - Max RAM required, сколько вы готовы выделить оперативной памяти для работы модели.
К примеру, если у вас 8 GB оперативной памяти и свободно 5.5 GB, скачивайте ту, где Max RAM required = 5.33 GB, как и указано выше.
Ввиду появления китайской модели DeepSeek, которой пророчат "большое будущее", вам, возможно, будут интересны также следующие файлы:
https://huggingface.co/mradermacher/DeepSeek-R1-Distill-Qwen-7B-Uncensored-i1-GGUF/blob/main/DeepSeek-R1-Distill-Qwen-7B-Uncensored.i1-Q2_K.gguf
https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF/blob/main/DeepSeek-R1-Distill-Qwen-7B-Q3_K_S.gguf
https://huggingface.co/sandrasanchez/deepseek-llm-7b-chat-Q2_K-GGUF/blob/main/deepseek-llm-7b-chat-q2_k.gguf
https://huggingface.co/bartowski/DeepSeek-R1-Distill-Qwen-7B-GGUF/blob/main/DeepSeek-R1-Distill-Qwen-7B-Q4_K_M.gguf
https://huggingface.co/unsloth/DeepSeek-R1-GGUF/blob/main/DeepSeek-R1-Q4_K_M/DeepSeek-R1-Q4_K_M-00009-of-00009.gguf
https://huggingface.co/joshnader/deepseek-math-7b-instruct-Q4_K_M-GGUF/blob/main/deepseek-math-7b-instruct.Q4_K_M.gguf
3. Запуск
Открываем программу, в ней выбираем скаченную модель, там же сверху отмечаем чекбокс "Launch Browser", жмем "Launch".
... еще немного ждем и видим в браузере наш чат, доступный по http://localhost:5001/
Позже, при определенной сноровке, вы можете настроить дополнительные возможности, такие как доступ из интернета к вашему чату, а также голосовое управление.
Вынужден предупредить вас, что модели без цензуры довольно "опасны", они могут сообщать вам не совсем адекватную и не совсем законную информацию, используйте их на свой страх и риск.