Совет для постапокалипсиса: как запустить ИИ, когда не будет интернета
Логично предположить, что в случае отсутствия интернета искусственный интеллект станет недоступным. А вот и нет, утверждает предприниматель и специалист по цифровым технологиям Артем Бородатюк. Если загрузить нужную модель на персональный компьютер, она будет работать на вас даже в постапокалиптических условиях.
Совет для постапокалипсиса, или Как запустить LLM локально, когда не будет интернета? Сделайте это ПРЯМО СЕЙЧАС.
Мы привыкли ежедневно использовать ИИ в работе. А теперь представьте, что интернета нет. ChatGPT, Claude, Gemini и другие сервисы работают в чужих дата-центрах. У нас есть доступ к мощным моделям, пока есть сеть. Что можно сделать на случай отсутствия интернета? Нужно использовать свой "дата-центр" и производить вычисления "локально", то есть на собственных вычислительных мощностях.
Вкратце: разница заключается в том, где работает модель и кому она принадлежит.
Claude (как и GPT, Gemini) — облачная закрытая модель. Сама модель — это файл с миллиардами чисел ("веса"), он хранится на серверах Anthropic. Вы его никогда не видите. Текст отправляется через API → на их серверах вычисляется ответ → вам возвращается результат. Как электричество из розетки: пользуетесь, но электростанция не ваша.
Локальная модель — это тот же файл с весами, но он хранится у вас на Mac. Вы загружаете файл (условно 5–100 ГБ), запускаете программу для его обработки — и все вычисления происходят непосредственно на вашем процессоре или видеокарте. Интернет не нужен, а ваши данные никуда не передаются.
Что такое открытая модель? В этом вопросе часто возникает путаница.
Open weights (открытые веса) — компания предоставляет сам файл модели в свободный доступ. Скачивайте, запускайте, дообучайте, внедряйте в свой продукт. Но как именно ее обучали, на каких данных и с помощью какого кода — не сообщают. Это 95% того, что люди называют "открытыми моделями": Llama (Meta), Qwen (Alibaba), DeepSeek, Mistral, Gemma (Google), gpt-oss (OpenAI).
Open source в истинном смысле слова — когда открыты также данные, код обучения и алгоритм. Таких проектов мало и они менее эффективны.
Закрытая — Claude, GPT, Gemini. Веса не существуют нигде, кроме серверов компании.
Важно
То есть "открытая" ≈ "у вас есть сам движок", а не "вы знаете, как его собрали". И лицензии тоже разные: у Llama есть ограничения на очень большие продукты, у Qwen/Mistral преимущественно Apache 2.0 (делайте, что хотите, даже в коммерческих целях).
Как мне использовать открытые модели локально?
Главное — это легко.
Для этого я использую LM Studio. Программа бесплатная, работает на macOS, Windows и Linux. Загрузите нужную модель на компьютер — и дальше можете работать с ней без интернета.
Я установил три модели на MacBook Pro M4 Pro с 24 ГБ памяти:
- Qwen3.8 9B Heretic Uncensored — 6,3 ГБ;
- Ornith 1.5 9B Uncensored 8bit — 10,5 ГБ;
- google/gemma-4-e4b — 6,9 ГБ.
Мне нравится иметь несколько моделей, потому что они могут по-разному ошибаться и по-разному интерпретировать один и тот же вопрос. Это, кстати, хороший способ проверять ответы. Если несколько разных моделей дают одинаковый результат, я доверяю им больше. Если ответы сильно отличаются — стоит проверить информацию отдельно.
Сколько требуется памяти?
Для локальных моделей важна именно оперативная память.
Примерно:
- 16 ГБ — позволяет комфортно работать с моделями объемом около 9B в 4-битном формате;
- 24 ГБ — можно использовать модели размером 9B в 8-битном формате или более крупные модели;
- 32 ГБ и более — появляется возможность работать с моделями размером около 27B.
Зачем это устанавливать?
Ведь если наступит конец света, станет чуть спокойнее: вы будете знать, как перевязать рану, починить двигатель или что-то ещё. Ну а может, не конец света, а конец интернета — тоже пригодится.
Автор выражает личное мнение, которое может не совпадать с позицией редакции. Ответственность за опубликованные материалы в рубрике "Мнения" несет автор.
Важно