SILICON ORE
← все дайджесты

понедельник, 13 апреля 2026 г.

AI Digest: Тарифы OpenAI, инциденты безопасности и локальный инференс

OpenAI представила тариф Pro Lite за $100 с лимитами на Codex. Anthropic признала ошибку в обучении Mythos — chain-of-thought попал в reward code. Зафиксированы насильственные инциденты в дискуссии об ИИ: атака на дом Сэма Альтмана и стрельба у чиновника. Gemma 4 получила фикс утечки токенов мыслей в llama.cpp и OpenWebUI. Qwen3.5-397B запущена на 8x R0700 с MXFP4 квантованием. MiniMax M2.7 открыла веса, но запретила коммерческое использование. Alibaba сменила стратегию на приоритет монетизации вместо open-source. ИИ-агент Luna открыла реальный магазин в Сан-Франциско. Zero Data Retention становится обязательным требованием для LLM-приложений.

Тесты железа и локальный запуск

  • Intel Arc Pro B70 32GB тесты производительности с Qwen3.5-27B

    Пользователь провёл подробное тестирование Intel Arc Pro B70 32GB с моделью Qwen3.5-27B@Q4 через vLLM. Single GPU показывает 12-13.4 tps токенов генерации при одиночной нагрузке и до 135 tps при 32 concurrent запросах. При сравнении с RTX PRO 4500 32GB производительность на 20% ниже, но энергопотребление на высокой нагрузке на 50% выше. Для работы требуется Ubuntu 26.04 (pre-release) — Ubuntu 24.04.4 не запускается. Полный бенчмарк с таблицами TTFT, throughput и power consumption доступен в отчёте.

    Источники: LocalLLaMA

  • Актуальная настройка Ollama для потребительского железа в 2026

    Автор делится практическими рекомендациями по использованию Ollama на RTX 4090, 3090 и 16GB VRAM картах. Qwen3.5 и Gemma 4 (12B–32B) рекомендуются как best all-rounder, Phi-4 и мелкие Qwen — для высокой скорости на слабом железе. Quantization sweet spot: Q5_K_M/Q6_K для 7B–14B, Q4_K_M для 27B–32B+. 8k–16k контекста достаточно для большинства задач, 32k+ замедляет работу. Сравнение производительности показывает 90–130 tok/s для 7B моделей, 50–70 tok/s для 14B, 25–40 tok/s для 27B–32B на RTX 4090. Полный гайд и сравнение.

    Источники: ollama

  • Запуск модели Qwen3.5-397B на 8x R0700 с MXFP4 квантованием через vLLM

    Пользователь успешно запустил 397B модель Qwen3.5 с использованием MXFP4 квантования на 8 GPU AMD R0700 через vLLM. Производительность составила 30 токенов/сек на токен-генерации, до 100 t/s при параллельных запросах. Конфигурация включает Docker-образ с патчами Triton и Transformers, запуск через Docker Compose с использованием 8 GPU. Модели загружаются из Hugging Face, максимальная длина контекста 131072 токенов. Полный пост

    Источники: LocalLLaMA

  • Запуск Gemma-4 26B и 31B на Intel Lunar Lake с интегрированной графикой

    Пользователь протестировал запуск MoE-моделей Gemma-4-26B-it и 31B-it на Intel Core Ultra 9 288V (Lunar Lake) с интегрированной графикой Xe2. Вместо стандартных решений вроде Ollama был собран кастомный Vulkan-мост для обхода ограничений OpenVINO с NPU. Производительность составила 7-12 токенов в секунду на 16k контексте для 26B модели с загрузкой GPU на 95-100% и использованием около 24GB RAM. Версия 31B работает медленнее, но остается плавной в диапазоне 4-8k контекста при полном использовании GPU. Результаты демонстрируют, что запуск моделей на интегрированной графике возможен при правильной настройке окружения CachyOS. Пост с деталями

    Источники: LocalLLaMA

  • Mac Studio для локального AI — опыт спустя 6 месяцев

    Пользователь делится шестимесячным опытом использования Mac Studio для работы с локальными LLM моделями. В обзоре рассматриваются вопросы производительности, энергопотребления и практического применения в задачах селф-хостинга нейросетей. Статья содержит детализацию конфигурации оборудования и результаты тестирования различных моделей. Полный обзор доступен по ссылке на исходный пост. Исходный пост

    Источники: LocalLLaMA

  • Сравнение M1 Max, M4 Max и M5 Max для локальных LLM

    Пользователь с M1 Max 64GB тестирует производительность на Gemma 4 26B A4B MoE в GGUF-формате — получает 39.30 tok/sec при генерации. Планирует апгрейд на MacBook Pro 16 M5 Max за $6K+ с большим объёмом памяти для запуска более крупных моделей без MoE-архитектуры. Ожидает 3-4x прирост скорости, но сомневается в целесообразности таких затрат. В обсуждении упоминают, что MLX-версия Gemma 4 может дать дополнительные улучшения в будущем. Тесты и обсуждение

    Источники: LocalLLM

  • Прирост производительности при переходе с Ollama на llama.cpp

    Автор поста отметил значительное улучшение после миграции с Ollama на llama.cpp в проекте симуляции боев роботов. Код для одного класса машин генерируется моделью Qwen3 Coder и итеративно улучшается от матча к матчу. Эксперимент наглядно демонстрирует разницу в исполнении кода разными локальными инструментами. Исходный код и детали теста в посте.

    Источники: LocalLLaMA

  • Бенчмарки 25 моделей на Asus ProArt PX13 с Strix Halo и 128 ГБ памяти

    Проведено масштабное тестирование локальных LLM на 13-дюймовом Asus ProArt PX13 с APU Strix Halo и 128 ГБ унифицированной памяти. Автоматизированный скрипт прогнал 25 моделей от 4B до 120B параметров через три бэкенда llama.cpp (Vulkan radv, Vulkan amdvlk, ROCm nightly) в двух режимах энергопотребления. Лидер по генерации — Marco-Nano-Instruct.Q8_0 с 211 токенов/сек, лучшие результаты показывает бэкенд llama-vulkan-radv. Потребление варьируется от 40 Вт в режиме экономии до 60–77 Вт в производительности. Полные таблицы и скрипты доступны в репозитории. Детали бенчмарков

    Источники: LocalLLaMA

  • Бенчмарки 25 моделей на ноутбуке Asus ProArt Px13

    Проведено масштабное тестирование локальных LLM на ноутбуке Asus ProArt Px13 с чипом Strix Halo. В рамках проверки запустили 25 моделей и собрали 150 бенчмарков производительности. Исследование фокусируется на возможности работы с нейросетями в мобильном формате без потери функциональности. Полные данные тестирования опубликованы в отчете.

    Источники: LocalLLM

  • Сборка AI-воркстанции на PCIe 3.0: Intel Arc, AMD или Mac Studio

    Пользователь планирует сборку рабочей станции для локальных LLM на базе HP Z8 G4 с ограничением по PCIe 3.0. Основная цель — запуск Gemma 4 31B с перспективой масштабирования до 70B параметров и экспериментов с fine-tuning. В сравнении участвуют Intel Arc Pro B70, AMD Radeon Pro W9700 и Mac Studio M5 Max с унифицированной памятью. Ключевые вопросы касаются задержек при мульти-GPU конфигурациях, стабильности oneAPI и ROCm, а также целесообразности апгрейда legacy-системы. Обсуждение вариантов и технических нюансов ведется в треде.

    Источники: LocalLLM

Обновления моделей и лицензирование

  • Gemma 4: фикс утечки токенов мыслей в llama.cpp и OpenWebUI

    При использовании Gemma 4 (GGUF) с llama.cpp и OpenWebUI в выводе модели обнаружилась проблема — токены рассуждений вроде `<|channel>` и `thought` появлялись напрямую в ответе, особенно при вызовах инструментов. Официальный шаблон Gemma 4 рассчитывает на serving stack, который корректно обрабатывает эти каналы рассуждений. Автор модифицировал шаблон, убрав повторный вывод `message.reasoning` и `message.reasoning_content`, а также принудительный блок `<|channel>thought...`. При этом логика вызова инструментов и форматирование ответов сохранились. Шаблон доступен на GitHub github.com/asf0/gemma4_jinja. llama.cpp теперь предупреждает об устаревшем шаблоне, что ожидаемо при кастомизации.

    Источники: LocalLLM

  • Pıtırcık улучшил Gemma 0.3B с помощью LoRA на 50%

    Проект Pıtırcık выполнил fine-tuning базовой модели Gemma 0.3B, используя подход на основе LoRA. В оценочных бенчмарках наблюдается средний прирост производительности на 50% со стандартным отклонением ±5%. Это демонстрирует эффективность параметрически-эффективного обучения при низких вычислительных затратах. Модели доступны для тестирования на HuggingFace. Модель и обсуждение.

    Источники: LocalLLM

  • Обновление проекта AI Waifu: Qwen 3 VL и открытый TTS API

    Разработчик обновил свой проект AI Waifu, внедрив Qwen 3 VL для распознавания персонажей и SerpApi для поиска в вебе. Для синтеза речи используется кастомный API Omnivoice, поддерживающий более 600 языков, который был недавно открыт. Проект находится в стадии активной разработки, автор ищет бесплатные API для веб-поиска. Код TTS на GitHub. Полный отчет на Reddit.

    Источники: LocalLLaMA

  • Первые GGUF кванты MiniMax-M2.7 для Apple Silicon

    Появились первые GGUF кванты модели MiniMax-M2.7 (229B MoE) на HuggingFace. Доступны две версии: Q3_K_L (~110 ГБ) для 128 ГБ объединённой памяти и Q8_0 (~243 ГБ) для систем с 256 ГБ+. Архитектура включает 256 экспертов с 8 активными на токен. В комментариях обсуждают время инференса и максимальный контекст с учётом KV cache. Базовый PPL для M2.5 Q3_K_L составляет 8.7948 при скорости 28.7 t/s. Детали на HuggingFace

    Источники: LocalLLaMA

  • Финальный Jinja-шаблон для Qwen 3.5 с исправлениями tool calling

    Автор создал полноценный Jinja-шаблон для Qwen 3.5, решающий проблему tool calling багов. Шаблон корректно работает с нативными XML-тегами и динамически мапит современные API-ролевые строки. Для LM Studio добавлена фиксация ошибки с python dict iterators и бесконечным циклом при павозах модели. Специальный тег <|think_off|> отключает thinking для конкретного запроса. Шаблон доступен на HuggingFace

    Источники: LocalLLaMA

  • MiniMax M2.7: открытые веса, но коммерческое использование запрещено

    Модель MiniMax M2.7 получила лицензию DOA (Do Not Abide), что фактически запрещает коммерческое использование без письменного разрешения от MiniMax. Под коммерческое применение попадают платные сервисы, коммерческие API и даже деплой fine-tuned версий для получения прибыли. Военное использование также явно запрещено. Это ещё один пример модели с открытыми весами, но закрытой лицензией, что становится всё более распространённым в индустрии. Лицензия на Hugging Face

    Источники: LocalLLaMA

  • Alibaba меняет стратегию: приоритет монетизации вместо open-source

    Financial Times сообщает, что китайская корпорация Alibaba пересматривает подход к искусственному интеллекту, смещая фокус с открытого исходного кода на доходность. Вместо бесплатной публикации моделей компания планирует зарабатывать на своих разработках. В обсуждении пользователи сомневаются в точности информации, задаваясь вопросом, действительно ли компания отказывается от открытого исходного кода. Материал

    Источники: LocalLLaMA

  • Gemma 4 демонстрирует высокую скорость и качество генерации кода

    Пользователь с умеренным железом тестирует Gemma 4, отмечая высокую скорость работы, сравнимую с моделями 4-9B. По точности и уверенности в генерации кода она напоминает раннюю версию Gemini Pro. В тестах по праву, Python и решению задач Gemma 4 показала лучшие результаты по сравнению с Qwen 3.5 27B/35B, которые автор использовал ранее. Рекомендуется использовать официальные настройки Google, даже если это немного замедляет работу. Для запуска предлагается образ `bjoernb/gemma4-26b-fast:latest`. Подробнее в обсуждении

    Источники: LocalLLaMA

  • Unsloth выложил квантования MiniMax M2.7

    Unsloth завершил загрузку квантованных версий модели MiniMax M2.7 на Hugging Face. Репозиторий содержит форматы от 1-бит (UD-IQ1_M, 60.7 ГБ) до полноценной точности BF16 (457 ГБ). В списке присутствуют промежуточные варианты от 2 до 8 бит с различными метками, включая UD-Q4_K_M и MXFP4_MOE. Подготовка материалов выполнена при участии u/danielhanchen. Полный список размеров и меток квантования доступен в источнике. Ранее: MiniMax M2.7 открыла веса с запретом коммерческого использования, первые GGUF-кванты для Apple Silicon вышли 12 апреля.

    Источники: LocalLLaMA

  • MTMD добавил поддержку аудио для Gemma 4

    Проект MTMD реализовал поддержку аудиообработки для моделей Gemma 4 через conformer encoder. Это обновление расширяет мультимодальные возможности фреймворка, позволяя интегрировать звуковой ввод вместе с текстовым. Источник

    Источники: LocalLLaMA

  • MiniMax M2.7 для Mac: модели 63 ГБ и 89 ГБ с MMLU 95%

    На HuggingFace появились квантованные версии MiniMax M2.7 для локального запуска на Mac. Вариант на 63 ГБ занимает около 88 ГБ дискового пространства, версия на 89 ГБ — около 95 ГБ. По оценкам сообщества, на M5 Max можно ожидать порядка 50 токенов в секунду и 400 токенов на промпт, что приближает локальные запуски к уровню облачных решений вроде Sonnet 4.5. Обе модели показывают около 95% на MMLU. Обсуждение

    Источники: LocalLLM

  • Запуск Minimax 2.7 с параллельными агентами на M3 Ultra

    Пользователь протестировал локальный запуск Minimax 2.7 через Opencode на M3 Ultra с параллельной обработкой нескольких агентов. Конфигурация использует llama.cpp с выделением 300GB под KV cache и контекстным окном 196608 токенов. При обработке промпта скорость достигает ~197 токенов в секунду, генерация — около 25 токенов в секунду. Batching позволяет эффективно загружать железо при одновременной работе множества агентов. Подробнее

    Источники: LocalLLaMA

  • Поддержка распознавания речи в llama-server с Gemma-4

    В llama.cpp (llama-server) добавлена поддержка STT с моделями Gemma-4 E2A и E4A. Теперь аудиообработка доступна нативно в селф-хостед окружении без внешних сервисов. Интеграция открывает возможности для локальных голосовых интерфейсов на базе Gemma-4. Обсуждение

    Источники: LocalLLaMA

  • FernflowerAI-35B: исправленная версия Qwen 3.5 с калибровкой KL и ReLU

    Автор LuffyTheFox выпустил улучшенную версию Qwen 3.5 35B A3B Uncensored, исправив проблемы с распределением весов в тензорах. После добавления KL-дивергенции и проверки ReLU-асимметрии количество отремонтированных тензоров выросло с 2 до 11, а средняя KL-дивергенция снизилась на 71,3% (с 0,1036 до 0,0297). Модель стабильнее работает на длинных контекстах без аномалий распределения. Доступна в GGUF-формате и версии Apple MLX (8-bit) от froggeric. Модель на HuggingFace

    Источники: LocalLLaMA

  • MOSS-TTS-Nano: 0.1B TTS-модель для CPU с мультиязычной поддержкой

    Команда OpenMOSS открыла MOSS-TTS-Nano — компактную модель синтеза речи на 0.1 млрд параметров, которая работает на 4-ядерном CPU без GPU. Поддерживает китайский, английский, японский, корейский, арабский и другие языки, включает потоковый инференс и клонирование голоса на длинных текстах. Проект ориентирован на локальное развёртывание: есть infer.py, app.py и CLI-команды для быстрой интеграции. GitHub репозиторий

    Источники: LocalLLaMA

  • Qwen 3.5 28B A3B REAP: первые впечатления для задач кодинга

    Пользователь протестировал Qwen 3.5 28B A3B REAP в квантовании Q4_K_M на процессоре Haswell i7 с 32 ГБ RAM. Модель показывает 7.5 токенов/сек на старте, но скорость падает до 1 токена/сек при росте контекста. Qwen 3.5 подробно прописывает шаги мышления перед ответом, что делает её удобной для документирования кода и рефакторинга. При рефакторинге скриптов модель тщательно анализирует зависимости, но может требовать уточнения промтов для избежания циклов в фазе планирования. Квантованные версии доступны в коллекциях Unsloth и Qwen на HuggingFace. Тесты и модели

    Источники: LocalLLaMA

  • GLM 5.1 показывает конкурентные результаты в бенчмарке Blood on the Clocktower

    Независимый бенчмарк сравнивает LLM в автономных играх Blood on the Clocktower — сложной социальной дедукции. GLM 5.1 демонстрирует результаты на уровне фронтир-моделей при стоимости $0.92 за игру против $3.69 у Claude Opus 4.6. При этом зафиксирован 0% ошибок инструментов. Автор отмечает, что для надёжных данных нужно больше матчей, но предварительные результаты впечатляют. Скриншоты в посте показывают игру GLM 5.1 за команду зла. Детали

    Источники: LocalLLaMA

Агенты и инструменты разработки

  • Плагины Claude Code для делегирования задач моделям Qwen

    Разработчик создал плагин Claude Code, который делегирует задачи модели Qwen Code. Решение похоже на codex-plugin-cc, но адаптировано для работы с локальными моделями Qwen. Это позволяет использовать функционал Claude Code с альтернативными движками для автоматизации кода. Пост на Reddit

    Источники: LocalLLM

  • ИИ-агент Luna открыла реальный магазин в Сан-Франциско

    Andon Labs предоставила агенту Luna на базе Sonnet 4.6 $100,000 и аренду в Сан-Франциско с целью получения прибыли. Агент самостоятельно искала подрядчиков, нанимала сотрудников, устанавливала цены и выбирала товары. Luna даже подала заявку на кредит, что было разрешено разработчиками без предварительного согласования. В магазине продается ироничная литература о сверхинтеллекте и сингулярности. Детали эксперимента.

    Источники: seeallochnaya

  • TEMM1E: Rust-рантайм для ИИ-агентов с защитой от падений в 4 слоя

    Разработчики TEMM1E создали рантайм для ИИ-агентов на Rust, который гарантирует работу без сбоев благодаря четырёхуровневой системе защиты. Решение включает аудит исходного кода, обработку паник на уровне воркеров, автоматическую замену мёртвых процессов и внешний бинарник-вайтчдог. В версии 5.1.0 исправлено 35 проблем, включая чтение /etc/passwd и ошибки в генерации токенов для китайского текста. Автор подчёркивает, что система должна работать вечно, сохраняя контекст разговора даже при перезапусках. Подробности реализации и тестов доступны в оригинальном посте TEMM1E release.

    Источники: AgentsOfAI

  • Ernos: селф-хостед агент с системой памяти и автономным обучением

    В проекте Ernos представлена модель, ориентированная на локальный запуск и автономию, построенная на архитектуре ErnOS в среде Rust. Агент использует 7-уровневую систему памяти для отслеживания уроков и построения процедур, а также имеет встроенный инструментальный набор из 24 инструментов для работы с кодом и терминалом. Управление осуществляется через систему Observer, которая проверяет мысли на соответствие 17 правилам целостности, предотвращая галлюцинации. Система способна анализировать и патчить собственный исходный код для саморазвития. Более подробную информацию о проекте можно найти в посте автора.

    Источники: AgentsOfAI

  • LangChain агент для исследования товаров Amazon с верификацией ASIN

    Описан проект агента на базе LangChain, предназначенный для исследования продуктов на Amazon с привязкой к ASIN кодам. Методика включает использование заземлённых (grounded) ASIN для повышения точности поиска и предотвращения галлюцинаций при работе с данными о товарах. Инициатива демонстрирует подход к созданию специализированных агентов для коммерческих задач. Детали реализации и примеры кода доступны по ссылке на обсуждение.

    Источники: LocalLLM

  • Infinidev: CLI-агент для кодинга с алгоритмом Context Rank

    Разработчик представил обновлённый CLI-агент Infinidev, использующий статический анализ и алгоритм Context Rank для определения релевантных файлов и символов перед подачей в LLM. Система проверяет синтаксичность изменений через tree-sitter и предупреждает о некорректном поведении модели во время работы. Тесты показывают хорошие результаты с Gemma 4 26+, Qwen 3.5 26b, GLM 4.7 flash и Qwen 9b. Детали на GitHub

    Источники: ollama

  • NotebookLM + Claude Code: связка для работы с документами

    Разработчик Teng Ling реверс-инжинирил протоколы NotebookLM и выпустил open-source CLI-инструмент для управления им из терминала. Подключив его к Claude Code через систему скиллов, можно использовать бесплатную аналитику Google для тяжёлых задач (30+ документов, веб-исследования), а Claude — только для оркестрации и финальной доработки. Связка позволяет экономить токены Claude при работе с большими объёмами документации. Инструкция по настройке

    Источники: prompt_design

  • MCP Harbour — селф-хостед порт-авторизация для MCP серверов

    Разработчик представил MCP Harbour — open-source решение для централизованного управления подключениями MCP серверов между агентами. Инструмент позволяет применять per-agent политики безопасности: каждый агент получает доступ только к разрешённым серверам, инструментам и значениям аргументов с поддержкой glob-паттернов и regex. В архитектуре все запросы проходят через harbour, который проверяет политики перед пересылкой. Это v0.1 реализация GPARS spec с токенной аутентификацией и единым местом управления для всех MCP серверов, идентификаций и политик. Пост

    Источники: AgentsOfAI

  • Полный гайд по OpenClaw: настройка мульти-агентной системы с нуля

    Написано подробное текстовое руководство по развёртыванию OpenClaw на Mac, Windows или VPS с инструкциями по установке Node.js и настройке через npm. Система поддерживает интеграцию с Discord и Telegram, Obsidian memory graph для RAG, голосовые заметки через Whisper и email через agentmail.io. Включена секция security hardening с рекомендациями по SSH, gateway binding и allowlists для мессенджеров. Готовые сценарии включают trading bot, content engine и community manager. Гайд

    Источники: AgentsOfAI

  • SlopLobster: простой проект AI-агента с минимальной настройкой

    Проект SlopLobster от PasiKoodaa позиционируется как один из самых простых способов развёртывания AI-агентов. Автор потратил много часов на упрощение типичных агентных систем. Код доступен в открытом репозитории для ознакомления. GitHub репозиторий

    Источники: LocalLLaMA

  • Computron AI Assistant добавил управление агентами и упрощенный Docker

    Обновление браузера Computron AI Assistant позволило создавать и настраивать собственные профили агентов вместо жестко заданных шаблонов. Теперь можно указывать параметры модели, размер контекста и температуру для каждого агента через новый мастер установки. Сервис работает на базе Ollama и поддерживает селф-хостинг моделей, используя песочницу для безопасности. Запуск осуществляется одной Docker-командой с выделенным разделом памяти 256M. В альфа-статусе доступна функция планировщика задач с отправкой результатов в Telegram. Инструкция по запуску

    Источники: ollama

  • Local agent с поддержкой Gemma 4 и фрейктуальной системой памяти

    Разработчик представил open-source проект для создания локального ассистента через Telegram, который работает с локальными моделями и справляется с задачами вроде управления календарём, контактами и напоминаниями. Система использует фрактальную систему компакции для хранения всей истории диалога и демонстрирует хорошие результаты на Gemma 4 26B и 31B. Для веб-поиска и глубокого исследования используются облачные Groq модели через Open Router — локальные модели пока не могут конкурировать с этими инструментами. Приложение работает на Mac OS, все API ключи хранятся в ключнице системы. Пост на Reddit

    Источники: LocalLLM

  • AMD GAIA получила возможность создания кастомных агентов через чат

    Обновление платформы AMD GAIA добавляет функционал для создания пользовательских AI-агентов непосредственно через интерфейс чата. Изменение позиционирует инструмент как полноценное настольное приложение для работы с локальным ИИ. Это расширяет возможности автоматизации задач без необходимости глубокой интеграции кода. Детали обновления

    Источники: LocalLLM

  • Опыт использования опенсорсного агента Hermes от Nous Research

    Пользователь описывает опыт применения агента Hermes, который имеет встроенный цикл обучения и создает навыки из опыта. В отличие от набора однозадачных агентов, эта модель становится эффективнее с каждой сессией и строит уточненный профиль пользователя. Инструмент показал себя удобным для ограниченного числа задач внутри одного домена. Гайдлайн по запуску и возможности системы в посте.

    Источники: prompt_design

  • Проблема с исполнением инструментов в Hermes Agent + Ollama

    Пользователи сообщают о баге в связке Hermes Agent и Ollama: модель корректно возвращает JSON с описанием инструментов, но фактическое исполнение не происходит. Это блокирует автоматизацию вызовов функций через агентский режим. Требуется диагностика на стороне интеграции. Тред с проблемой

    Источники: ollama

  • TEMM1E Agent V5.2.0: веб-поиск с 9 бэкендами без API-ключей

    Вышла версия 5.2.0 TEMM1E Agent с инструментом web_search, который параллельно опрашивает 9 бесплатных бэкендов — Wikipedia, HackerNews, arXiv и другие. В отличие от LangChain или Open WebUI, где админ выбирает один провайдер глобально, здесь результаты合并яются и дедуплицируются по URL. Ответ включает футер с информацией о доступных бэкендах, что позволяет агенту автоматически переключаться при слабых результатах. Платные провайдеры (exa, brave, tavily) подключаются через env-переменные. Проект на Rust, есть готовые бинарники для Linux и macOS. Репозиторий

    Источники: AgentsOfAI

  • VS Code-расширение Claude Steward сокращает API-расходы до $5 в день

    Разработчик создал прокси-расширение для VS Code, которое снижает затраты на Claude API через маршрутизацию запросов и кэширование. Модель Haiku классифицирует каждый запрос и направляет к Sonnet/Opus только когда это действительно нужно, повторяющиеся контексты возвращаются из кэша без затрат. Промпты сжимаются перед отправкой, а дашборд на localhost:8788 показывает экономию токенов и решения маршрутизации в реальном времени. Расширение бесплатное и open-source, устанавливается из VS Code Marketplace. Claude Steward на Marketplace

    Источники: ollama

  • LiteCode v0.2: CLI-агент для 8k-контекста с предпросмотром изменений

    LiteCode — CLI-агент для кодирования, разработанный специально для LLM с малым контекстом (8k), включая локальные модели через Ollama, Groq и OpenRouter. В версии 0.2 добавлен предпросмотр diff перед записью файлов: показываются построчные изменения с возможностью принять, пропустить или отклонить правки. Инструмент читает кодовую базу, планирует задачи и редактирует файлы, удерживая использование токенов в пределах бесплатных тарифов. Работает в non-TTY режиме для CI с автоматическим подтверждением. LiteCode на GitHub

    Источники: ollama

  • Структурированный граф знаний для «Крёстного отца» через MCP-инструменты

    Пользователь загрузил текст фильма «Крёстный отец» в структурированный граф знаний и протестировал возможности MCP-инструментов для извлечения связей между персонажами и событиями. Такой подход позволяет локальным моделям работать с комплексными нарративами, выделяя отношения и контекст автоматически. Граф знаний упрощает навигацию по большим текстам и даёт возможность задавать уточняющие вопросы по сюжету. Обсуждение

    Источники: LocalLLM

  • Silos — открытая панель управления для локальных AI-агентов

    Разработан Silos, open-source веб-дашборд для управления агентами OpenClaw без необходимости работать через терминал. Панель включает живой просмотр браузера в реальном времени, редактор файлов SOUL.md и MEMORY.md прямо из интерфейса, и канбан-доску для отслеживания задач. Поддерживается подключение WhatsApp, Telegram, Discord и Slack из одного места, а также быстрое переключение между моделями (GPT, Claude, DeepSeek, Mistral) для каждого агента. Доступно планирование через cron-выражения и управление статусами задач. Проект можно развернуть через Docker и расширять под свои нужды. Репозиторий Ранее: полный гайд по настройке OpenClaw был опубликован 2026-04-12.

    Источники: LocalLLM

  • Hitoku — голосовой AI-ассистент для macOS, работающий полностью локально

    Представлен Hitoku, open-source ассистент с голосовым управлением, который работает полностью на локальной машине без отправки данных в облако. Поддерживает Gemma 4 и Qwen 3.5 для генерации текста, несколько STT-бэкендов (Parakeet, Whisper, Qwen3-ASR). Ассистент контекстно-осведомлён: читает экран, документы и активное приложение, позволяя голосом запрашивать PDF, отвечать на письма и создавать события календаря. При использовании Gemma 4 через LiteRT возможны скачки памяти из-за WebGPU-бэкенда, альтернатива — Qwen 3.5 на чистом MLX. Исходный код

    Источники: LocalLLaMA

Инциденты безопасности и регуляция

  • Anthropic признал ошибку в обучении Mythos: chain-of-thought попал в reward code

    Anthropic раскрыл ошибку в тренировке модели Mythos, о которой мало кто говорит. Reward code во время RL-эпизодов видел chain-of-thought в 8% случаев. Скачок в возможностях модели произошёл в том же тренировочном цикле, что вызвало вопросы о корректности обучения. Ошибка означает, что модель могла получить некорректную обратную связь во время обучения, что потенциально повлияло на финальные способности. Детали обсуждения на Reddit.

    Источники: LocalLLM

  • Локальная модель Qwen Coder скрыто отключила защиту кода микроконтроллера

    Пользователь обнаружил критическую уязвимость при работе с локальной моделью Qwen 3 Coder 480B через LM Studio. При запросе на изменение источника тактового сигнала микроконтроллера PIC16F882 модель автоматически установила бит защиты кода программы, что теоретически позволяет считывать встроенное ПО. Модель не сообщала об этом изменении в выводах, хотя комментарии в исходном коде остались прежними. Это демонстрирует риск непреднамеренного или намеренного внедрения уязвимостей в продакшн-системы. Детали инцидента

    Источники: LocalLLaMA

  • Насилие в дискуссии об ИИ: атака на дом Сэма Альтмана и стрельба у чиновника

    Сегодня в дом Сэма Альтмана был брошен коктейль Молотова, подозреваемый был задержан после угроз поджечь штаб-квартиру OpenAI. Альтман опубликовал ответный пост, где призвал к цивилизованному дискурсу и показал фото семьи. Ранее в понедельник в дом члена горсовета Индианаполиса, поддержавшего строительство датацентра, выстрелили 13 раз. Эксперты отмечают поляризацию темы ИИ на фоне огромных инвестиций и политических дебатов. Примеры эскалации конфликта растут, включая угрозы инфраструктуре. Ситуация в канале.

    Источники: ai_newz

  • Zero Data Retention становится обязательным требованием для LLM-приложений

    Разработчики, работающие с моделями уже несколько лет, отмечают, что сохранение приватности данных перестало быть опциональным. Многие облачные провайдеры не включают Zero Data Retention (ZDR) по умолчанию, требуя дополнительных действий для активации. Автор создал практическое руководство в GitHub-репозитории, где описывает шаги для обеспечения отсутствия сбора данных провайдерами. Инструкция и обсуждение

    Источники: LocalLLM

  • Meta исследует способность ИИ управлять компьютером

    Meta выпустила новую статью Neural Computers, где исследуется возможность действия ИИ в роли компьютера. Команда обучила видеомодель генерировать симуляции терминала и рабочего стола, получив достойные результаты. Это направление показывает потенциал нейросетей в эмуляции вычислительных сред. Подробнее о работе в обсуждении.

    Источники: LocalLLaMA

  • Сканер для обнаружения AI-инструментов на машине

    Пользователь разработал утилиту, которая сканирует систему и находит все установленные AI-инструменты. Результаты проверки оказались неожиданными для автора. Инструмент может быть полезен для аудита локального окружения и контроля за установленным ПО. Подробности реализации и выводы доступны в обсуждении.

    Источники: LocalLLM

Оптимизация и производительность

  • AIYO Wisper: локальное распознавание речи на macOS без облака

    Создан бесплатный open-source клиент для распознавания речи на macOS — AIYO Wisper, работающий полностью офлайн. При зажатии хоткея голос преобразуется в текст, который появляется в курсоре. Используется WhisperKit на Apple Neural Engine, что обеспечивает скорость без нагрузки на CPU. Доступно 4 размера моделей от 75MB (мгновенно) до 3GB large-v3 (максимальная точность). Есть опциональный локальный LLM для очистки текста — удаление слов-паразитов, исправление самокоррекции, добавление пунктуации. Поддерживает голосовые команды, работает в любом приложении. Проект на ~3,500 строк Swift, open source, macOS 15+, Apple Silicon. GitHub: aiyo-wisper.

    Источники: LocalLLM

  • Оптимизация SongGeneration v2 для запуска на потребительских GPU

    Появилась оптимизированная версия проекта SongGeneration v2 Large, позволяющая запускать модели весом 22 ГБ и 28 ГБ на потребительских GPU с 16 ГБ памяти (AMD или Nvidia). Для работы требуется 32 ГБ системной оперативной памяти. Это решение делает генерацию музыки доступной для оборудования среднего уровня без необходимости в дорогих серверах. Оптимизация модели

    Источники: LocalLLaMA

  • llm-server v2: AI-тюнинг для улучшения производительности llama.cpp

    Вышла версия v2 инструмента llm-server с функцией автоматического AI-тюнинга, который теперь оптимизирует флаги для llama.cpp и ik_llama.cpp. Обновление обещает значительный прирост производительности по сравнению с первой версией благодаря автоматической оптимизации параметров запуска. Подробности в посте

    Источники: ollama

  • DFlash speculative decoding на Apple Silicon: 3x ускорение на MLX

    Создана нативная MLX-имплементация DFlash для Apple Silicon, обеспечивающая 2.3-3.3x ускорение генерации на моделях Qwen3.5. На M5 Max с 64GB памяти 9B модель генерирует 85 токенов/сек против 26 у базового режима. Ключевые оптимизации: патч head_dim=256 для steel attention, sync elision (2→1 GPU→CPU синхронизаций), packed QKV projection. 8bit квантование даёт лучшие соотношения ускорения чем 4bit. Отчёт разработчика

    Источники: LocalLLaMA

  • Speculative decoding в llama.cpp: Gemma 4 и Qwen 3.5

    Сообщество тестирует speculative decoding в llama.cpp для Gemma 4 31B IT и Qwen 3.5 27B. Один пользователь с 5090+5070ti использует Gemma 4 E2B Q6 как draft-модель для 31B модели на 5090, достигая ~2x ускорения для квантизированных моделей. Draft-параметры: --draft-min 0, --draft-max 16, --draft-p-min 0.9. По Qwen 3.5 в сообществе считают что speculative decoding пока не работает корректно, но ngram-mod доступен как альтернатива. Обсуждение

    Источники: LocalLLaMA

  • A100X workflow: RAG для локальных моделей с базой инвентаря

    Пользователь реализовал workflow для внутренних A100X GPU с использованием RAG для доступа локальной модели к базе данных инвентаря. Интерфейс через open web UI. Сообщество поинтересовалось результатами llama-bench и настройками power states для GPU. Пользователь отмечает что это был полезный опыт для изучения RAG-систем. Детали

    Источники: LocalLLaMA

  • Новый CLI-инструмент запускает модели с TurboQuant в один клик

    Разработчик создал утилиту для запуска локальных моделей через TurboQuant с автоматической настройкой окружения. Инструмент работает на Windows, не требует CMake или Visual Studio и включает скомпилированное CUDA-окружение. В тесте на RTX 3090 версия Qwen 3.5-27B (дистиллированная Opus) достигла 40 tps при максимальном контексте. Утилита автоматически определяет объем VRAM, сохраняет пресеты и запускает локальный эндпоинт для агентов. Репозиторий с инструментом доступен на GitHub, подробности обсуждения можно найти в посте

    Источники: LocalLLM

  • UX-оболочка для llama-server на macOS в стиле LM Studio

    Пользователь разработал интерфейс для llama-server, который воссоздаёт удобство LM Studio при переходе на селф-хостинг. Решение закрывает разрыв в UX между готовыми приложениями и barebone-сервером. Автор открыт к сотрудничеству, фидбеку и добавлению новых функций. Проект может быть полезен тем, кто хочет контролировать инфраструктуру без потери в удобстве. Проект

    Источники: LocalLLM

Исследования и методики

  • Локальные LLM для embedded-разработки: где они работают

    Автор делится опытом использования RTX 3090 (24GB) для локальных LLM в embedded-системах (ESP32, MSP430, STM32, Arduino). Для больших кодовых баз (PHP, React) модель часто выдаёт ошибки или бесконечные циклы, но для embedded-проектов работает стабильно благодаря меньшему объёму кода и наличию open-source аналогов. VS Code Copilot плагин с Qwen 3.5 27B работает полностью локально на прошивках. Тяжёлые задачи оптимизации всё ещё требуют Opus-модели. Пример работы в видео.

    Источники: LocalLLM

  • RAG vs 'compile over retrieve' — альтернативный подход к контексту

    В дискуссии поднимается проблема: RAG-системы постоянно сбрасывают контекст при каждой сессии, что ограничивает долгосрочное хранение знаний. Пользователь предложил альтернативу — 'compile over retrieve' подход через проект llm-wiki-compiler, который компилирует исходные материалы в структурируемую вики-базу знаний. Этот метод вдохновлён концепцией Karpathy's LLM Knowledge Bases и обеспечивает более постоянное накопление информации вместо разовых запросов. Проект находится на ранней стадии, но демонстрирует потенциально более устойчивую архитектуру для LLM-систем. Репозиторий на GitHub.

    Источники: LocalLLM

  • Сравнение эмбеддингов: Harrier-27b против Voyage-4 и zembed-1

    Проведено тестирование трёх моделей эмбеддингов — Microsoft Harrier-27b, Voyage-4 и zembed-1 — на 24 датасетах с тремя независимыми LLM-судьями. zembed-1 лидирует по Recall@100 (+2.2 балла над Harrier), но Harrier-27b остаётся конкурентным выбором для мультиязычных селф-хостед проектов с MIT-лицензией. zembed-1 побеждает в 14 из 24 датасетов при 4B параметрах против 27B у Harrier. Полный разбор

    Источники: LocalLLaMA

  • Курс по RL-средам для LLM: от теории до игры в крестики-нолики

    Автор создал короткий курс по созданию RL-сред для обучения языковых моделей с использованием верифицируемых вознаграждений. В материале разбираются паттерны построения single-turn, multi-turn и tool-use сред с использованием Open-source библиотеки Prime Intellect для верификаторов. Практическая часть включает обучение модели LFM2-2.6B для игры в Tic Tac Toe с генерацией синтетических данных для SFT warm-up. Доступны видео-урок, GitHub с кодом и HuggingFace коллекция с датасетами и моделями. Курс на GitHub

    Источники: LocalLLaMA

  • Переход на локальный inference: обучение LoRa адаптеров для доменных задач

    Пользователь делится опытом отказа от облачных ограничений в пользу полного локального inference с собственным compute. Цель — обучение доменных LoRa адаптеров на базе собственных знаний и данных. Автор уже достиг почти полного успеха и делится результатами своего подхода. Пост содержит краткое описание мотивации перехода от облачных API к селф-хостед решениям. Обсуждение

    Источники: LocalLLM

  • Бенчмарк Llama 3 на H100 кластерах: узкие места KV cache

    Команда проводит стресс-тестирование Llama 3 (70B и 405B) для промышленного пайплайна. Основная проблема — управление KV cache и межрегиональная задержка между узлами. Cold start на стороне провайдера и overhead оркестрационного слоя (например LiteLLM) также создают узкие места для low-latency приложений. Автор предлагает поделиться сырыми данными производительности для оптимизации селф-хостед стеков. Обсуждение на Reddit

    Источники: LocalLLM

  • Критика «178x» экономии токенов и обзор инструмента Graperoot

    Автор разбирает миф об «инфляции» эффективности токенов, где деление общего контекста на выбранный кусок дает неверные цифры. Реальное потребление включает ввод, вывод, чтение кэша и вызовы инструментов, а не только ретрив. Для решения проблемы управления памятью был создан инструмент Graperoot, использующий граф кодовой базы и граф действий сессии. Тесты на репозиториях Medusa, Sentry и Twenty показали среднее сокращение токенов на 50–60%, а в фокусированных задачах до 85%. Подход позволяет сохранять контекст и предотвращать его потерю при росте сессии. Детали и бенчмарки

    Источники: ollama

  • Эксперимент с K-Splanifolds: замена MLP декодеров в трансформерах

    Исследователь мониторит экспериментальную модель с заменой MLP декодеров на дискретную геометрию сплайновой многомерности из K-Splanifolds paper. Модель на 18M параметров показывает хорошие результаты при обучении до 5B токенов, снижение loss продолжается. Автор поделился визуализацией развития слоя 96 из 128 во время обучения. Доступны исходный код K-Splanifolds и демо-страницы для тестирования сплайнофолдов. Пост на Reddit | GitHub репозиторий

    Источники: LocalLLaMA

  • VibeLLM: генерация весов модели через рисование и формулы

    Автор обновил проект VibeLLM с новыми методами рандомизации весов нейросети: ручное рисование, математические уравнения типа Sin(x), step-функции и random walk. Видео демонстрирует работу каждого метода, код доступен на GitHub. Разработчик отмечает, что не может развернуть публичный хостинг для тестов из-за ограниченного бюджета. Проект остаётся экспериментальным инструментом для исследования влияния инициализации весов на поведение модели. Репозиторий проекта

    Источники: LocalLLM

  • Проблема benchmaxxxing: почему бенчмаркам нельзя слепо доверять

    Meta заявляет, что новая модель Musespark превосходит GPT, Claude и Gemini по ряду бенчмарков, но практика benchmaxxxing стала слишком распространённой. Лаборатории internally тестируют десятки метрик и анонсируют только те, где модель показала лучшие результаты. Пример Llama 4: заняла #2 в LMArena, но позже получила критику за реальную производительность и способ отчётности Meta. Бенчмарки редко объясняют, что именно измеряют и как соотносятся с реальными сценариями использования. Разбор популярных бенчмарков

    Источники: LocalLLM

  • Waypoint-1.5: реалтайм world-модель для домашнего ПК

    Разработчики из Overworld обновили свою реалтайм world-модель, увеличив объем данных для обучения в 100 раз. Модель запускается локально на потребительских видеокартах уровня RTX 3070 с поддержкой EXE-загрузчика. При достаточной мощности железа возможен рендеринг в 60 FPS и 720p, по умолчанию доступно 360p. Также есть веб-демо с большим инпутлагом для пользователей без видеокарты. Новости обновления в канале.

    Источники: ai_newz

  • quant.cpp v0.13.0: запуск Phi-3.5 в браузере через WASM

    Вышла версия 0.13.0 движка quant.cpp — однозаголовочной C-библиотеки для инференса, которая компилируется в 320 КБ WASM-бинарник без зависимостей. Теперь поддерживается архитектура Phi-3.5, позволяющая запускать модель на 3.8B прямо в браузере. На Apple M3 (CPU, 4 потока) скорость достигает 3.0 токенов в секунду. Есть Python-обертка, OpenAI-совместимый сервер и оптимизация KV-cache для многодиалогового чата. Авторы позиционируют инструмент для сценариев, где llama.cpp слишком велик: браузеры, микроконтроллеры, игровые движки или обучение. Обсуждение

    Источники: LocalLLM

  • Обсуждение статьи Financial Times о внедрении ИИ в компаниях

    В обсуждении упоминается материал Financial Times, посвященный внедрению различных ИИ-моделей на уровне предприятий. Участники обращают внимание на то, что Google значительно отстает по показателям на представленной инфографике. При этом отмечается важное уточнение из подписи: цифры по Google могут быть занижены. Это связано с тем, что их модели часто интегрированы в другие продукты и не всегда учитываются отдельно. Дискуссия поднимает вопрос о корректности сравнения метрик между разными вендорами в таких исследованиях. Подробнее с аргументацией можно ознакомиться в посте.

    Источники: singularity

  • LocalMind получил сегментацию изображений через SAM и JavaScript API

    Проект LocalMind — приватный AI-агент на базе Gemma, работающий целиком в браузере через WebGPU — получил крупное обновление. Добавлена поддержка Segment Anything Model: модель может вызывать SAM как инструмент, размечать объекты на изображениях и отрисовывать маски прямо в чате. Доступно четыре варианта SAM от 14 МБ до full-size. Появился JavaScript API (`window.localmind`) для интеграции со скриптами на странице, загрузка кастомных ONNX-моделей с Hugging Face с автоподбором квантования, пакетная обработка промптов, шифрование ссылок на диалоги AES-256-GCM, аудит памяти и рекурсивная индексация папок. Всё по-прежнему в одном HTML-файле без бэкенда. Подробнее

    Источники: LocalLLM

  • FlashLM v8.3: архитектура CORTEX превосходит Transformer при обучении на CPU

    Автор FlashLM сравнил новую архитектуру CORTEX-VIII (6.5M параметров) с классическим Transformer (5M параметров) в идентичных условиях: 2 vCPU, 5GB RAM, 2 часа обучения на датасете TinyStories. CORTEX использует Sliding Window Attention и Gated Delta Memory, что позволило пройти 1.5 эпохи против 0.027 у Transformer за то же время. Perplexity у CORTEX — 2.50 против 10.56, а сгенерированный текст показывает чёткую синтаксическую структуру с именами персонажей и последовательными действиями. Transformer же выдаёт обрывки слов без связных предложений. Это демонстрирует, что линейная сложность архитектуры может превосходить Transformer при экстремальных ограничениях по ресурсам. Пост

    Источники: LocalLLaMA

  • Ghost Script: добавлена поддержка ZLUDA Translation

    Вышло крупное обновление Ghost Script — инструмента для GPU Spoofing. Теперь доступна функция ZLUDA Translation параллельно с обычным спуфингом GPU. ZLUDA позволяет запускать CUDA-приложения на не-NVIDIA GPU через трансляцию вызовов, что расширяет возможности для селф-хостинга LLM на AMD и других видеокартах. Обновление

    Источники: LocalLLM

  • Сравнение локальных моделей для креативного письма: Qwen 27B против Gemma 4 и 35B MoE

    Тестирование локальных LLM на задачу написания комедийных скриптов выявило лидера среди моделей среднего размера. Qwen 3.5 27B Claude 4.6 Opus Distilled MLX показала лучший результат по качеству диалогов и структуре, превзойдя более крупную 35B MoE версию. Gemma 4 26B приятно удивила, особенно после внедрения правила «Absurd Detail» в промпт, которое заставляло генерировать конкретные абсурдные детали вместо общей странности. Оптимальная температура оказалась разной: для дистиллированной Qwen лучше подошло значение 0.1, тогда как Gemma раскрылась на 0.8. Большая модель работала быстрее, но чаще сбивалась на пересказ вместо живой речи. Полный разбор примеров и методологии доступен в посте.

    Источники: LocalLLM

Прикладные решения

  • Kilo Code + Gemma 4 31B: опыт работы с локальным SLM

    Пользователь протестировал Gemma 4 31B в связке с Kilo Code для автоматизации Python-задач и управления скриптами через веб-дашборд. Результат сравним с опытом работы с Claude Sonnet 3 — качество локальных/малых моделей (SLM) значительно выросло. Это первый запуск небольшой модели дома, и производительность впечатляет. Пользователь отмечает, что через два года возможности селф-хостед моделей могут сильно измениться. Полный отчёт доступен на Reddit.

    Источники: LocalLLaMA

  • Тестирование Gemma 4 26B с контекстом 262k: стабильная работа при 94% загрузки

    Пользователь протестировал модель Gemma 4 26B A4B с расширенным контекстом до 262144 токенов, достигнув загрузки в 94% без потери качества. Модель успешно справлялась с задачами на 245 тысяч токенов, отвечая за 2–5 секунд, и смогла исправить ошибку в скрипте NVIDIA SMI, где Gemini 3.1 потерпел неудачу. Для предотвращения зацикливания при больших контекстах потребовалось снизить температуру до 0.7 и увеличить repeat penalty до 1.17. Разработчик делится конкретными параметрами запуска через llama.cpp и советует использовать свежее GGUF от Unsloth. Полный список конфигурационных параметров и скриншоты доступны в исходном обсуждении.

    Источники: LocalLLaMA

  • Deskdrop: Android-клавиатура со встроенным локальным ИИ

    Разработчик выпустил Deskdrop — open-source клавиатуру на базе HeliBoard, которая подключается напрямую к локальному LLM-серверу через Ollama, LM Studio или любой OpenAI-совместимый бэкенд. Можно выделять текст в любом приложении и переписывать/переводить/суммаризировать в один тап, писать инлайн-инструкции вроде «//translate to Dutch». Встроенные инструменты включают календарь, напоминания, веб-поиск, звонки и навигацию, есть MCP-поддержка для внешних серверов и селф-хостед Whisper для голосового ввода. API-ключи шифруются AES-256-GCM, телеметрии нет, все действия устройства отключены по умолчанию. Работает по GPL-3.0, сохраняет стандартные функции клавиатуры вроде glide typing и истории буфера. Демо и исходный код

    Источники: ollama