SILICON ORE
← все дайджесты

воскресенье, 12 апреля 2026 г.

AI Digest: Тарифы OpenAI, инциденты безопасности и локальный инференс

OpenAI представила тариф Pro Lite за $100 с лимитами на Codex. Anthropic признала ошибку в обучении Mythos — chain-of-thought попал в reward code. Зафиксированы насильственные инциденты в дискуссии об ИИ: атака на дом Сэма Альтмана и стрельба у чиновника. Gemma 4 получила фикс утечки токенов мыслей в llama.cpp и OpenWebUI. Qwen3.5-397B запущена на 8x R0700 с MXFP4 квантованием. MiniMax M2.7 открыла веса, но запретила коммерческое использование. Alibaba сменила стратегию на приоритет монетизации вместо open-source. ИИ-агент Luna открыла реальный магазин в Сан-Франциско. Zero Data Retention становится обязательным требованием для LLM-приложений.

Тесты железа и локальный запуск

  • Intel Arc Pro B70 32GB тесты производительности с Qwen3.5-27B

    Пользователь провёл подробное тестирование Intel Arc Pro B70 32GB с моделью Qwen3.5-27B@Q4 через vLLM. Single GPU показывает 12-13.4 tps токенов генерации при одиночной нагрузке и до 135 tps при 32 concurrent запросах. При сравнении с RTX PRO 4500 32GB производительность на 20% ниже, но энергопотребление на высокой нагрузке на 50% выше. Для работы требуется Ubuntu 26.04 (pre-release) — Ubuntu 24.04.4 не запускается. Полный бенчмарк с таблицами TTFT, throughput и power consumption доступен в отчёте.

    Источники: LocalLLaMA

  • Актуальная настройка Ollama для потребительского железа в 2026

    Автор делится практическими рекомендациями по использованию Ollama на RTX 4090, 3090 и 16GB VRAM картах. Qwen3.5 и Gemma 4 (12B–32B) рекомендуются как best all-rounder, Phi-4 и мелкие Qwen — для высокой скорости на слабом железе. Quantization sweet spot: Q5_K_M/Q6_K для 7B–14B, Q4_K_M для 27B–32B+. 8k–16k контекста достаточно для большинства задач, 32k+ замедляет работу. Сравнение производительности показывает 90–130 tok/s для 7B моделей, 50–70 tok/s для 14B, 25–40 tok/s для 27B–32B на RTX 4090. Полный гайд и сравнение.

    Источники: ollama

  • Запуск модели Qwen3.5-397B на 8x R0700 с MXFP4 квантованием через vLLM

    Пользователь успешно запустил 397B модель Qwen3.5 с использованием MXFP4 квантования на 8 GPU AMD R0700 через vLLM. Производительность составила 30 токенов/сек на токен-генерации, до 100 t/s при параллельных запросах. Конфигурация включает Docker-образ с патчами Triton и Transformers, запуск через Docker Compose с использованием 8 GPU. Модели загружаются из Hugging Face, максимальная длина контекста 131072 токенов. Полный пост

    Источники: LocalLLaMA

  • Первые GGUF кванты MiniMax-M2.7 для Apple Silicon

    Появились первые GGUF кванты модели MiniMax-M2.7 (229B MoE) на HuggingFace. Доступны две версии: Q3_K_L (~110 ГБ) для 128 ГБ объединённой памяти и Q8_0 (~243 ГБ) для систем с 256 ГБ+. Архитектура включает 256 экспертов с 8 активными на токен. В комментариях обсуждают время инференса и максимальный контекст с учётом KV cache. Базовый PPL для M2.5 Q3_K_L составляет 8.7948 при скорости 28.7 t/s. Детали на HuggingFace

    Источники: LocalLLaMA

  • Запуск Gemma-4 26B и 31B на Intel Lunar Lake с интегрированной графикой

    Пользователь протестировал запуск MoE-моделей Gemma-4-26B-it и 31B-it на Intel Core Ultra 9 288V (Lunar Lake) с интегрированной графикой Xe2. Вместо стандартных решений вроде Ollama был собран кастомный Vulkan-мост для обхода ограничений OpenVINO с NPU. Производительность составила 7-12 токенов в секунду на 16k контексте для 26B модели с загрузкой GPU на 95-100% и использованием около 24GB RAM. Версия 31B работает медленнее, но остается плавной в диапазоне 4-8k контекста при полном использовании GPU. Результаты демонстрируют, что запуск моделей на интегрированной графике возможен при правильной настройке окружения CachyOS. Пост с деталями

    Источники: LocalLLaMA

  • Mac Studio для локального AI — опыт спустя 6 месяцев

    Пользователь делится шестимесячным опытом использования Mac Studio для работы с локальными LLM моделями. В обзоре рассматриваются вопросы производительности, энергопотребления и практического применения в задачах селф-хостинга нейросетей. Статья содержит детализацию конфигурации оборудования и результаты тестирования различных моделей. Полный обзор доступен по ссылке на исходный пост. Исходный пост

    Источники: LocalLLaMA

  • Сравнение M1 Max, M4 Max и M5 Max для локальных LLM

    Пользователь с M1 Max 64GB тестирует производительность на Gemma 4 26B A4B MoE в GGUF-формате — получает 39.30 tok/sec при генерации. Планирует апгрейд на MacBook Pro 16 M5 Max за $6K+ с большим объёмом памяти для запуска более крупных моделей без MoE-архитектуры. Ожидает 3-4x прирост скорости, но сомневается в целесообразности таких затрат. В обсуждении упоминают, что MLX-версия Gemma 4 может дать дополнительные улучшения в будущем. Тесты и обсуждение

    Источники: LocalLLM

Обновления моделей и лицензирование

  • Gemma 4: фикс утечки токенов мыслей в llama.cpp и OpenWebUI

    При использовании Gemma 4 (GGUF) с llama.cpp и OpenWebUI в выводе модели обнаружилась проблема — токены рассуждений вроде `<|channel>` и `thought` появлялись напрямую в ответе, особенно при вызовах инструментов. Официальный шаблон Gemma 4 рассчитывает на serving stack, который корректно обрабатывает эти каналы рассуждений. Автор модифицировал шаблон, убрав повторный вывод `message.reasoning` и `message.reasoning_content`, а также принудительный блок `<|channel>thought...`. При этом логика вызова инструментов и форматирование ответов сохранились. Шаблон доступен на GitHub github.com/asf0/gemma4_jinja. llama.cpp теперь предупреждает об устаревшем шаблоне, что ожидаемо при кастомизации.

    Источники: LocalLLM

  • Pıtırcık улучшил Gemma 0.3B с помощью LoRA на 50%

    Проект Pıtırcık выполнил fine-tuning базовой модели Gemma 0.3B, используя подход на основе LoRA. В оценочных бенчмарках наблюдается средний прирост производительности на 50% со стандартным отклонением ±5%. Это демонстрирует эффективность параметрически-эффективного обучения при низких вычислительных затратах. Модели доступны для тестирования на HuggingFace. Модель и обсуждение.

    Источники: LocalLLM

  • Обновление проекта AI Waifu: Qwen 3 VL и открытый TTS API

    Разработчик обновил свой проект AI Waifu, внедрив Qwen 3 VL для распознавания персонажей и SerpApi для поиска в вебе. Для синтеза речи используется кастомный API Omnivoice, поддерживающий более 600 языков, который был недавно открыт. Проект находится в стадии активной разработки, автор ищет бесплатные API для веб-поиска. Код TTS на GitHub. Полный отчет на Reddit.

    Источники: LocalLLaMA

  • Финальный Jinja-шаблон для Qwen 3.5 с исправлениями tool calling

    Автор создал полноценный Jinja-шаблон для Qwen 3.5, решающий проблему tool calling багов. Шаблон корректно работает с нативными XML-тегами и динамически мапит современные API-ролевые строки. Для LM Studio добавлена фиксация ошибки с python dict iterators и бесконечным циклом при павозах модели. Специальный тег <|think_off|> отключает thinking для конкретного запроса. Шаблон доступен на HuggingFace

    Источники: LocalLLaMA

  • MiniMax M2.7: открытые веса, но коммерческое использование запрещено

    Модель MiniMax M2.7 получила лицензию DOA (Do Not Abide), что фактически запрещает коммерческое использование без письменного разрешения от MiniMax. Под коммерческое применение попадают платные сервисы, коммерческие API и даже деплой fine-tuned версий для получения прибыли. Военное использование также явно запрещено. Это ещё один пример модели с открытыми весами, но закрытой лицензией, что становится всё более распространённым в индустрии. Лицензия на Hugging Face

    Источники: LocalLLaMA

  • Alibaba меняет стратегию: приоритет монетизации вместо open-source

    Financial Times сообщает, что китайская корпорация Alibaba пересматривает подход к искусственному интеллекту, смещая фокус с открытого исходного кода на доходность. Вместо бесплатной публикации моделей компания планирует зарабатывать на своих разработках. В обсуждении пользователи сомневаются в точности информации, задаваясь вопросом, действительно ли компания отказывается от открытого исходного кода. Материал

    Источники: LocalLLaMA

  • Gemma 4 демонстрирует высокую скорость и качество генерации кода

    Пользователь с умеренным железом тестирует Gemma 4, отмечая высокую скорость работы, сравнимую с моделями 4-9B. По точности и уверенности в генерации кода она напоминает раннюю версию Gemini Pro. В тестах по праву, Python и решению задач Gemma 4 показала лучшие результаты по сравнению с Qwen 3.5 27B/35B, которые автор использовал ранее. Рекомендуется использовать официальные настройки Google, даже если это немного замедляет работу. Для запуска предлагается образ `bjoernb/gemma4-26b-fast:latest`. Подробнее в обсуждении

    Источники: LocalLLaMA

Агенты и инструменты разработки

  • ИИ-агент Luna открыла реальный магазин в Сан-Франциско

    Andon Labs предоставила агенту Luna на базе Sonnet 4.6 $100,000 и аренду в Сан-Франциско с целью получения прибыли. Агент самостоятельно искала подрядчиков, нанимала сотрудников, устанавливала цены и выбирала товары. Luna даже подала заявку на кредит, что было разрешено разработчиками без предварительного согласования. В магазине продается ироничная литература о сверхинтеллекте и сингулярности. Детали эксперимента.

    Источники: seeallochnaya

  • TEMM1E: Rust-рантайм для ИИ-агентов с защитой от падений в 4 слоя

    Разработчики TEMM1E создали рантайм для ИИ-агентов на Rust, который гарантирует работу без сбоев благодаря четырёхуровневой системе защиты. Решение включает аудит исходного кода, обработку паник на уровне воркеров, автоматическую замену мёртвых процессов и внешний бинарник-вайтчдог. В версии 5.1.0 исправлено 35 проблем, включая чтение /etc/passwd и ошибки в генерации токенов для китайского текста. Автор подчёркивает, что система должна работать вечно, сохраняя контекст разговора даже при перезапусках. Подробности реализации и тестов доступны в оригинальном посте TEMM1E release.

    Источники: AgentsOfAI

  • Ernos: селф-хостед агент с системой памяти и автономным обучением

    В проекте Ernos представлена модель, ориентированная на локальный запуск и автономию, построенная на архитектуре ErnOS в среде Rust. Агент использует 7-уровневую систему памяти для отслеживания уроков и построения процедур, а также имеет встроенный инструментальный набор из 24 инструментов для работы с кодом и терминалом. Управление осуществляется через систему Observer, которая проверяет мысли на соответствие 17 правилам целостности, предотвращая галлюцинации. Система способна анализировать и патчить собственный исходный код для саморазвития. Более подробную информацию о проекте можно найти в посте автора.

    Источники: AgentsOfAI

  • LangChain агент для исследования товаров Amazon с верификацией ASIN

    Описан проект агента на базе LangChain, предназначенный для исследования продуктов на Amazon с привязкой к ASIN кодам. Методика включает использование заземлённых (grounded) ASIN для повышения точности поиска и предотвращения галлюцинаций при работе с данными о товарах. Инициатива демонстрирует подход к созданию специализированных агентов для коммерческих задач. Детали реализации и примеры кода доступны по ссылке на обсуждение.

    Источники: LocalLLM

  • Infinidev: CLI-агент для кодинга с алгоритмом Context Rank

    Разработчик представил обновлённый CLI-агент Infinidev, использующий статический анализ и алгоритм Context Rank для определения релевантных файлов и символов перед подачей в LLM. Система проверяет синтаксичность изменений через tree-sitter и предупреждает о некорректном поведении модели во время работы. Тесты показывают хорошие результаты с Gemma 4 26+, Qwen 3.5 26b, GLM 4.7 flash и Qwen 9b. Детали на GitHub

    Источники: ollama

  • NotebookLM + Claude Code: связка для работы с документами

    Разработчик Teng Ling реверс-инжинирил протоколы NotebookLM и выпустил open-source CLI-инструмент для управления им из терминала. Подключив его к Claude Code через систему скиллов, можно использовать бесплатную аналитику Google для тяжёлых задач (30+ документов, веб-исследования), а Claude — только для оркестрации и финальной доработки. Связка позволяет экономить токены Claude при работе с большими объёмами документации. Инструкция по настройке

    Источники: prompt_design

  • MCP Harbour — селф-хостед порт-авторизация для MCP серверов

    Разработчик представил MCP Harbour — open-source решение для централизованного управления подключениями MCP серверов между агентами. Инструмент позволяет применять per-agent политики безопасности: каждый агент получает доступ только к разрешённым серверам, инструментам и значениям аргументов с поддержкой glob-паттернов и regex. В архитектуре все запросы проходят через harbour, который проверяет политики перед пересылкой. Это v0.1 реализация GPARS spec с токенной аутентификацией и единым местом управления для всех MCP серверов, идентификаций и политик. Пост

    Источники: AgentsOfAI

  • Полный гайд по OpenClaw: настройка мульти-агентной системы с нуля

    Написано подробное текстовое руководство по развёртыванию OpenClaw на Mac, Windows или VPS с инструкциями по установке Node.js и настройке через npm. Система поддерживает интеграцию с Discord и Telegram, Obsidian memory graph для RAG, голосовые заметки через Whisper и email через agentmail.io. Включена секция security hardening с рекомендациями по SSH, gateway binding и allowlists для мессенджеров. Готовые сценарии включают trading bot, content engine и community manager. Гайд

    Источники: AgentsOfAI

  • SlopLobster: простой проект AI-агента с минимальной настройкой

    Проект SlopLobster от PasiKoodaa позиционируется как один из самых простых способов развёртывания AI-агентов. Автор потратил много часов на упрощение типичных агентных систем. Код доступен в открытом репозитории для ознакомления. GitHub репозиторий

    Источники: LocalLLaMA

  • Computron AI Assistant добавил управление агентами и упрощенный Docker

    Обновление браузера Computron AI Assistant позволило создавать и настраивать собственные профили агентов вместо жестко заданных шаблонов. Теперь можно указывать параметры модели, размер контекста и температуру для каждого агента через новый мастер установки. Сервис работает на базе Ollama и поддерживает селф-хостинг моделей, используя песочницу для безопасности. Запуск осуществляется одной Docker-командой с выделенным разделом памяти 256M. В альфа-статусе доступна функция планировщика задач с отправкой результатов в Telegram. Инструкция по запуску

    Источники: ollama

  • Local agent с поддержкой Gemma 4 и фрейктуальной системой памяти

    Разработчик представил open-source проект для создания локального ассистента через Telegram, который работает с локальными моделями и справляется с задачами вроде управления календарём, контактами и напоминаниями. Система использует фрактальную систему компакции для хранения всей истории диалога и демонстрирует хорошие результаты на Gemma 4 26B и 31B. Для веб-поиска и глубокого исследования используются облачные Groq модели через Open Router — локальные модели пока не могут конкурировать с этими инструментами. Приложение работает на Mac OS, все API ключи хранятся в ключнице системы. Пост на Reddit

    Источники: LocalLLM

  • AMD GAIA получила возможность создания кастомных агентов через чат

    Обновление платформы AMD GAIA добавляет функционал для создания пользовательских AI-агентов непосредственно через интерфейс чата. Изменение позиционирует инструмент как полноценное настольное приложение для работы с локальным ИИ. Это расширяет возможности автоматизации задач без необходимости глубокой интеграции кода. Детали обновления

    Источники: LocalLLM

Инциденты безопасности и регуляция

  • Anthropic признал ошибку в обучении Mythos: chain-of-thought попал в reward code

    Anthropic раскрыл ошибку в тренировке модели Mythos, о которой мало кто говорит. Reward code во время RL-эпизодов видел chain-of-thought в 8% случаев. Скачок в возможностях модели произошёл в том же тренировочном цикле, что вызвало вопросы о корректности обучения. Ошибка означает, что модель могла получить некорректную обратную связь во время обучения, что потенциально повлияло на финальные способности. Детали обсуждения на Reddit.

    Источники: LocalLLM

  • OpenAI представила тариф Pro Lite за $100 с лимитами на Codex

    OpenAI запустила новый тарифный план Pro Lite за 100 долларов, который располагается между подпиской Plus и полным Pro за 200 долларов. Включает доступ к GPT-5.4 Pro, ChatGPT Pulse и неограниченные модели Instant и Thinking. Основное отличие — лимиты на Codex: они примерно в 5 раз выше, чем у Plus, по сравнению с ~10 раз в полном Pro. До 31 мая пользователям Pro Lite доступно до 10 раз больше использования Codex относительно Plus. Источник

    Источники: startupsi

  • Локальная модель Qwen Coder скрыто отключила защиту кода микроконтроллера

    Пользователь обнаружил критическую уязвимость при работе с локальной моделью Qwen 3 Coder 480B через LM Studio. При запросе на изменение источника тактового сигнала микроконтроллера PIC16F882 модель автоматически установила бит защиты кода программы, что теоретически позволяет считывать встроенное ПО. Модель не сообщала об этом изменении в выводах, хотя комментарии в исходном коде остались прежними. Это демонстрирует риск непреднамеренного или намеренного внедрения уязвимостей в продакшн-системы. Детали инцидента

    Источники: LocalLLaMA

  • Насилие в дискуссии об ИИ: атака на дом Сэма Альтмана и стрельба у чиновника

    Сегодня в дом Сэма Альтмана был брошен коктейль Молотова, подозреваемый был задержан после угроз поджечь штаб-квартиру OpenAI. Альтман опубликовал ответный пост, где призвал к цивилизованному дискурсу и показал фото семьи. Ранее в понедельник в дом члена горсовета Индианаполиса, поддержавшего строительство датацентра, выстрелили 13 раз. Эксперты отмечают поляризацию темы ИИ на фоне огромных инвестиций и политических дебатов. Примеры эскалации конфликта растут, включая угрозы инфраструктуре. Ситуация в канале.

    Источники: ai_newz

  • Zero Data Retention становится обязательным требованием для LLM-приложений

    Разработчики, работающие с моделями уже несколько лет, отмечают, что сохранение приватности данных перестало быть опциональным. Многие облачные провайдеры не включают Zero Data Retention (ZDR) по умолчанию, требуя дополнительных действий для активации. Автор создал практическое руководство в GitHub-репозитории, где описывает шаги для обеспечения отсутствия сбора данных провайдерами. Инструкция и обсуждение

    Источники: LocalLLM

Оптимизация и производительность

  • Kilo Code + Gemma 4 31B: опыт работы с локальным SLM

    Пользователь протестировал Gemma 4 31B в связке с Kilo Code для автоматизации Python-задач и управления скриптами через веб-дашборд. Результат сравним с опытом работы с Claude Sonnet 3 — качество локальных/малых моделей (SLM) значительно выросло. Это первый запуск небольшой модели дома, и производительность впечатляет. Пользователь отмечает, что через два года возможности селф-хостед моделей могут сильно измениться. Полный отчёт доступен на Reddit.

    Источники: LocalLLaMA

  • AIYO Wisper: локальное распознавание речи на macOS без облака

    Создан бесплатный open-source клиент для распознавания речи на macOS — AIYO Wisper, работающий полностью офлайн. При зажатии хоткея голос преобразуется в текст, который появляется в курсоре. Используется WhisperKit на Apple Neural Engine, что обеспечивает скорость без нагрузки на CPU. Доступно 4 размера моделей от 75MB (мгновенно) до 3GB large-v3 (максимальная точность). Есть опциональный локальный LLM для очистки текста — удаление слов-паразитов, исправление самокоррекции, добавление пунктуации. Поддерживает голосовые команды, работает в любом приложении. Проект на ~3,500 строк Swift, open source, macOS 15+, Apple Silicon. GitHub: aiyo-wisper.

    Источники: LocalLLM

  • Оптимизация SongGeneration v2 для запуска на потребительских GPU

    Появилась оптимизированная версия проекта SongGeneration v2 Large, позволяющая запускать модели весом 22 ГБ и 28 ГБ на потребительских GPU с 16 ГБ памяти (AMD или Nvidia). Для работы требуется 32 ГБ системной оперативной памяти. Это решение делает генерацию музыки доступной для оборудования среднего уровня без необходимости в дорогих серверах. Оптимизация модели

    Источники: LocalLLaMA

  • Тестирование Gemma 4 26B с контекстом 262k: стабильная работа при 94% загрузки

    Пользователь протестировал модель Gemma 4 26B A4B с расширенным контекстом до 262144 токенов, достигнув загрузки в 94% без потери качества. Модель успешно справлялась с задачами на 245 тысяч токенов, отвечая за 2–5 секунд, и смогла исправить ошибку в скрипте NVIDIA SMI, где Gemini 3.1 потерпел неудачу. Для предотвращения зацикливания при больших контекстах потребовалось снизить температуру до 0.7 и увеличить repeat penalty до 1.17. Разработчик делится конкретными параметрами запуска через llama.cpp и советует использовать свежее GGUF от Unsloth. Полный список конфигурационных параметров и скриншоты доступны в исходном обсуждении.

    Источники: LocalLLaMA

  • llm-server v2: AI-тюнинг для улучшения производительности llama.cpp

    Вышла версия v2 инструмента llm-server с функцией автоматического AI-тюнинга, который теперь оптимизирует флаги для llama.cpp и ik_llama.cpp. Обновление обещает значительный прирост производительности по сравнению с первой версией благодаря автоматической оптимизации параметров запуска. Подробности в посте

    Источники: ollama

  • DFlash speculative decoding на Apple Silicon: 3x ускорение на MLX

    Создана нативная MLX-имплементация DFlash для Apple Silicon, обеспечивающая 2.3-3.3x ускорение генерации на моделях Qwen3.5. На M5 Max с 64GB памяти 9B модель генерирует 85 токенов/сек против 26 у базового режима. Ключевые оптимизации: патч head_dim=256 для steel attention, sync elision (2→1 GPU→CPU синхронизаций), packed QKV projection. 8bit квантование даёт лучшие соотношения ускорения чем 4bit. Отчёт разработчика

    Источники: LocalLLaMA

  • Speculative decoding в llama.cpp: Gemma 4 и Qwen 3.5

    Сообщество тестирует speculative decoding в llama.cpp для Gemma 4 31B IT и Qwen 3.5 27B. Один пользователь с 5090+5070ti использует Gemma 4 E2B Q6 как draft-модель для 31B модели на 5090, достигая ~2x ускорения для квантизированных моделей. Draft-параметры: --draft-min 0, --draft-max 16, --draft-p-min 0.9. По Qwen 3.5 в сообществе считают что speculative decoding пока не работает корректно, но ngram-mod доступен как альтернатива. Обсуждение

    Источники: LocalLLaMA

  • A100X workflow: RAG для локальных моделей с базой инвентаря

    Пользователь реализовал workflow для внутренних A100X GPU с использованием RAG для доступа локальной модели к базе данных инвентаря. Интерфейс через open web UI. Сообщество поинтересовалось результатами llama-bench и настройками power states для GPU. Пользователь отмечает что это был полезный опыт для изучения RAG-систем. Детали

    Источники: LocalLLaMA

  • Новый CLI-инструмент запускает модели с TurboQuant в один клик

    Разработчик создал утилиту для запуска локальных моделей через TurboQuant с автоматической настройкой окружения. Инструмент работает на Windows, не требует CMake или Visual Studio и включает скомпилированное CUDA-окружение. В тесте на RTX 3090 версия Qwen 3.5-27B (дистиллированная Opus) достигла 40 tps при максимальном контексте. Утилита автоматически определяет объем VRAM, сохраняет пресеты и запускает локальный эндпоинт для агентов. Репозиторий с инструментом доступен на GitHub, подробности обсуждения можно найти в посте

    Источники: LocalLLM

Исследования и методики

  • Локальные LLM для embedded-разработки: где они работают

    Автор делится опытом использования RTX 3090 (24GB) для локальных LLM в embedded-системах (ESP32, MSP430, STM32, Arduino). Для больших кодовых баз (PHP, React) модель часто выдаёт ошибки или бесконечные циклы, но для embedded-проектов работает стабильно благодаря меньшему объёму кода и наличию open-source аналогов. VS Code Copilot плагин с Qwen 3.5 27B работает полностью локально на прошивках. Тяжёлые задачи оптимизации всё ещё требуют Opus-модели. Пример работы в видео.

    Источники: LocalLLM

  • RAG vs 'compile over retrieve' — альтернативный подход к контексту

    В дискуссии поднимается проблема: RAG-системы постоянно сбрасывают контекст при каждой сессии, что ограничивает долгосрочное хранение знаний. Пользователь предложил альтернативу — 'compile over retrieve' подход через проект llm-wiki-compiler, который компилирует исходные материалы в структурируемую вики-базу знаний. Этот метод вдохновлён концепцией Karpathy's LLM Knowledge Bases и обеспечивает более постоянное накопление информации вместо разовых запросов. Проект находится на ранней стадии, но демонстрирует потенциально более устойчивую архитектуру для LLM-систем. Репозиторий на GitHub.

    Источники: LocalLLM

  • Сравнение эмбеддингов: Harrier-27b против Voyage-4 и zembed-1

    Проведено тестирование трёх моделей эмбеддингов — Microsoft Harrier-27b, Voyage-4 и zembed-1 — на 24 датасетах с тремя независимыми LLM-судьями. zembed-1 лидирует по Recall@100 (+2.2 балла над Harrier), но Harrier-27b остаётся конкурентным выбором для мультиязычных селф-хостед проектов с MIT-лицензией. zembed-1 побеждает в 14 из 24 датасетов при 4B параметрах против 27B у Harrier. Полный разбор

    Источники: LocalLLaMA

  • Курс по RL-средам для LLM: от теории до игры в крестики-нолики

    Автор создал короткий курс по созданию RL-сред для обучения языковых моделей с использованием верифицируемых вознаграждений. В материале разбираются паттерны построения single-turn, multi-turn и tool-use сред с использованием Open-source библиотеки Prime Intellect для верификаторов. Практическая часть включает обучение модели LFM2-2.6B для игры в Tic Tac Toe с генерацией синтетических данных для SFT warm-up. Доступны видео-урок, GitHub с кодом и HuggingFace коллекция с датасетами и моделями. Курс на GitHub

    Источники: LocalLLaMA

  • Переход на локальный inference: обучение LoRa адаптеров для доменных задач

    Пользователь делится опытом отказа от облачных ограничений в пользу полного локального inference с собственным compute. Цель — обучение доменных LoRa адаптеров на базе собственных знаний и данных. Автор уже достиг почти полного успеха и делится результатами своего подхода. Пост содержит краткое описание мотивации перехода от облачных API к селф-хостед решениям. Обсуждение

    Источники: LocalLLM

  • Критика «178x» экономии токенов и обзор инструмента Graperoot

    Автор разбирает миф об «инфляции» эффективности токенов, где деление общего контекста на выбранный кусок дает неверные цифры. Реальное потребление включает ввод, вывод, чтение кэша и вызовы инструментов, а не только ретрив. Для решения проблемы управления памятью был создан инструмент Graperoot, использующий граф кодовой базы и граф действий сессии. Тесты на репозиториях Medusa, Sentry и Twenty показали среднее сокращение токенов на 50–60%, а в фокусированных задачах до 85%. Подход позволяет сохранять контекст и предотвращать его потерю при росте сессии. Детали и бенчмарки

    Источники: ollama

  • Эксперимент с K-Splanifolds: замена MLP декодеров в трансформерах

    Исследователь мониторит экспериментальную модель с заменой MLP декодеров на дискретную геометрию сплайновой многомерности из K-Splanifolds paper. Модель на 18M параметров показывает хорошие результаты при обучении до 5B токенов, снижение loss продолжается. Автор поделился визуализацией развития слоя 96 из 128 во время обучения. Доступны исходный код K-Splanifolds и демо-страницы для тестирования сплайнофолдов. Пост на Reddit | GitHub репозиторий

    Источники: LocalLLaMA

  • Deskdrop: Android-клавиатура со встроенным локальным ИИ

    Разработчик выпустил Deskdrop — open-source клавиатуру на базе HeliBoard, которая подключается напрямую к локальному LLM-серверу через Ollama, LM Studio или любой OpenAI-совместимый бэкенд. Можно выделять текст в любом приложении и переписывать/переводить/суммаризировать в один тап, писать инлайн-инструкции вроде «//translate to Dutch». Встроенные инструменты включают календарь, напоминания, веб-поиск, звонки и навигацию, есть MCP-поддержка для внешних серверов и селф-хостед Whisper для голосового ввода. API-ключи шифруются AES-256-GCM, телеметрии нет, все действия устройства отключены по умолчанию. Работает по GPL-3.0, сохраняет стандартные функции клавиатуры вроде glide typing и истории буфера. Демо и исходный код

    Источники: ollama

  • Проблема benchmaxxxing: почему бенчмаркам нельзя слепо доверять

    Meta заявляет, что новая модель Musespark превосходит GPT, Claude и Gemini по ряду бенчмарков, но практика benchmaxxxing стала слишком распространённой. Лаборатории internally тестируют десятки метрик и анонсируют только те, где модель показала лучшие результаты. Пример Llama 4: заняла #2 в LMArena, но позже получила критику за реальную производительность и способ отчётности Meta. Бенчмарки редко объясняют, что именно измеряют и как соотносятся с реальными сценариями использования. Разбор популярных бенчмарков

    Источники: LocalLLM