yuntian-group/neural-os

💙 NeuralOS: или ИИ становится операционной системой Представь: вместо привычного Windows или macOS ты работаешь с операционкой, которая полностью генерируется нейросетью. Звучит как "немного не правдоподобно"? Исследователи из University of Waterloo уже сделали первый шаг. Как работает это чудо? NeuralOS — это не просто очередная модель, а попытка "переосмыслить" саму концепцию ОС. Вместо кода и алгоритмов — нейронки, которые предсказывают каждый пиксель экрана на основе человеческих действий. Для создания интерфейса не нужно писать ни единой строчки кода Никаких HTML, CSS, Qt или других фреймворков — нейросеть сама рисует всё от кнопок до окон. Архитектура состоит из двух частей: 1️⃣ Двухуровневая RNN на LSTM — это "мозг" системы: 🔵 Нижний LSTM обрабатывает ввод пользователя (координаты мыши, клики, клавиши) и "смотрит" на предыдущий кадр через механизм внимания 🔵 Верхний LSTM анализирует результаты нижнего уровня и поддерживает долгосрочную память о состоянии системы 🔵 Между уровнями есть обратная связь — верхний LSTM "подсказывает" нижнему, что важно помнить 2️⃣ Диффузионный рендерер (UNet) — получает "инструкции" от LSTM и рисует следующий кадр экрана Почему именно LSTM, а не Transformer? Трансформеры становятся всё медленнее с ростом последовательности, а LSTM работает с константной сложностью на каждом шаге. Для ОС, которая должна работать часами без перезагрузки, это критично! Как обучали эту "операционку"? Система обучалась на 122К записей взаимодействий с Ubuntu XFCE. Данные собирали двумя способами: 1️⃣ ИИ-агент Claude-3.5 методично кликал по всем кнопочкам (представьте самого усидчивого QA-тестера) 2️⃣ Случайные клики и движения — чтобы модель не думала, что курсор к кнопке закрытия == автоматическое закрытие окна Обучение проходило в 4 этапа: 1️⃣ Предобучение RNN — учим предсказывать кадры 2️⃣ Совместное обучение — RNN + диффузионная модель работают в тандеме 3️⃣ Scheduled Sampling — борьба с накоплени