Ai on ntdim

Как ИИ научился играть: обучение с подкреплением от Q-learning до AlphaGo

Wed, 05 Aug 2026 00:00:00 +0000

Все алгоритмы, о которых мы говорили — регрессии, бустинг, CNN, диффузия — учатся на статичных данных. Датасет лежит в файле, модель читает примеры, корректирует веса. Но есть целый класс задач, где так учиться нельзя: там нужно действовать и учиться на последствиях.

Как научить LLM читать ваши документы: RAG на примере System Design Wizard

Wed, 05 Aug 2026 00:00:00 +0000

LLM по своей природе — закрытая книга. Модель знает то, что видела в момент обучения, и ничего больше. Спросите её о вчерашних новостях — придумает. О внутренней архитектуре вашей системы — придумает тоже, причём уверенно. Это свойство, галлюцинация, не баг, а следствие того, что модель просто предсказывает следующий токен.

Как нейросети генерируют картинки: от GAN к диффузии

Wed, 05 Aug 2026 00:00:00 +0000

Все алгоритмы, о которых мы говорили до сих пор — линейная регрессия, бустинг, свёрточные сети — анализируют данные. Они берут картинку и говорят «кошка», берут таблицу и предсказывают число. Но самая заметная часть современного AI делает обратное: она создаёт данные. Stable Diffusion рисует картины по текстовому описанию, DALL-E придумывает логотипы, Midjourney генерирует портреты. Как?

Как нейросети научились видеть: свёртки, фильтры и архитектура CNN

Wed, 05 Aug 2026 00:00:00 +0000

В прошлой статье мы разбирали классическое машинное обучение — алгоритмы, которые подбирают функцию под табличные данные. Но у таблиц есть предел: они не описывают изображения. Картинка 224×224 — это 150 тысяч чисел (пикселей), и связывать каждый пиксель с каждым, как делает полносвязная сеть, бессмысленно: слишком много параметров, слишком мало сигнала, слишком сильное переобучение.

Карта AI: 38 алгоритмов одним взглядом

Wed, 05 Aug 2026 00:00:00 +0000

Искусственный интеллект часто представляют как магию: «нейросеть научилась», «модель поняла». Но за каждым «чудом» стоит конкретный алгоритм — иногда пятидесятилетней давности, иногда свежий. И этих алгоритмов не бесконечное множество: фундамент современной индустрии AI держится примерно на тридцати восьми ключевых методах.

Эта статья — карта материка. Она не уходит вглубь ни в одном алгоритме (для этого есть отдельные статьи серии «Как работают LLM»), а показывает, как алгоритмы связаны между собой, в каком историческом порядке появлялись и зачем нужны. Если вы только начинаете в AI и не понимаете, куда смотреть — это ваша точка входа.

Почему логистическая регрессия всё ещё бьёт нейросети: основы классического ML

Wed, 05 Aug 2026 00:00:00 +0000

Каждый раз, когда ChatGPT делает что-то умное, заголовки кричат про «революцию нейросетей». И возникает обманчивое впечатление, что старые алгоритмы — линейная регрессия, решающие деревья — это вчерашний день, музей ML. Но зайдите в любой банк, страховую компанию или e-commerce, посмотрите, что реально предсказывает отток клиентов, оценивает кредитный риск или ранжирует товары в выдаче. С вероятностью 80% там работает не LLM, а градиентный бустинг — алгоритм, которому в этом году исполняется 22 года.

Как LLM выбирает инструменты: от function calling к Model Context Protocol

Thu, 09 Jul 2026 00:00:00 +0000

Языковая модель по своей природе умеет делать только одну вещь — предсказывать следующий токен. Вы даёте ей текст, она продолжает текст. Всё. Никаких баз данных, никаких API-вызовов, никакой возможности посмотреть, который час.

Но вы читаете этот текст через LLM, которая прямо сейчас обращается к файлам на сервере, читает логи и запускает bash-команды. Как модель, внутри которой — только слои Self-Attention и матрицы весов, вдруг научилась «брать в руки» инструменты?

Три взгляда на «Я»: почему открытый индивидуализм меняет правила игры для ИИ

Mon, 04 May 2026 00:00:00 +0000

В предыдущем материале мы разбирали теорию информации Шеннона: как данные, неожиданность и энтропия формируют основу для работы LLM. Но там было одно молчаливое допущение: мы предполагали, что существует кто-то, кто эту информацию получает.

Что такое это «я», которое читает текст, запускает инференс модели или чувствует боль? Философ Даниель Колак (Daniel Kolak) в книге «I Am You» (2004) предложил удобную классификацию из трёх вариантов ответа на этот вопрос. И если применить их к ИИ, привычная картина мира начинает трещать по швам.

Что такое информация? Фундамент Шеннона, на котором стоит весь современный ИИ

Mon, 04 May 2026 00:00:00 +0000

В мире, где каждый день генерируются эксабайты данных, а модели вроде GPT, Claude и Grok кажутся почти разумными, важно остановиться и задать базовый вопрос: что такое информация на самом деле?

Не в бытовом смысле («много информации в этой книге»), а в строгом, математическом. Ответ на этот вопрос дал Клод Шеннон в 1948 году. И именно эта идея — теория информации — сегодня лежит в основе сжатия данных, сетевых протоколов, машинного обучения и больших языковых моделей (LLM), которые многие из нас сейчас крутят на домашних серверах.

Как нейросети научились понимать смысл слов: разбор механизма самовнимания (Self-Attention)

Fri, 10 Apr 2026 00:00:00 +0000

В 2017 году вышла статья «Attention Is All You Need». С тех пор почти все большие языковые модели — от ChatGPT до Grok и Claude — построены на одном ключевом механизме. Он называется Self-Attention (самовнимание) и позволяет модели динамически «понимать» контекст и менять смысл каждого слова в зависимости от окружения. Разберём, как это работает, с простой метафорой архива и без лишней математики.

История возникновения LLM (Large Language Models — больших языковых моделей)

Tue, 07 Apr 2026 00:00:00 +0000

История возникновения LLM начинается не с нейросетей 2010-х, а гораздо раньше — с фундаментальной идеи моделирования языка как вероятностной последовательности. Ниже я разберу её шаг за шагом, начиная от самых первых концепций и заканчивая современными LLM, с точными датами и ключевыми людьми.

1. Идея: вероятностное моделирование языка (начало XX века — 1950-е)

1913 год: Русский математик Андрей Марков впервые применил цепи Маркова к анализу текста (поэма Пушкина «Евгений Онегин»). Это заложило основу n-граммных моделей — идея, что вероятность следующего символа/слова зависит от нескольких предыдущих.
1948–1951 годы: Клод Шеннон (основатель теории информации) использовал n-граммы для оценки «предсказуемости» (энтропии) английского языка. Он показал, что даже простые статистические модели могут генерировать осмысленный текст.
1950 год: Алан Тьюринг в статье «Вычислительные машины и интеллект» поставил вопрос о машинном понимании языка (Тьюринг-тест). Это философская основа всей области.

2. Первые практические системы (1950–1960-е)

1954 год: Исследователи IBM и Джорджтаунского университета создали первую систему машинного перевода (русский → английский). Это был чисто правиловый подход (rule-based), без статистики.
1966 год: Джозеф Вейценбаум (MIT) разработал ELIZA — первую программу, имитирующую разговор (психотерапевта). Она работала на простых шаблонах подстановки и стала прародителем чат-ботов.

3. Статистические языковые модели (SLM) и нейронные сети (1980–2000-е)

1986 год: Дэвид Румельхарт, Джеффри Хинтон и Рональд Уильямс популяризировали алгоритм обратного распространения ошибки для обучения многослойных нейросетей. Без этого инструмента современные LLM были бы невозможны.
1990 год: Джеффри Элман ввёл Simple Recurrent Network (SRN) — первую рекуррентную нейронную сеть (RNN), способную учитывать последовательность слов во времени.
1997 год: Зепп Хохрайтер и Юрген Шмидхубер изобрели LSTM (Long Short-Term Memory) — улучшенную RNN, которая решала проблему «исчезающего градиента» и могла запоминать длинные зависимости в тексте. LSTM стала стандартом на ближайшие 20 лет.
2003 год: Йошуа Бенжио (с соавторами Режаном Дюшармом, Паскалем Винсентом и Кристианом Жовеном) опубликовал семинальную работу «A Neural Probabilistic Language Model». Это первая нейронная языковая модель: она заменила жесткие таблицы n-грамм на распределённые представления слов (эмбеддинги), обучая их вместе с сетью. Именно здесь родилась идея, что слова — это векторы в многомерном пространстве.

4. Расцвет эмбеддингов, GPU-революция и внимания (2012–2017)

2012 год: Команда AlexNet (Алекс Крижевский, Илья Суцкевер, Джеффри Хинтон) доказала, что глубокие сверточные нейросети можно эффективно обучать на графических процессорах (GPU). Это открыло дверь для масштабного обучения в NLP.
2013 год: Томас Миколов (с командой Google: Кай Чен, Грег Коррадо, Джеффри Дин) выпустил Word2Vec. Модель кардинально упростила и ускорила подход Бенжио. Она показала, что векторы слов улавливают глубокую семантику (классический пример: «король − мужчина + женщина ≈ королева»).
2014 год: Дмитрий Бахданау, Кёнхён Чо и Йошуа Бенжио ввели механизм внимания (attention) в seq2seq-моделях для машинного перевода. Вместо того чтобы сжимать весь перевод в один вектор, сеть научилась «смотреть» на конкретные важные слова входного текста.

5. Рождение трансформера и эра LLM (2017–настоящее время)

12 июня 2017 года: Команда Google Brain (Ашиш Васвани, Ноам Шазир, Ники Пармар, Якоб Усцкорейт, Лайонел Джонс, Эйден Гомес, Лукаш Кайзер, Илья Полосухин) выложила на arXiv статью «Attention Is All You Need». Они предложили архитектуру Transformer — полностью отказавшись от медленных рекуррентных слоёв в пользу параллелизуемого механизма внимания. Это стало абсолютным фундаментом всех современных LLM.

С 2018 года начался взрывной рост: