https://ppid.ru/tags/information-theory/Recent content in Information-Theory on ntdimHugoruMon, 04 May 2026 00:00:00 +0000https://ppid.ru/blog/open-individualism/Mon, 04 May 2026 00:00:00 +0000https://ppid.ru/blog/open-individualism/<p>В предыдущем материале мы разбирали <a href="https://ppid.ru/blog/shannon-information/">теорию информации Шеннона</a>: как данные, неожиданность и энтропия формируют основу для работы LLM. Но там было одно молчаливое допущение: мы предполагали, что существует кто-то, кто эту информацию <strong>получает</strong>.</p> <p>Что такое это «я», которое читает текст, запускает инференс модели или чувствует боль? Философ Даниель Колак (Daniel Kolak) в книге <em>«I Am You»</em> (2004) предложил удобную классификацию из трёх вариантов ответа на этот вопрос. И если применить их к ИИ, привычная картина мира начинает трещать по швам.</p>https://ppid.ru/blog/shannon-information/Mon, 04 May 2026 00:00:00 +0000https://ppid.ru/blog/shannon-information/<p>В мире, где каждый день генерируются эксабайты данных, а модели вроде GPT, Claude и Grok кажутся почти разумными, важно остановиться и задать базовый вопрос: <strong>что такое информация на самом деле?</strong></p> <p>Не в бытовом смысле («много информации в этой книге»), а в строгом, математическом. Ответ на этот вопрос дал Клод Шеннон в 1948 году. И именно эта идея — <a href="https://ppid.ru/glossary/#shannon-theory" class="glossary-link" data-tooltip="Математическая теория (1948), определяющая информацию через вероятность событий. Фундамент для сжатия данных, криптографии, сетевых протоколов и обучения нейросетей." data-term="Теория информации Шеннона">теория информации</a> — сегодня лежит в основе сжатия данных, сетевых протоколов, машинного обучения и больших языковых моделей (LLM), которые многие из нас сейчас крутят на домашних серверах.</p>