https://ppid.ru/tags/shannon/Recent content in Shannon on ntdimHugoruMon, 04 May 2026 00:00:00 +0000https://ppid.ru/blog/shannon-information/Mon, 04 May 2026 00:00:00 +0000https://ppid.ru/blog/shannon-information/<p>В мире, где каждый день генерируются эксабайты данных, а модели вроде GPT, Claude и Grok кажутся почти разумными, важно остановиться и задать базовый вопрос: <strong>что такое информация на самом деле?</strong></p> <p>Не в бытовом смысле («много информации в этой книге»), а в строгом, математическом. Ответ на этот вопрос дал Клод Шеннон в 1948 году. И именно эта идея — <a href="https://ppid.ru/glossary/#shannon-theory" class="glossary-link" data-tooltip="Математическая теория (1948), определяющая информацию через вероятность событий. Фундамент для сжатия данных, криптографии, сетевых протоколов и обучения нейросетей." data-term="Теория информации Шеннона">теория информации</a> — сегодня лежит в основе сжатия данных, сетевых протоколов, машинного обучения и больших языковых моделей (LLM), которые многие из нас сейчас крутят на домашних серверах.</p>