1; 2; 3; 4; 5; 6; 7; 8; 9; 10; 11; 12; 13; 14; 15; 16; 17; 18; 19; 20; 21; 22; 23; 24; 25; 26; 27; 28; 29; 30; 31; 32; 33; 34; 35; 36; 37; 38; 39; 40; 41; 42; 43; 44; 45; 46; 47; 48; 49; 50; 51; 52; 53; 54; 55; 56; 57; 58; 59; 60; 61; 62; 63; 64; 65; 66; 67; 68; 69; 70; 71; 72; 73; 74; 75; 76; 77; 78; 79; 80; 81; 82; 83; 84; 85; 86; 87; 88; 89; 90; 91; 92; 93; 94; 95; 96; 97; 98; 99; 100; 101; 102; 103; 104; 105; 106; 107; 108; 109; 110; 111; 112; 113; 114; 115; 116; 117; 118; 119; 120; 121; 122; 123; 124; 125; 126; 127; 128; 129; 130; 131; 132; 133; 134; 135; 136; 137; 138; 139; 140; 141; 142; 143; 144; 145; 146; 147; 148; 149; 150; 151; 152; 153; 154; 155; 156; 157; 158; 159; 160; 161; 162; 163; 164; 165; 166; 167; 168; 169; 170; 171; 172; 173; 174; 175; 176; 177; 178; 179; 180; 181; 182; 183; 184; 185; 186; 187; 188; 189; 190; 191; 192; 193; 194; 195; 196; 197; 198; 199; 200; 201; 202; 203; 204; 205; 206; 207; 208; 209; 210; 211; 212; 213; 214; 215; 216; 217; 218; 219; 220; 221; 222; 223; 224; 225; 226; 227; 228; 229; 230; 231; 232; 233; 234; 235; 236; 237; 238; 239; 240; 241; 242; 243; 244; 245; 246; 247; 248; 249; 250; 251; 252; 253; 254; 255; 256; 257; 258; 259; 260; 261; 262; 263; 264; 265; 266; 267; 268; 269; 270; 271; 272; 273; 274; 275; 276; 277; 278; 279; 280; 281; 282; 283; 284; 285; 286; 287; 288; 289; 290; 291; 292; 293; 294; 295; 296; 297; 298; 299; 300; 301; 302; 303; 304; 305; 306; 307; 308; 309; 310; 311; 312; 313; 314; 315; 316; 317; 318; 319; 320; 321; 322; 323; 324; 325; 326; 327; 328; 329; 330; 331; 332; 333; 334; 335; 336; 337; 338; 339; 340; 341; 342; 343; 344; 345; 346; 347; 348; 349; 350; 351; 352; 353; 354; 355; 356; 357; 358; 359; 360; 361; 362; 363; 364; 365; 366; 367; 368; 369; 370; 371; 372; 373; 374; 375; 376; 377; 378; 379; 380; 381; 382; 383; 384; 385; 386; 387

Чтобы читать онлайн или скачать в формате pdf, нажмите ниже.

Учебник — Нажми!

Алгебра и начала анализа для 10—11 классов, 1990 г. DjVu

Сложность Колмогорова — Учебник — Математика ∩ Программирование

Сложность вещей

Ранее в этом блоге (довольно давно) мы исследовали некоторые простые идеи использования случайности в художественном дизайне (психоделическое искусство и более ранние рандомизированные CSS-конструкции) и измеряли сложность таких конструкций. Здесь мы намерены дать более полное и строгое введение в изучение сложности струн. Это, естественно, относится к области теории вычислимости и теории сложности, и поэтому мы отсылаем начинающего читателя к другим нашим учебникам по этой теме (Детерминизм и конечные автоматы, машины Тьюринга и классы сложности; но машины Тьюринга будут наиболее важными для этого. обсуждение).

Проблема случайности

Нам бы очень хотелось иметь возможность посмотреть на строку двоичных цифр и решить, насколько она «случайна». С одной стороны, это легко сделать на высоком уровне. Ребенку не составит труда решить, какая из следующих двух строк более случайна:

 101010101010101010101010101010101010101010101010
00011101001000101101001000101111010100000100111101 

И все же, согласно неизменным законам вероятности, каждая строка имеет равный шанс () быть выбранной случайным образом из всех последовательностей из 50 двоичных цифр.Так что в некотором смысле огромный массив математики, лежащей в основе вероятности, уже подвел нас на этом базовом этапе, потому что мы не можем говорить о том, насколько случайен один конкретный результат эксперимента. Нам нужно новое понятие, которое преодолеет эту трудность.

Определение : Колмогоровская сложность строки, обозначаемая как длина самой короткой программы, которая выводит без ввода.

Хотя это определение недостаточно строгое, чтобы его можно было использовать (мы переформулируем его позже), мы легко можем понять, почему первая из двух приведенных выше строк менее случайна.Мы можем написать очень короткую программу на Python, которая выводит его:

 печать "01" * 25 

С другой стороны, нетрудно увидеть, что самая короткая программа, которая производит вторую строку, — это

 печать "00011101001000101101001000101111010100000100111101" 

Послушный читатель воскликнет в знак протеста. Откуда вы знаете, что это самая короткая программа? Зачем ограничиваться Python? Вся эта дискуссия настолько произвольна!

В самом деле, это, вероятно, , а не , самая короткая программа Python, которая выводит строку. Далее мы будем работать полностью в двоичном формате, поэтому придирчивый читатель должен интерпретировать это как команду печати, относящуюся к блоку двоичной памяти. Вскоре мы переформулируем эти идеи в полной мере, но сначала давайте продолжим эту наивность, чтобы облегчить анализ следующих определений.

Если мы абстрагируемся от длин этих строк, мы увидим, что длина первой программы равна, поскольку нам нужны биты для представления числа в строковом произведении. С другой стороны, вторая строка имеет длину программы, поскольку нам требуется вся выходная строка как текст программы.

Эта интуиция привела бы нас к определению последовательности длины как случайной, если бы она имела хотя бы колмогоровскую сложность. Один из способов интерпретировать это: строка является «случайной», если самая короткая программа, которая выводит строку, в основном кодирует всю строку в своем исходном коде.

Мы можем расширить эту идею, чтобы говорить об относительной сложности . В частности, мы можем говорить о программах Python, которые принимают ввод и вычисляют свой вывод на основе этого ввода. Например, первая из двух приведенных выше строк имеет программу:

 n = вход ()
напечатать "01" * n / 2 

Что касается ввода «50», мы видим, что первая строка имеет постоянную сложность (действительно, это также верно для многих чисел, таких как 25).Другими словами, строка «50» содержит много информации о строке, которую мы хотим сгенерировать (ее длина).

С другой стороны, для второй струны та же техника не работает. Несмотря на то, что он имеет длину 50, этой информации недостаточно для определения содержимого строки, которое сильно различается. Таким образом, самая короткая программа (вероятно) — это та, которая дословно выводит строку.

В будущем мы планируем вернуться к идее относительной сложности в контексте машинного обучения и классификации; вкратце, два элемента похожи, если один имеет низкую сложность по сравнению с другим. А пока обратимся к более точным определениям.

Фактическая колмогоровская сложность

Мы постоянно говорим о второй строке выше, что самая короткая программа — это , вероятно, — та, которая выводит строку дословно. Фактически, если не проводить тестирование каждой отдельной программы на Python меньшей длины, мы никогда не узнаем, правда ли это! Даже если бы мы это сделали, наши следующие определения сделают это открытие несущественным. В более общем плане важно отметить, что сложность Колмогорова — это невычислимая функция.То есть не существует машины Тьюринга, которая принимает на вход слово и производит его сложность Колмогорова на выходе. Чтобы доказать такие чудеса, нам необходимо формализовать обсуждение в контексте машин Тьюринга.

Зафиксируем универсальный язык программирования и поговорим о колмогоровской сложности относительно:

Определение : Колмогоровская сложность строки относительно, обозначается как самая короткая программа, написанная на языке, который производит в качестве вывода. Условная сложность Колмогорова по отношению к строке, обозначенная (произносится при , как в теории вероятностей), является длиной кратчайшей программы, которая, будучи заданной на входе, выводит.

Прежде чем мы сможем доказать, что это определение не зависит от (во всех смыслах и целях), нам понадобится небольшая лемма, которую мы по существу уже доказали:

Лемма : Для любых строк и любого языка у нас есть некоторая константа, не зависящая от, и некоторая константа, не зависящая от.

Доказательство. Программа, которая тривиально выводит желаемую строку, имеет длину для любого постоянного числа букв, необходимого для того, чтобы указать, что строка должна быть выдана как вывод. Это явно не зависит от строки и любого ввода.

Нетрудно заметить, что это определение инвариантно относительно выбора языка с точностью до постоянного множителя. В частности, пусть будет строка и исправит два языка. Поскольку оба языка являются универсальными , в том смысле, что они могут моделировать универсальную машину Тьюринга, мы можем связать колмогоровскую сложность по отношению к обоим языкам. В частности, можно написать интерпретатор для на языке и наоборот. Читатели должны убедить себя, что для любых двух разумных языков программирования вы можете написать программу конечной длины на одном языке, которая интерпретирует и выполняет программы, написанные на другом языке.

Если мы позволим быть самой короткой программой, записанной в данных выходных данных, и быть интерпретатором для записанных в, то мы можем вычислить данные входные данные посредством интерпретатора. Другими словами, .

Еще один простой способ убедиться в этом — представить, что вы знаете язык. Тогда программа будет чем-то вроде:

 вход x
запустить интерпретатор i в программе p с вводом x 

Наши неравенства выше просто описывают длину этой программы: мы требуем, чтобы весь интерпретатор и вся программа были частью текста программы. После этого остается фиксированный постоянный объем кода, необходимый для инициализации интерпретатора на этом входе.

Мы называем этот результат свойством инвариантности колмогоровской сложности. И с учетом этого, мы можем говорить о — колмогоровской сложности струны. Мы охотно игнорируем аддитивную разницу констант, которая зависит от выбранного языка, и мы можем безопасно работать исключительно в контексте некоторой фиксированной универсальной машины Тьюринга (или, скажем, Python, C, Racket или Whitespace; выберите свой любимый). Мы будем делать это в дальнейшем, обозначая колмогоровскую сложность струны.

Некоторые основные факты

Мы будем работать с двумя основными фактами:

• Есть строки сколь угодно большой колмогоровской сложности.
• Большинство струн имеют высокую сложность.

И мы будем использовать эти факты, чтобы доказать, что это невычислимо.

Во-первых, для любого существует строка, такая что. Чтобы убедиться в этом, нам нужно только посчитать количество строк меньшей длины. Для тех из нас, кто знаком с типичной комбинаторикой, это просто принцип голубятни, применяемый ко всем струнам меньшей длины.

В частности, существует не более одной строки нулевой длины, поэтому может быть только одна строка с нулевой колмогоровской сложностью; то есть существует только одна программа нулевой длины и может иметь только один выход. Точно так же есть две строки длины один, так что есть только две строки с колмогоровской сложностью, равной единице. В более общем смысле, есть строки длины, поэтому существует не более чем строк колмогоровской сложности меньше. Однако, как мы видели ранее, эта сумма равна. Таким образом, слишком много строк длины и недостаточно строк меньшей длины, подразумевая, что хотя бы одна строка длины имеет по крайней мере колмогоровскую сложность.

Второй момент — это просто рассмотрение приведенного выше доказательства под другим углом: по крайней мере 1 строка имеет сложность больше чем, более половины строк имеют сложность больше чем, более трех четвертей строк имеют сложность больше чем и т. Д.

Строго говоря, мы докажем, что вероятность выбора струны меньше, чем. Пусть будет набор всех таких строк, у нас есть инъекция набора всех строк, длина которых меньше, и есть такие строки, поэтому, давая неравенство:

Другими словами, вероятность того, что произвольно выбранная строка имеет длину, не меньше.

Струны высокой колмогоровской сложности имеют особые названия.

Определение : Мы называем строку так, что случайная строка Колмогорова строка или несжимаемая строка .

Это имя имеет смысл по двум причинам. Во-первых, как мы уже упоминали, случайно выбранные строки почти всегда являются случайными по Колмогорову, поэтому название «случайные» уместно. Во-вторых, колмогоровская сложность — это, по сути, идеальный метод сжатия.В некотором смысле строки с высокой колмогоровской сложностью не могут быть описаны более коротким языком; такой язык обязательно будет соответствовать программе, декодирующей язык, и, если сжатие невелико, то же самое относится и к программе, которая его распаковывает (эти утверждения неформальны и асимптотичны).

Невычислимость

Теперь мы докажем основную теорему этого праймера, что сложность Колмогорова невычислима.

Теорема: Функция сложности Колмогорова невычислима.

Доказательство. Предположим противное, что это вычислимо, и это машина Тьюринга, которая вычисляет его. Мы построим новую машину Тьюринга, которая вычисляет строки высокой сложности, но будет иметь краткое описание, дающее противоречие.

В частности, выполняет итерацию по набору всех двоичных строк в лексикографическом порядке. Для каждой такой строки он вычисляет, останавливаясь, как только находит, что. Тогда имеем следующее неравенство:

Здесь обозначение угловых скобок представляет собой описание кортежа и является константой, зависящей только от, которая является фиксированной.Причина, по которой неравенство выполняется, — это просто теорема инвариантности: это описание на языке машин Тьюринга. Другими словами, универсальная машина Тьюринга, которая моделирует на выходе, будет выводить, поэтому колмогоровская сложность ограничена длиной этого описания (плюс константа).

Тогда длина не больше для некоторой константы, а это, в свою очередь, для некоторой константы (поскольку описание является константой). Это дает неравенство

Но так как, мы можем выбрать достаточно большое, чтобы прийти к противоречию.

Мы можем интерпретировать это философски: невозможно точно сказать, насколько что-то случайно. Но, что, возможно, более важно, это доказательство невычислимости по-настоящему отличается от нашего доказательства неразрешимости проблемы остановки. До сих пор единственный способ доказать, что что-то невозможно вычислить, — это свести это к проблеме остановки. В самом деле, это хорошо подходит для многих новых видов теорем типа неразрешимости, как мы увидим ниже.

Здесь читатель может спросить: «Зачем говорить о том, что мы даже не можем вычислить !?» В самом деле, можно подумать, что из-за своей невычислимости колмогоровская сложность может дать понимание только теоретических вопросов, не имеющих практического значения.Фактически, существует множество практических применений сложности Колмогорова, но на практике обычно дают грубую верхнюю границу с помощью многих отраслевых алгоритмов сжатия, таких как коды Хаффмана. Наша цель после этого учебника — убедить вас в его замечательной применимости, несмотря на его невычислимость.

Последствия невычислимости и несжимаемости

Непосредственным следствием существования несжимаемых строк является следующее: невозможно написать идеальный алгоритм сжатия без потерь.Каким бы искусным он ни был, всегда будут строки, которые нельзя сжать.

Но есть ряд других, более неожиданных мест, в которых колмогоровская сложность заполняет нишу. В вычислительной сложности, например, можно дать нижнюю границу количества времени, которое требуется однопленочной машине Тьюринга для моделирования двухленточной машины Тьюринга. Также в области нижних границ можно доказать, что несжимаемая строка длины, которую можно интерпретировать как логическую функцию от переменных, требует, чтобы вентили выражались в виде схемы.

Он также появляется за пределами теоретической информатики. Например, при изучении энтропии в динамических системах (в частности, термодинамике) можно сделать следующее наглядное замечание:

Фактически, автор этого изображения Скотт Ааронсон (которого мы видели ранее в нашем исследовании зоопарка сложности) даже предлагает эмпирический тест этого факта: смоделировать дискретную кофейную чашку и попытаться сжать данные на каждом этапе. , построив график полученных длин, чтобы увидеть тенденции.Это даже звучит как хороший проект для этого блога!

Однако на этом приложения не заканчиваются. Исследователи использовали теорию сложности Колмогорова для решения проблем машинного обучения, кластеризации и классификации. Теоретически анализ Колмогорова может принести пользу любому предмету, который связан с относящимися к ним частями информации.

Наконец, мы даем доказательство того, что существование колмогоровской сложности обеспечивает бесконечное количество недоказуемых математических утверждений.

Теорема : зафиксируйте формализацию математики, в которой выполняются следующие три условия:

Тогда есть некоторая константа, для которой все утверждения с недоказуемыми.

Доказательство. Построим алгоритм поиска таких доказательств следующим образом:

 На входе k,
Установите m равным 1.
Петля:
   для всех строк x длиной не более m:
      для всех струн P длиной не более m:
         если P - доказательство S (x, k), выведите x и остановите
   м = м + 1 

Предположим противное, что для всех существует утверждение, для которого утверждение доказуемо.Нетрудно заметить, что описанный выше алгоритм найдет такой файл. С другой стороны, для всех таких доказательств справедливо следующее неравенство:

Действительно, этот алгоритм является описанием, поэтому его длина дает оценку сложности. Как и в доказательстве невычислимости, это неравенство может выполняться только для конечного числа; противоречие.

Обратите внимание, что это доказательство типа недоказуемости сильно отличается от теоремы Гёделя о неполноте. Теперь мы можем со сколь угодно высокой вероятностью построить сколь угодно много недоказуемых утверждений.

Ждем наших будущих постов о приложениях колмогоровской сложности! Мы намерены изучить некоторые алгоритмы сжатия и использовать такие алгоритмы для изучения проблем кластеризации, особенно для музыкальных рекомендаций.

А пока!

Нравится:

Нравится Загрузка …

Введение в сложность Колмогорова и ее приложения Ли Мин

• Домой
• Мои книги
• Обзор ▾
  • Рекомендации
  • Choice Awards
  • Жанры
  • Подарки
  • Новые выпуски
  • Списки
  • Изучите
  • Новости и интервью
  00 Биография

  32

  • Бизнес
  • Детская
  • Христианская
  • Классика
  • Комиксы
  • Поваренные книги
  • Электронные книги
  • Фэнтези

  • Художественная литература
  • Графические романы
  • Историческая литература265265
  • Ужасы
  • Музыка
  • Тайна
  • Научная литература
  • Поэзия

  • Психология
  • Романтика
  • Наука
  • Научная фантастика
  • Самопомощь
  • Спорт
  • Триллер
  • Путешествия
  • Молодежь
  • 101
  • Сообщество ▾
    • Группы
    • Обсуждения
    • Цитаты
    • Спросить автора

  • Войти
  • Присоединиться

  Зарегистрироваться

  • Профиль

  Друзья

  Группы

  Обсуждения

  Комментарии

  Задание по чтению

  Kindle Заметки и основные моменты

  Цитаты

  Любимые жанры

  Рекомендации друзей

  Настройки учетной записи

  Помощь

  Выйти

  Главная 9035

  Мои книги

  Обзор ▾

  • Рекомендации
  • Choice Awards
  • Жанры
  • Подарки
  • Новые выпуски
  • Списки
  • Изучить
  • Новости и интервью

  Жанры

  • Бизнес Артография
  98
  • Детская
  • Кристиан
  • Классика
  • Комиксы
  • Поваренные книги
  • Электронные книги
  • Фэнтези

  • Художественная литература
  • Графические романы
  • Историческая литература
  —
  • История

  9010

  Лучшая книга Книги по математике Загадка Ферма Простой и захватывающий отчет о 350-летнем пути к доказательству Великой теоремы Ферма. На Amazon Сингх Нет необходимости в математике после окончания средней школы. Попутно изучайте математические темы, но только если вам этого хочется. Путешествие сквозь гений На Amazon Данхэм Основная одержимость: Бернхард Риман и величайшая нерешенная проблема в математике Захватывающая, ясная нерешенная гипотеза Риманна за миллион долларов. На Amazon Дербишир The World of Mathematics: A Four-Volume Set Сборник лучших эссе и отрывков из книг по всем областям математики, написанных такими гигантами, как фон Нейман, Шредингер и Тьюринг. На Amazon Ньюман (редактор) Прочтите, перечитайте, выделите эту книгу с упорством. Вы будете очарованы каждой статьей от «Как охотиться на подводной лодке» до «Рассеянный гений и законы случая» до «Наследственность и квантовая теория». Математики Подробный, супер-увлекательный, но не совсем исторически точный отчет известного автора-математика о жизнях некоторых величайших имен в истории математики. На Amazon E.Т. Белл Книга, которую Джон Нэш-младший («Прекрасный разум») читал в детстве, положил начало серьезной страсти к математике на всю жизнь. Менее чем через 10 лет после прочтения он написал докторскую диссертацию, получившую Нобелевскую премию. Принстонское руководство по математике Невероятно хорошо написанная энциклопедия обзоров математических предметов, математических тем, теорем, математиков и т. Д. На Amazon Гауэрс (редактор) Таинственным образом проявляет ясность и технику. в то же время.Каждая статья написана выдающимся математиком в этой области. Все, от старшеклассников до профессиональных математиков, многому научились из этой книги. Google, чтобы получить множество бесплатных отрывков из PDF. Теория относительности Эйнштейна Иллюстрировано в стихах. Изучите тензоры, координатные карты, специальную и общую теорию относительности. На Amazon Lieber Первоначально опубликовано вскоре после создания теории. Легко погрузитесь в это и прочтите 40 страниц, прежде чем вы узнаете, что произошло. Математика: ее содержание, методы и значение Подробный обзор всех основных областей математики, более 1000 страниц. Дуврское издание на Amazon А. Д. Александров, А. Н. Колмогоров, М. А. Лаврентьев Сродни принстонскому соратнику по математике 1960-х годов. Неграмотность: математическая неграмотность и ее последствия На Amazon Джон Аллен Паулос Наука и гипотеза Наука и гипотеза на Amazon гений. Как это решить: новый аспект математического метода Классика решения математических задач. На Amazon Polya Советы по решению проблем в очень общем, но очень практическом смысле. Любовь и математика: сердце скрытой реальности В книге «Любовь и математика» известный математик Эдвард Френкель раскрывает ту сторону математики, которую мы никогда не видели, пронизанную красотой и элегантностью произведения искусства.В этой проникновенной и страстной книге Френкель показывает, что математика, далеко не занимая специализированной ниши, затрагивает самую суть всех вопросов, объединяя нас в разных культурах, времени и пространстве. - С Amazon.com На Amazon Эдвард Френкель «Это как учить в классе рисования, где вам только говорят, как красить забор, но никогда не показывают вам Пикассо», - говорит он об уроках математики в начальной школе. «Люди говорят:« Я плохо разбираюсь в математике », но на самом деле они говорят:« Я плохо красил забор ».'"- Френкель Последняя проблема Взгляд на Великую теорему Ферма, но написанную до того, как проблема была решена. Чрезвычайно влиятельным автором математики прошлого. Прочтите об этом на Amazon ET Bell Эту книгу, которую Эндрю Уайлс прочитал в детстве, мгновенно зацепило его мечтой всей жизни решить Великую теорему Ферма, подвиг, который он совершил в 1994 году.