ето как ?крот

читай
Topic Link: Чебурашка и крокодил Гена!

This post has been edited by kpot on 14-07-2004, 20:28

Я тоже еще держу. И вижу, что иногда на него запросы есть... При его размере в 76 мег я отдал уже 300 мегов. Так что система работает

This post has been edited by Kostyanych on 16-07-2004, 18:03

У меня все PARы абсолютно красного цвета. А нельзя ли мне по ФТП их получить? Я бы их потом расшарил дополнительно.

Если у тебя есть куда залить, залью. Пиши в РМ что и как

Гы!

Тут у меня вчера (?) случилось чудо - докачалась вторая часть. Хэш совпадает, да только чудо на том и кончилось. Архив по прежнему битый. Кто-то пытался его восстановить, но не учел, что совпадение хэша условие необходимое, но недостаточное. Это проверка на целостность с некой вероятностью ошибки. Так что продолжаем качать PAR файлы, если есть еще желающие. А тому, кто пытался восстановить, советую запустить для проверки тест архива в WinRAR перед тем как выкладывать его по-новой в сеть. Если CRC суммы в осле и в WinRARе совпадут, вот тогда можно говорить с вероятностью 99.999999%, что архив полностью восстановлен

SonyBrother
Во-первых, никакого чуда не произошло. Ибо и не такое восстанавливалось. А во-вторых, совпадение хэша, да не какого-нибудь CRC32, а MD4 - это всё-таки уже достаточное основание для утверждения, что файл восстановлен бит в бит. А если ещё учесть то, что хэши восстановленных чанков совпали с хэшами находящимися в хэш-сете, полученном из сети, то...

Впрочем, делаем тест архиву и... вуаля! CRC всех файлов в полном порядке!

Так что PAR-ы всё же больше уже не нужны, хотя они очень пригодились для восстановления архива.

Я писал не абы как, а после проверки в WinRAR, как только увидел, что все вдруг докачалось. WinRAR выдал мне сообщение "CRC error". Так что вуаля у себя не наблюдаю.

MD4 - это всё-таки уже достаточное основание для утверждения, что файл восстановлен бит в бит

Еще раз - это необходимое, но недостаточное условие. Это не гарантированное совпадение, а проверка с очень малой вероятностью ошибки, что все правильно, но для тебя это видимо пустой звук - раз вероятность мала, то ошибки быть не может. Откуда тебе знать в каком случае она есть а в каком ее нет?

SonyBrother
Ну что я могу сказать... Если у меня WinRAR не выдаёт ошибки, а у тебя выдаёт - тестируй память!

Но может это и был тот случай, когда стоило бы пожаловаться? Что-то же ведь однозначно сглюкнуло у тебя в первый раз.

Эх, Sergey Overkill, где же ты был все эти годы?

Э... В смысле? Какие именно годы?

SonyBrother
Кстати, сразу не ответил - времени не было. А вот теперь оно появилось...

Вот ты говорил, что проверка на совпадение файлов посредством сверки их хэшей - это проверка с очень малой вероятностью ошибки. И что совпадение хэшей - это необходимое, но недостаточное условие... Всё это разумеется так и я это прекрасно знаю. Но знаешь ли ты, какова вероятность того, что хэши совпадут для несовпадающих файлов? Я имею в виду вероятность выраженную ЧИСЛЕННО. Я думаю, что ты просто над этим не задумывался. Ну так давай вместе и подумаем над этим и не только.

* * *

Если бы это было со мной.

Итак, что я имею? Файл мулом получен, что означает, что те скачанные чанки, которых долго недоставало, имеют тот хэш, который они и должны иметь. И в то же время файл после проверки WinRAR'ом оказывается битым. Что это? Кто-то восстановил файл так, что хэши чанков совпали, но тем не менее файл восстановлен неправильно? Как это могло быть?

Что если имел место такой вариант: человек просто сгенерил и засунул на место недостающих чанков некую туфту так, чтобы она имела нужный хэш? Нет, этот вариант отпадает сразу, ибо лучшие умы создавали алгоритм MD4 именно так, чтобы не было способа это сделать. Т.е. создать блок данных с заранее известным хэшем.

А что если человек имел нормальный файл, но при передаче по сети пара байт испортилась, однако случилось так, что чанк с испорченными данными получился с тем же хэшем? Нет, этот вариант тоже практически полностью отпадает, поскольку при создании алгоритма MD4 одной из задач было так же добиться невозможности путём изменения нескольких байт получить блок данных с тем же хэшем, что имел начальный блок.

Да, но если байтов попортилось много? Или человек вообще набил в чанк какую-то туфту, хэш которой случайно совпал с нужным. Ведь вероятность такого существует! Да, но какова она? Если мы набиваем в чанк что-то произвольное или очень много байтов портится, то хэш чанка равновероятно примет одно из возможных значений, описываемых 128 битным числом. Ведь хэш у нас именно такой длины. Сколько же этих значений? А их 2^128, что примерно равно 3,4E+38. Соответственно вероятность успеха у него (или такого вот успешного неуспеха у нас) в данном случае - это 1 к 3,4E+38. Хм... Примерно такова же вероятность заполнить один вариант в билете лотереи 5 из 35 на семь розыгрышей, и всё эти семь розыгрышей подряд снимать джекпот! Не, хоть я и не Станиславский, но...

Но... Но ведь человек мог написать маленькую программку, которая определённым образом, циклически, изменяя некую туфту и подсчитывая после этого её хэш, со временем нашла бы такую комбинацию байтов, которая дала бы нужный хэш! Посмотрим. Допустим, человек запустил эту программу сразу после того, как izanoza выложил файл, а программа могла бы генерировать миллиард комбинаций в секунду с подсчётом хэша. Слабо верится, что у человека был доступ к мэйнфрему, но для простоты... Так же для простоты будем считать, что релиз был выложен год назад, а программа очередной раз выдаёт такую комбинацию, что её хэш не встречался ей ранее. На самом деле такого алгоритма, чтобы "прощёлкать" все хэши без повторов (и соответственно без пропусков) нет, но для простоты... В общем, за год было бы "прощёлкано" всего 31536000000000000 хэшей, что даёт вероятность нахождения нужного равную 31536000000000000 к 3,4E+38 или 1 к примерно 10790283070806014188970. Это примерно соответствует четырём вышеупомянутым джекпотам подряд. Не, так тоже не бывает... Да и очень слабо верится, что кому-то придёт в голову это на самом деле попытаться сделать. Нагадить, буде у кого такое желание, можно куда как меньшей кровью...

Так. Всё-таки буду считать, что файл у меня бит в бит совпадает с тем, что выложил izanoza, ибо мне за всю жизнь и одного раза подряд 5 из 35 угадать не удавалось, а уж несколько... Что же сталось? Файл мог быть изначально битым. Но этот вариант не подходит, ибо уже давным давно кто-то об этом на форуме сообщил бы. Значит какой-то глюк произошёл у меня! Протестирую-ка я файл ещё раз. Так... Идёт... Идёт... Опа! No errors found. Ну всё, надо тестировать память, жёсткий диск, процессор... Ну и что там ещё бывает?..

Послесловие.
Да, но файл-то был как-то всё же восстановлен. Как? Так, подумаем... Эврика! Да ведь это так просто, что проще уже и некуда! И как я сам не догадался...

Я имею в виду вероятность выраженную ЧИСЛЕННО. Я думаю, что ты просто над этим не задумывался. Ну так давай вместе и подумаем над этим и не только

Ты не понимаешь сути, придется повторить еще раз - раз есть вероятность ошибки, причем неважно какой, пусть даже непринебрежимо малой с 100 нулями после десятичной точки, это говорит о том, что полной гарантии проверки нет и быть не может! Чтобы ты не говорил, как бы того не хотел, но если ты это игнорируешь, значит ты или не понимаешь или просто плюешь на это ввиду малости, что есть так же непонимание сути. Еще раз - неважно какой величины ошибка, сам факт ее вероятного наличия не дает права в 100% уверенности совпадения. Все.

Что если имел место такой вариант: человек просто сгенерил и засунул на место недостающих чанков некую туфту так, чтобы она имела нужный хэш? Нет, этот вариант отпадает сразу, ибо лучшие умы создавали алгоритм MD4 именно так, чтобы не было способа это сделать

Полная чушь, можно сгенерить несколько последовательностей с тем же хэшем. На этом как раз и строилась защита обвиняемых в суде, когда их обвинили в скачивании какого-то музыкальног контента, а по факту оказалось что они качали другое.

На самом деле такого алгоритма, чтобы "прощёлкать" все хэши без повторов (и соответственно без пропусков) нет, но для простоты...

Элементарно Ватсон, нужно идти с другой стороны. Не от последовательности к хэшу, а от заданного наперед хэша к последовательностям. Генери сколько твоей душе угодно.

Нагадить, буде у кого такое желание, можно куда как меньшей кровью...

С этим как ты теперь понимаешь проблем нет вообще. Запихнуть чанк в сеть с тем же хэшем, но абсолютно дебильным содержанием проблем нет. Странно, что RIAA еще не дошла до такого способа осложнить жизнь любителям халявы.

This post has been edited by SonyBrother on 28-07-2004, 21:16