Как заинтересованный в этой системе задам задачку:

допустим хочу я получить софтверные новости с "хобота" с определённой даты, запускаю поиск по ентой p2p и получаю, что подобная инфа есть у, допустим, 200 человек и собрана она с помощью 10 разных шаблонов и причём данные, собранные одним и тем же шаблоном у разных юзверей, различаются.

В результате получаем, скажем 50 версий одной и той же новости, причём т.к. рейтинг ставится от дуба (или по интересу), то определить качество новости (то бишь насколько она правильно вырезана из сайта и не потеряны-заменены в ней какие быквы-строки-фразы) - определить невозможно ... и даже если будут комменты, то им доверия особого тоже нет, да и время на их прочтение затрачу больше, чем если бы сам залез на сайт и нужную новость прочитал.

Вывод прост: я не могу доверять новостям, собранным такой системой, их в любом случае придётся проверять.

P.S. Делайте просто достойную замену WatzNew с нормальной поддержкой регулярных выражений и централизованной системой шаблонов - это действительно нужный проект.

Сет... я не думаю, что новости которые лежат в вебе постоянно нужно запихивать в систему р2р и гонять по сетке.

ИМХО нужно передавать средствами р2р новости введенные самим пользователем. А для выдирания новостей с хобота нужно распространять не сами нвости, а шаблоны для модуля WatzNew или ссылки ны RSS каналы

Нужно ли изобретать что-то свое или использовать уже изветсный протокол Gnutella? Я о гнутелле только слышал, но в сетевых протоколах я не разбирался (ни в одном).

Это как хочешь. Главное, ты получешь извещение, что потенциально интересная именно тебе новость есть на такой-то странице. Если ты пойдешь на эту страницу и не увидишь там этой новости, то ты можешь просто поставить пользователя, который послал такую мессагу в бан-лист. А реально у тебя через некоторое время наберется список проверенных авторов от которых ты и будешь читать новости.  

Первый этап - замена WatzNew. Хранилище шаблонов сделать можно, только они устаревают быстро. Хотя можно попробовать наладить систему апдейтов.  

RSS каналы мне не очень понравились. А шаблоны, принципиально, конечно же можно рассылать. Спасибо за совет!

Кстати, что ты подразумеваешь под "с нормальной поддержкой регулярных выражений"?

This post has been edited by imageman on 17-04-2004, 15:51

а не проше ли написать plug-in к тому же eMule , как бы клиент уже готов, просто написать добавку к нему

eMule но поддерживает плагины. Или я не прав? К тому же сама сеть eDonkey не ориентирована на наши нужды (сеть оптимизирована для передичи больших файлов).

К тому же одним плагином не обойтись - нужно написать чуть ли не десяток (!) плагинов. ( http://www.npj.ru/imageman/3661 )

Все здравые мысли можно писать сюда http://www.npj.ru/soroka

P.S. туда писать только тем, кто реально хочет помочь, не следует туда писать "а зачем это нужно?"

This post has been edited by imageman on 16-04-2004, 13:05

До меня кажется дошло, хотите сделать систему блогов на p2p, с неким уклоном на новости ?!

И что значит "получать извещение", как это понять ? Можно столько извещений получить в неподходящий момент, что инет просто умрёт. Кто их вообще-то будет генерить и слать ?
Может "получать результаты своего поиска" ?

98% - сказочки однако , когда система станет популярной, спамом по самое горло зальётесь, даже серьёзные AI фильтры не помогут, да и кто эти фильтры будет настраивать ... конечный пользователь что-ли ?! Как они настраивают - все знают.

Отбор важных новостей - ещё одна проблема, если я захочу не пропустить ни одну новость по какой-то теме, то получу немерянную кучу лишнего хлама, если же жёстко резать фильтрами - будет немерянное число "дропов".

"Цифровая подпись" - ... очень мило, будете создавать сертификационный центр что-ли ?! Муловская криптоидентификация тут не проканает.

"Новости могут иметь комментарии": точно блог ... мусора становится ещё больше.

P.S. В общем хотелось бы прочитать об системе эти сообщений, кто кому когда что передаёт. Например "передавать в Сороку", как это понять, вроде данные каждого на локальной машине хранятся ... или планируется сделать распределённое хранение как в фреенете ?

 
Реальный спам у меня именно на 98% отсеивается.
K9 отсеивает на 98.7% (по статистике программы).  

Это в любой системе. Подчеркиваю: в любой! Даже если ты любому человеку скажешь: найди мне все про собак. Он тебе кучу книг принесет. "Найди мне самое важное про собак" - принесет справку-статью из энциклопедии. Нужно говорить о реальных вещах.  

 
Все проще. При первом запуске Сороки генерируются данные для подписи. Затем, если какая-то новость уходит в сеть, то пользователь, который получил эту новость (и не пометил ее как СПАМ) смотрит, есть ли сертификат этого пользователя? Если сертификата нету, то этот сертификат запрашивается у самого пользователя. Спросишь:  а зачем такой никем не подтвержденный сертификат? Отвечу.  Любой добросовестный пользователь Сороки будет нарабатывать авторитет в сети. Его новости автоматически будут получать более высокий приоритет. Так вот, чтобы никто не вздумал подписаться Лениным и будет цифровая подпись (точно так же никакой Пупкин не сможет внести изменения в труды Ленина).  Пупкин (подписавшись Лениным) сможет обмануть только небольшое число новых пользователей. Но и в этом случае они через какое-то время увидят, что существуют два Лениных (один из которых явный дурак).  

чем тебя не устраивают комментарии?  
 

Насколько я помню во фреенете часть дискового пространства отводится под служебные нужды и пользователь не может посмотреть, что там храниться (зашифровано). В Сороке под системные нужды тоже будет зарезервировано какое-то пространство, но это пространство всегда можно будет просмотреть. Как я уже неоднократно говорил все новости будут в автоматическом режиме делиться на спам, хорошие и не очень. (Как будут делиться? Почитай про антиспаммерские технологии.) Важные новости будут сразу выдаваться на экран или стоять в самом верху. Менее важные внизу списка. При прочтении како-либо новости пользователь будет ставить оценку конкретной новости. Плагин, который будет отвечать за рейтингования, за отделение спама будет обучаться. Таким образом новость, первоначально помеченная как малоинтересная может получить более высокую оценку и в будующем подобные новости попадут на более высокое место, НО только у конкретного пользователя. Пользовательские оценки никуда не уходят. Сами оценки (как и правила, по которым эти оценки будут строится) будут храниться только на компьютере пользователя!  

Люди тщеславные. Им хочется видеть результаты своих трудов - сколько человек прочитали его стихотворение. Поэтому такой поэт-писатель-журналист при отсылке своего творения в Сороку поставит галочку "собирать статистику". Удаленная Сорока в момент прочтения (точнее показа на экран) сообщения видит галочку "статистика" и смотрит с какого IP адреса пришло письмо (точнее авторский IP) и на этот адрес отправляет пакет "Прочитал сообхение ХХХ". Компьютер писателя, конечно же в этот момент должен быть включен.

А не будет ли слишком много сообщений? Можно десятикратно уменьшить нагрузку. Что для этого нужно сделать? Сорока должна сгенерировать случайное число от 0 до 1. Если число получится меньше 0.1, то Сорока отправляет пакет "Прочитал сообхение ХХХ". А компьютер поэта-журналиста число пакетов будет смело умножать на 10.

This post has been edited by imageman on 16-04-2004, 19:44

Иными словами каждое сообщение выпихивается в p2p и размножается всеми клиентами, так чтобы все пользователи его получили, т.е. идёт "информационная волна". Не будет ли так, что одновременное большое число таких сообщений просто напросто "зальёт" клиентов ?
Ответные сообщения по сравнению с этим значительно безопаснее (размеры не те).  

А комп читателя, если он выключен, то всё, сообщение не будет получено ?  

Читал. Оценки каждого юзверя будут хранится на локальной машине, вопрос: как собрать оценки по данной новости со всех пользователей сети ? Каскады запросов слать ?

Все правильно - новость распространяется волной (расходящейся). Клиента не зальет. Он сам будет регулировать поток новостей. Сразу же делаю дополнение: можно попытаться сделать так, чтобы при большом траффике сначала скачивались потенциально более важные сообщения. И только потом, если хватит траффика, докачивать остальные новости. Можно сделать что-то вроде FIDO.  

Если у тебя комп выключен, ты скачаешь фильм в emule?  

Зачем? Сбором таких оценок мы облегчим жизнь спаммерам (они будут знать ключевые слова с положительным рейтингом). Да и нагрузка на сеть будет увеличиваться. Опять-таки - интересы у разных пользователей разные и то, что нравится одному не понравится другому. Соответственно и сбор оценок не очень поможет сети в целом.

О рейтинге новости кажись дошло ... он только для локального пользователя и для автора сообщения (если идёт сбор статистики).

"Потенциальная важность" новости (или её ненужность, спам) может в данном случае определятся только на локальной машине, а для этого все сообщения надо загрузит. Выходит, что клиент в обязательном порядке получает все сообщения и затем уж их фильтрует... Похоже на обычную систему электронной почты.  

Фильм - не новость, когда я включаю комп я хочу знать обо всех новостях. И тем более, об упомянутых в описании этого проекта статьях и т.п. Выходит после одной рассылки они просто исчезают - кто не успел......  

Если я правильно понимаю архитектуру FIDO, то она совсем для подобного проекта не подходит ... скорее тут ближе структура Usenet-а ... правда по моим прикидкам механизм ньюссерверов не проканает - требуются приличные обьёмы на дисках пользователей.

Нашёл таки http://www.npj.ru/imageman/p2p

При подобной системе требуется хранение у каждого клиента всех новостей и комментариев к ним за определённое время (скажем, за последние сутки). А размеры такого хранилища вполне могут достигать сотен мегабайт...

автор сообщения не получает уведомления о рейтинге его новости. Он получает уведомление о показе новости читателю (клиенту).  

тут можно немного кое-что изменить. Если тебе важнее траффик, то программа выбирает из списка достыпных включенных компов наиболее авторитеного человека и с его машины идет доставка новостей с высокой оценкой конкретного авторитета. Т.е. в данном случае мы экономим на траффике, но полагаемся на оценку другого человека (т.е. получаем только часть новостей).

Бедут выглядеть это примерно так.

1. Привет! Я знаю ты хороший чувак. Передай мне список новостей за 4 дня, отсортированных по рейтингу. И укажи размеры каждой новости.
2. На тебе список: #450 (1 кб), #98 (456b) и т.д.
1. Давай мне ##450, 98, 48, 998.....

Таким образом, например, при траффике 1 мегабайт в час (входящий) Сорока может выбрать трех человек. Первый выбранный человек предложит, к примеру, 1 мегабайт новостей. Скачаем от него 500. Второй предложит 650 килобайт новостей (часть уже будет скачана от первого). Скачаем от него 250. И от третьего скачаем еще 250.

Для этого нужно ввести некую систему (локальную для каждого пользователя) рейтингования клиентов. Т.е. скачиваем новости от Ильича (к примеру), отсортированные по рейтингу. Читаем их. Оцениваем. Смотрим: если сортировка новостей, произведенная нами совпадает с сортировкой произведенных Ильичем, то Ильич имеет такие же вкусы, как и я. Если сортировка сильно не совпадает, то этот человек не очень нам подходит (вкусы разные).


This post has been edited by imageman on 19-04-2004, 10:22

Каждый клиент должен участвовать в пересылке новостей и комментариев вне зависимости от их содержимого, на этом же вроде стоит вся сеть ? Но никакого контроля траффика я тут не вижу.

Теперь об описанном выше обмене недостающими кусками при подключении в сеть: если, как описано, хранить не все новости и комменты за указанный период у каждого клиента, а только те, которые отфильтрованы по своим фильтрам этим же клиентом, то получим ситуацию "дыр". Будут отсутствовать как нужные новости, так и комментарии к ним ... а кому нужна система с рандомальной доставкой новостей ? Кого порадует, скажем, почтовый сервер, выкидывающий мейлы случайным образом ?

Проект умер ?