Народ, голову нашего хорошего друга ImageMan-a с дружественным визитом посетила следующая мысля: :)
Есть идея по созданию программы обмена [интересными] новостями. Рабочее название "Сорока" (по русски "40А"). Вкратце:
- Программа разделена на несколько модулей.
- Первый модуль - аналог WatzNew. Этот модуль анализирует html страницы, которые задает пользователь и из этих страниц вытаскивает новости.
- Второй модуль рассылает новости другим пользователям.
- Третий модуль все новые новости проверяет по антиспаммерским технологиям + присваивает каждой новости рейтинг. Этот же модуль принимает от пользователя оценки новостям (вверху окошка с новостью будут три кнопки - "отлично/интересно", "безразлично/не интересно", "СПАМ"). Этот же модуль самообучается (на основе оценки конкретного пользователя).
Каждая новость имеет цифровую подпись. Делается это для того, чтобы "левые" люди (спаммеры, ламеры) не выдавали себя за своих чуваков.
При публикации новости в сеть можно поставить галочку "сбор статистики". В этом случае после прочтения новости удаленным пользователь на компьютер создателя новости уходит сообщение "Новость #xxx прочитана". И создатель новости может посмотреть сколько народу прочитало его новость. К каждой новости прикрепряется флаг, который определяет на каком языке новость (мне, например, не интересно читать на немецком). Новости, видимо, лучше оформлять как html текст. С обящательным вырезанием javascript и прочего.
За другими подробностями идеи или на мыло, или на аську 8997235
Вот такая идейка... Вообщем, все заинтересовавшиеся - милости просим к обсуждению. ;)
micha
@ 12-04-2004, 12:35
что то я не совсем понял ...
а смысл ?
Billy Bonce
@ 12-04-2004, 15:08
| QUOTE |
| - Первый модуль - аналог WatzNew. Этот модуль анализирует html страницы, которые задает пользователь и из этих страниц вытаскивает новости. - Второй модуль рассылает новости другим пользователям. - Третий модуль все новые новости проверяет по антиспаммерским технологиям + присваивает каждой новости рейтинг. Этот же модуль принимает от пользователя оценки новостям (вверху окошка с новостью будут три кнопки - "отлично/интересно", "безразлично/не интересно", "СПАМ"). Этот же модуль самообучается (на основе оценки конкретного пользователя). |
1 модуль- персональный портал новостей - нужная штука, аналоги написаны смысла изобретать велосипед нет ;)
назначение 2 и 3 модуля, я не понимаю...
нафига пересылать *персональные* новости другим чувакам, да еще и требовать от них оценки :fear2:
XaBoK
@ 12-04-2004, 23:44
| QUOTE |
| аналоги написаны смысла изобретать велосипед нет |
Велосипед всегда можно улучшить и переделать/доделать ;)
Вот у меня вопрос (ближе к телу):
| QUOTE |
| Новости, видимо, лучше оформлять как html текст. С обящательным вырезанием javascript и прочего. |
А зачем весь этот геморой? Ведь можно делать новости в формате XML используя словарь своих тэгов. Сделать под эти тэги "движок" на XSL и не париться с обрезаниями на javascript... CSS позволит сделать скин для новостей (и у каждого пользователя он будет свой).
Кстати, с XML нет проблемы работать на разных языках и технологиях. А на чём собераются писать модули?
obender
@ 13-04-2004, 07:01
| QUOTE (XaBoK @ 12-04-2004, 15:44) |
| Сделать под эти тэги "движок" на XSL и не париться с обрезаниями на javascript... CSS позволит сделать скин для новостей (и у каждого пользователя он будет свой) |
Или просто использовать RSS, который собственно для этого и был создан, и для которого уже есть несчислимое количество читалок...
imageman
@ 13-04-2004, 09:03
| QUOTE (micha @ 12-04-2004, 11:35) |
что то я не совсем понял ...
а смысл ? |
Примерно такую реакцию я и ожидал.... :-) Смысл именно в пункте "новость, полученную из модуля 1 (WatzNew) пересылаем другим пользователям". Дело в том, что существует много регулярно обновляемых страничек, которые потенциально мне интересны. Но, во-первых, на многих из них я не бывал. А, во-вторых, дизайн страниц довольно часто меняется и бывает просто лень создавать новые правила для обновившихся страниц. В данном случае прогдвинутые пользователи будут создавать правила для наиболее любимых страниц (причем только для нескольких) и эти за изменениями в дизайне этих нескольких страниц эти пользователи будут наблюдать. А все остальные (как продвинутые, так и новички-любители) будут всегда получать обновления. Чтобы не получать чрезмерно много обновлений нужен обязательно модуль, который будет выкидывать явный хлам и сортировать оставшееся.
| QUOTE |
| просто использовать RSS |
- такие каналы есть, но их не так много, как хотелось бы. Плюс к этому я не видел читалки, которые сортируют новости по шкале "привлекательно - не привлекательно".
| QUOTE |
| А зачем весь этот геморой? Ведь можно делать новости в формате XML используя словарь своих тэгов. |
Вполне может быть. Я только поверхностно знаком с XML, но не вижу в этом формате особых достоинтв (я ошибаюсь?)
| QUOTE |
| CSS позволит сделать скин для новостей |
- это обязательно :)
| QUOTE |
| нафига пересылать *персональные* новости другим чувакам, да еще и требовать от них оценки |
новостями принято делиться :) А оценки не ты требуешь, а модуль анализа самого пользователя, чтобы потом на основе оценки "Новости A" поставить оценку "Новости Б". Т.е. для самообучения модуля анализа у удаленного пользователя ему нужно знать пристрастия пользователя.
Причем тут могут быть использованы самые разные алгоритмы. Например, статистический по формуле Байеса, самоорганизующиеся карты Кохонина, нейросети. Все эти методы способны обучаться на реальных новостях и делать прогноз для новых новостей :contract:
В общем, девиз программы: больше хороших новостей
imageman
@ 13-04-2004, 09:15
Важно! В начале сообщения не сказано, что программа будет работать про принципу p2p. Это означает, что интересная новость будет распространяться по цепочке пользователей.
Небольшое добавление: новости могут не только выдираться из html страниц сайтов, но и писаться на клавиатуре журналистами (назовем их так). Т.е. никто не запрещает любому человеку, который набрел в сети на интересную страничку сделать copy-paste в Сороку, поставить флажок "Собирать статистику для новости" и нажать кнопку "Опубликовать". А потом сидеть и смотреть на счетчик :)
Таким образом можно, например, сообщать о просмотренных фильмах, делать обзоры программ или уроки Фотошопа писать. Вот только фотки нужно будет где-то на просторах паутины размещать (что бы трафик лишний не создавать).
И второе добавление: в Сороке будут передаваться не только интересные новости, но и неинтересные. И только новости, которые попадут в раздел СПАМ будут душиться на корню. Т.е. если Сорока для новости А присвоила категорию "не интересно", то эта новость может быть переслана другим пользователям сети Сорока, но в последнюю очередь. "Не интересная" новость будет показываться пользователю в самом конце списка. А интересные новости наоборот будут показываться вначале списка и, по желанию пользователя, будут появляться как всплывающее окошко.
kuchin
@ 13-04-2004, 11:53
Я себе сделал программку MultiNews, она собирает новости из указанных источников (через RSS, или выдирая из html по regexp-маскам), группирует и позволяет удобно просматривать. К сожалению, single-user на данный момент. Но, по-крайней мере, могу поделиться "технологиями" :)
micha
@ 14-04-2004, 00:24
и всё таки я не понял, в чём смысл этой программы.
ДЛЯ ЧЕГО ?
прочитав новости первым делом полез на форум для того чтобы задать вопрос по данному предложению, но оказалось что этот вопрос пришел в голову не только мне
так НА КОЙ это нужно?!!!
неужели вы думаете что это будет востребовано?
imageman
@ 14-04-2004, 10:12
Давайте не будем разводить флейм. Я точно знаю, что свежие новости востребованы. В интернете появилось множество ресурсов, которые собирают новости. Главный недостаток этих ресурсов - нету персонификации пользователя. Т.е. на этих ресурсах (например на новостях от Яндекса) есть только разделение на общие темы (политика, технологии и пр.).
Предлагаемый мною подход позволяет (за счет p2p) получить большой охват и (потенциально) большое колличество новостей. С другой стороны новости (статьи, обзоры) не будут захлестывать сплошным потоком. Из этого потока (в идеале) будут выбираться только интересные для _конкретного_ человека новости. До остальных новостей можно будет добраться вручную или, например, через поиск.
В принципе сейчас хотелось бы найти одного-двух программеров, которые захотели бы сделать такую программу. Лично я, со своей стороны, могу сделать только один-два плагина для будущей прогаммы (не хватает опыта и времени).
Предполагаемый язык Delphi или C++ (если делать в виде плагинов, то языки можно смешивать без проблем).
Примеры новостных сайтов:
http://pcnews.ru/cgi-bin/top20.plhttp://news.webdigest.ru/gate.top.htmlhttp://www.setka.info/http://www.compulenta.ru/http://news.battery.ru/#th3http://news.yandex.ru/hitech.htmlhttp://rusc.ru/http://www.morenews.ru/
micha
@ 14-04-2004, 14:42
как я смогу узнать, интересна ли мне новость, не прочитав оную ?
я так понял, что "интересность" мне будет учреждена другими пользователями (или я не верно понял всёже), но какова гарантия, что однажды я не открою программу и не увижу там полторы сотни спам-новостей ?
Pikachu
@ 14-04-2004, 15:35
| QUOTE |
Давайте не будем разводить флейм. Я точно знаю, что свежие новости востребованы. В интернете появилось множество ресурсов, которые собирают новости. Главный недостаток этих ресурсов - нету персонификации пользователя. Т.е. на этих ресурсах (например на новостях от Яндекса) есть только разделение на общие темы (политика, технологии и пр.).
|
Конечно свежие новости востребованы. Но на "новостных порталах" есть обычно подписка на новости по интересуюшчеи рубрике.
Так зачем нужна p2p прога? Или я чего-то не понял? :rolleyes:
imageman
@ 14-04-2004, 15:47
| QUOTE (micha @ 14-04-2004, 13:42) |
как я смогу узнать, интересна ли мне новость, не прочитав оную ?
|
твоя программа будет анализировать предыдущие сообщения и выделять, например, ключевые слова и выражения.
Если в новости есть много "положительных" ключевых слов, то новость получает положительный рейтинг, а если ключевые слова характерны для спама, то рейтинг будет близок к нулю или отрицательный. Но это, можно так сказать, примитивная методика рейтингования (которая, тем не менее, может быть эффективна).
Насчет спама - фильтроваться будет около 98% спама. Какая-то часть может, конечно, пройти - тут ничего не поделаешь. Но и в этом случае спам не будет широко распространяться.
пример программы для борьбы со спамом
http://www.keir.net/k9.htmlработает как POP3-proxy. Легко настраивается. Обучение занимает около 3-х дней, после чего ловит 98% спама. Ложныъ срабатываний (после обучения) практически нету.
Pikachu
@ 14-04-2004, 15:48
| QUOTE |
| Таким образом можно, например, сообщать о просмотренных фильмах, делать обзоры программ или уроки Фотошопа писать. Вот только фотки нужно будет где-то на просторах паутины размещать (что бы трафик лишний не создавать). |
Как ты себе ето пердставляеш? "Отрывать" картинки от инфы не очень удобно (ИМХО).
Представь себе кто-то по новостям прислал тебе рецензию на фильм (текст), а если ты хочеш посмотреть картинки то будь добр загляни на саит такои-то. Не прошче ли сразу заглянуть на етот саит и не мучатся с "новостями"? :sick:
Pikachu
@ 14-04-2004, 15:52
| QUOTE |
| твоя программа будет анализировать предыдущие сообщения и выделять, например, ключевые слова и выражения. |
А хранить БАЗУ ЗНАНИИ у ПРЕДЫДУШЧИЕ НОВОСТИ где, на каком сервере?
Ведь если мне пришлось переустановить ОС или пере-инсталлировать Сороку то все мои "знания "пропали.
Нехорошо так :sick:
imageman
@ 14-04-2004, 16:04
| QUOTE (Pikachu @ 14-04-2004, 14:48) |
| QUOTE | | Таким образом можно, например, сообщать о просмотренных фильмах, делать обзоры программ или уроки Фотошопа писать. Вот только фотки нужно будет где-то на просторах паутины размещать (что бы трафик лишний не создавать). |
Как ты себе ето пердставляеш? "Отрывать" картинки от инфы не очень удобно (ИМХО).
Представь себе кто-то по новостям прислал тебе рецензию на фильм (текст), а если ты хочеш посмотреть картинки то будь добр загляни на саит такои-то.
|
новость будет ссылаться на какой-то www адрес. Т.е. внутри новости будет ссылка на картинку. Если новость оформлена как html, то никаких проблем. Я имел в виду, что для уменьшения траффика к новости не будет пристегнута картинка, а то так кто-нибудь догадается весь фильм пристегнуть. :-\
А база знаний и все остальные новости спокойно в десяток-другой мегабайт поместяться (со сжатием, конечно).
У меня, например, папка с почтой зинамает 400 мегов - всякого хлама там!... :)
Pikachu
@ 14-04-2004, 16:08
| QUOTE |
| А база знаний и все остальные новости спокойно в десяток-другой мегабайт поместяться (со сжатием, конечно). |
Ето понятно. У меня вопрос был не о размере а о месте где ты "ети мегабаиты" хранить будеш. Локально или на сервере? :fu:
| QUOTE |
| новость будет ссылаться на какой-то www адрес |
А что мне мешает сразу заити на етот WWW адресс и увидеть новость вместе с картинкои и не пользоватся Сорокои? ;)
что-то тут на корню рубят идею, блин
я не программер (в смысле не прикладник) но я потенциальный пользователь программы, вот...
я предлагаю идейному вдохновителю сказать, где находится штаб разработчиков, потому как мне нужно куда-то сложить мысли
Pikachu
@ 14-04-2004, 16:25
| QUOTE |
| что-то тут на корню рубят идею, блин |
Не рубят, а пытаются разобраться в целесообразности затеи :)
А мысли можно и здесь складывать, пускаи все голову ломают над ними.
Мне было бы тоже интересно ...
я вот как-то вижу целесообразность :)
а форум это не удобное место для складирования мыслей - они тут теряются...
мне бы что-нить вроде Wikki или npj
Pikachu
@ 14-04-2004, 16:38
| QUOTE (laborant @ 14-04-2004, 15:31) |
я вот как-то вижу целесообразность :)
а форум это не удобное место для складирования мыслей - они тут теряются... мне бы что-нить вроде Wikki или npj |
Не хочу разводить флеим, но может ты как "потентцыалныи пользователь" выскажеш вслух свою точку зрения о целесообразности? Мне лично интересно услышать. Ведь сделать можно все что угодно если есть желание и ресурсы. Вопрос: а надо ли ето делать и для кого? :rolleyes:
imageman
@ 14-04-2004, 17:08
| QUOTE (Pikachu @ 14-04-2004, 15:08) |
| QUOTE | | А база знаний и все остальные новости спокойно в десяток-другой мегабайт поместяться (со сжатием, конечно). |
Ето понятно. У меня вопрос был не о размере а о месте где ты "ети мегабаиты" хранить будеш. Локально или на сервере? :fu:
| QUOTE | | новость будет ссылаться на какой-то www адрес |
|
программа задумана как p2p _без_ выделенного сервера. Это означает, что вся необходимая информация будет храниться на компьютере пользвателя. (поэтому не нужно бояться падения или отлючения сервера) Первый этап - сетка небольшая. В этом случае польза от программы такая же как и от WatzNews. (Что само по себе может уже привлечь многих). Второй этап - число пользователей программы возрастает. В этом случае обмен новостями между Сороками становится интенсивней и число новостей, которые можно почитать используя самолично настроенные "локальные" фильтры будет (в процентном отношении) меньше, чем тех, что придут от других пользователей. Именно из-за второго этапа все и затевается.
| QUOTE |
| А что мне мешает сразу заити на етот WWW адресс и увидеть новость вместе с картинкои и не пользоватся Сорокои? ;) |
Если новость будет очень короткой (типа: "все сюда, здесь круто!"), то такая новость с большой вероятностью будет помечена как спам или малоинтересная (что соответствует действительности). Единстенное исключение будет в том случае, если отправитель зарекомендовал себя очень хорошо. Причем рейтинг не хранится на каком-нибудь сервере. Он вычисляется на вашей машине и никому не показывается.
P.S. просьба писать только программистам и тем людям, которые имеют предложения по теме.
Pikachu
@ 14-04-2004, 17:20
| QUOTE |
программа задумана как p2p _без_ выделенного сервера. Это означает, что вся необходимая информация будет храниться на компьютере пользвателя. (поэтому не нужно бояться падения или отлючения сервера)
|
Согласен, но:
переустановил я ОС у себя или комп упал и check-disk что-то там потер или юзер случаино удалил директорию с Сорокои (и такое бывает у юзеров) программа будет снова пере-учиватся и создавать базу знаии заново? :sick: Не красиво как то.
| QUOTE |
| P.S. просьба писать только программистам и тем людям, которые имеют предложения по теме. |
Так мы и пишем и пытаемся разобратся.
вот, урл я не забыл оказывается
http://www.npj.ru/тут можно приятно общаться по теме с удобствами, imageman - будешь там регистрироваться?
All, кому интересно мое видение :)
1) RSS-ридеров в принципе полно, но никто меня не устраивает, поэтому в этом проекте можно решить свой шкурный вопрос и получить удобный ридер.
2) Я бы хотел делиться новостями и чтобы со мной делились, опять же - бегать по куче сайтов, собирать новости мне лень. Другой вопрос, кто будет класть туда эти новости, но я думаю что это можно решить (есть идея!)
3) А если прога будет подбирать новости по моим интересам - это вообще здорово :)
утопичная идея, возможно ее следует давить в самом зародыше: а коментарии к новостям будут?
imageman
@ 14-04-2004, 17:43
| QUOTE (laborant @ 14-04-2004, 16:37) |
| а коментарии к новостям будут? |
принципиально - сделать можно. И даже, видимо, нужно.
Видимо на комментарии нужно наложить какие-то ограничения и (конечно же) их тоже нужно пропускать через антиспамный фильтр.
imageman
@ 14-04-2004, 18:57
| QUOTE (laborant @ 14-04-2004, 16:28) |
| http://www.npj.ru/ тут можно приятно общаться по теме с удобствами, imageman - будешь там регистрироваться? |
зарегистрировался - будем разбираться там?
адрес вроде как [
http://www.npj.ru/soroka
Проф.Плейшнер
@ 15-04-2004, 16:43
| QUOTE |
| программа задумана как p2p _без_ выделенного сервера. |
у меня есть вопросец прикладного характера. Если вы хотите сделать что вроде p2p клиента,
а по описанию то что здесь написано это смахивает на Gnuttela, то вам придётся на эту програмулину подвесить некий протокольчик. А учитывая что не будет сервера, тогда этот
протокольчик сам по себе станет более чем не тривиальной вешью. К примеру как два клиента
смогут друг с дугом соеденится ? Или вы хотите пользовать что то из уже известных протоколов, скажем того же gnutella.
Как заинтересованный в этой системе задам задачку: :)
допустим хочу я получить софтверные новости с "хобота" с определённой даты, запускаю поиск по ентой p2p и получаю, что подобная инфа есть у, допустим, 200 человек и собрана она с помощью 10 разных шаблонов и причём данные, собранные одним и тем же шаблоном у разных юзверей, различаются. :w00t:
В результате получаем, скажем 50 версий одной и той же новости, причём т.к. рейтинг ставится от дуба (или по интересу), то определить качество новости (то бишь насколько она правильно вырезана из сайта и не потеряны-заменены в ней какие быквы-строки-фразы) - определить невозможно ... и даже если будут комменты, то им доверия особого тоже нет, да и время на их прочтение затрачу больше, чем если бы сам залез на сайт и нужную новость прочитал.
Вывод прост: я не могу доверять новостям, собранным такой системой, их в любом случае придётся проверять.
P.S. Делайте просто достойную замену WatzNew с нормальной поддержкой регулярных выражений и централизованной системой шаблонов - это действительно нужный проект.
Сет... я не думаю, что новости которые лежат в вебе постоянно нужно запихивать в систему р2р и гонять по сетке.
ИМХО нужно передавать средствами р2р новости введенные самим пользователем. А для выдирания новостей с хобота нужно распространять не сами нвости, а шаблоны для модуля WatzNew или ссылки ны RSS каналы
imageman
@ 16-04-2004, 08:58
Нужно ли изобретать что-то свое или использовать уже изветсный протокол Gnutella? Я о гнутелле только слышал, но в сетевых протоколах я не разбирался (ни в одном).
| QUOTE |
| Вывод прост: я не могу доверять новостям, собранным такой системой, их в любом случае придётся проверять. |
Это как хочешь. Главное, ты получешь извещение, что потенциально интересная именно тебе новость есть на такой-то странице. Если ты пойдешь на эту страницу и не увидишь там этой новости, то ты можешь просто поставить пользователя, который послал такую мессагу в бан-лист. А реально у тебя через некоторое время наберется список проверенных авторов от которых ты и будешь читать новости.
| QUOTE |
| Делайте просто достойную замену WatzNew с нормальной поддержкой регулярных выражений и централизованной системой шаблонов - это действительно нужный проект. |
Первый этап - замена WatzNew. Хранилище шаблонов сделать можно, только они устаревают быстро. Хотя можно попробовать наладить систему апдейтов.
| QUOTE |
| нужно распространять не сами нвости, а шаблоны для модуля WatzNew или ссылки ны RSS каналы |
RSS каналы мне не очень понравились. А шаблоны, принципиально, конечно же можно рассылать. Спасибо за совет!
Кстати, что ты подразумеваешь под "с нормальной поддержкой регулярных выражений"?
Проф.Плейшнер
@ 16-04-2004, 09:09
а не проше ли написать plug-in к тому же eMule , как бы клиент уже готов, просто написать добавку к нему
imageman
@ 16-04-2004, 13:04
eMule но поддерживает плагины. Или я не прав? К тому же сама сеть eDonkey не ориентирована на наши нужды (сеть оптимизирована для передичи больших файлов).
К тому же одним плагином не обойтись - нужно написать чуть ли не десяток (!) плагинов. (
http://www.npj.ru/imageman/3661 )
Все здравые мысли можно писать сюда
http://www.npj.ru/sorokaP.S. туда писать только тем, кто реально хочет помочь, не следует туда писать "а зачем это нужно?"
До меня кажется дошло, хотите сделать систему блогов на p2p, с неким уклоном на новости ?! :pig:
И что значит "получать извещение", как это понять ? Можно столько извещений получить в неподходящий момент, что инет просто умрёт. :diablo: Кто их вообще-то будет генерить и слать ?
Может "получать результаты своего поиска" ?
| QUOTE |
| как я смогу узнать, интересна ли мне новость, не прочитав оную ? программа будет анализировать предыдущие сообщения и выделять, например, ключевые слова и выражения. Если в новости есть много «положительных» ключевых слов, то новость получает положительный рейтинг, а если ключевые слова характерны для спама, то рейтинг будет близок к нулю или отрицательный. Но это, можно так сказать, примитивная методика рейтингования (которая, тем не менее, может быть эффективна). Насчет спама – фильтроваться будет около 98% спама. Какая-то часть может, конечно, пройти – тут ничего не поделаешь. Но и в этом случае спам не будет широко распространяться. |
98% - сказочки однако :p , когда система станет популярной, спамом по самое горло зальётесь, даже серьёзные AI фильтры не помогут, да и кто эти фильтры будет настраивать ... конечный пользователь что-ли ?! Как они настраивают - все знают. :D
Отбор важных новостей - ещё одна проблема, если я захочу не пропустить ни одну новость по какой-то теме, то получу немерянную кучу лишнего хлама, если же жёстко резать фильтрами - будет немерянное число "дропов".
"Цифровая подпись" - ... очень мило, будете создавать сертификационный центр что-ли ?! Муловская криптоидентификация тут не проканает.
"Новости могут иметь комментарии": точно блог :laugh: ... мусора становится ещё больше.
P.S. В общем хотелось бы прочитать об системе эти сообщений, кто кому когда что передаёт. Например "передавать в Сороку", как это понять, вроде данные каждого на локальной машине хранятся ... или планируется сделать распределённое хранение как в фреенете ?
imageman
@ 16-04-2004, 19:41
| QUOTE |
| 98% - сказочки однако , когда система станет популярной, спамом по самое горло зальётесь, даже серьёзные AI фильтры не помогут, да и кто эти фильтры будет настраивать ... конечный пользователь что-ли ?! Как они настраивают - все знают. |
Реальный спам у меня именно на 98% отсеивается.
K9 отсеивает на 98.7% (по статистике программы).
| QUOTE |
| Отбор важных новостей - ещё одна проблема, если я захочу не пропустить ни одну новость по какой-то теме, то получу немерянную кучу лишнего хлама, если же жёстко резать фильтрами - будет немерянное число "дропов". |
Это в любой системе. Подчеркиваю: в любой! Даже если ты любому человеку скажешь: найди мне все про собак. Он тебе кучу книг принесет. "Найди мне самое важное про собак" - принесет справку-статью из энциклопедии. Нужно говорить о реальных вещах.
| QUOTE |
| "Цифровая подпись" - ... очень мило, будете создавать сертификационный центр что-ли ?! |
Все проще. При первом запуске Сороки генерируются данные для подписи. Затем, если какая-то новость уходит в сеть, то пользователь, который получил эту новость (и не пометил ее как СПАМ) смотрит, есть ли сертификат этого пользователя? Если сертификата нету, то этот сертификат запрашивается у самого пользователя. Спросишь: а зачем такой никем не подтвержденный сертификат? Отвечу. Любой добросовестный пользователь Сороки будет нарабатывать авторитет в сети. Его новости автоматически будут получать более высокий приоритет. Так вот, чтобы никто не вздумал подписаться Лениным и будет цифровая подпись (точно так же никакой Пупкин не сможет внести изменения в труды Ленина). Пупкин (подписавшись Лениным) сможет обмануть только небольшое число новых пользователей. Но и в этом случае они через какое-то время увидят, что существуют два Лениных (один из которых явный дурак).
| QUOTE |
| "Новости могут иметь комментарии": точно блог ... мусора становится ещё больше |
чем тебя не устраивают комментарии?
| QUOTE |
| Например "передавать в Сороку", как это понять, вроде данные каждого на локальной машине хранятся ... или планируется сделать распределённое хранение как в фреенете ? |
Насколько я помню во фреенете часть дискового пространства отводится под служебные нужды и пользователь не может посмотреть, что там храниться (зашифровано). В Сороке под системные нужды тоже будет зарезервировано какое-то пространство, но это пространство всегда можно будет просмотреть. Как я уже неоднократно говорил все новости будут в автоматическом режиме делиться на спам, хорошие и не очень. (Как будут делиться? Почитай про антиспаммерские технологии.) Важные новости будут сразу выдаваться на экран или стоять в самом верху. Менее важные внизу списка. При прочтении како-либо новости пользователь будет ставить оценку конкретной новости. Плагин, который будет отвечать за рейтингования, за отделение спама будет обучаться. Таким образом новость, первоначально помеченная как малоинтересная может получить более высокую оценку и в будующем подобные новости попадут на более высокое место, НО только у конкретного пользователя. Пользовательские оценки никуда не уходят. Сами оценки (как и правила, по которым эти оценки будут строится) будут храниться только на компьютере пользователя!
| QUOTE |
| И что значит "получать извещение", как это понять ? Можно столько извещений получить в неподходящий момент, что инет просто умрёт. Кто их вообще-то будет генерить и слать ? |
Люди тщеславные. Им хочется видеть результаты своих трудов - сколько человек прочитали его стихотворение. Поэтому такой поэт-писатель-журналист при отсылке своего творения в Сороку поставит галочку "собирать статистику". Удаленная Сорока в момент прочтения (точнее показа на экран) сообщения видит галочку "статистика" и смотрит с какого IP адреса пришло письмо (точнее авторский IP) и на этот адрес отправляет пакет "Прочитал сообхение ХХХ". Компьютер писателя, конечно же в этот момент должен быть включен.
А не будет ли слишком много сообщений? Можно десятикратно уменьшить нагрузку. Что для этого нужно сделать? Сорока должна сгенерировать случайное число от 0 до 1. Если число получится меньше 0.1, то Сорока отправляет пакет "Прочитал сообхение ХХХ". А компьютер поэта-журналиста число пакетов будет смело умножать на 10.
| QUOTE (imageman @ 16-04-2004, 19:41) |
| Люди тщеславные. Им хочется видеть результаты своих трудов - сколько человек прочитали его стихотворение. Поэтому такой поэт-писатель-журналист при отсылке своего творения в Сороку поставит галочку "собирать статистику". Удаленная Сорока в момент прочтения (точнее показа на экран) сообщения видит галочку "статистика" и смотрит с какого IP адреса пришло письмо (точнее авторский IP) и на этот адрес отправляет пакет "Прочитал сообхение ХХХ". Компьютер писателя, конечно же в этот момент должен быть включен. А не будет ли слишком много сообщений? Можно десятикратно уменьшить нагрузку. Что для этого нужно сделать? Сорока должна сгенерировать случайное число от 0 до 1. Если число получится меньше 0.1, то Сорока отправляет пакет "Прочитал сообхение ХХХ". А компьютер поэта-журналиста число пакетов будет смело умножать на 10. |
Иными словами каждое сообщение выпихивается в p2p и размножается всеми клиентами, так чтобы все пользователи его получили, т.е. идёт "информационная волна". Не будет ли так, что одновременное большое число таких сообщений просто напросто "зальёт" клиентов ?
Ответные сообщения по сравнению с этим значительно безопаснее (размеры не те).
| QUOTE |
| Компьютер писателя, конечно же в этот момент должен быть включен. |
А комп читателя, если он выключен, то всё, сообщение не будет получено ?
| QUOTE |
| Как я уже неоднократно говорил все новости будут в автоматическом режиме делиться на спам, хорошие и не очень. (Как будут делиться? Почитай про антиспаммерские технологии.) |
Читал. Оценки каждого юзверя будут хранится на локальной машине, вопрос: как собрать оценки по данной новости со всех пользователей сети ? Каскады запросов слать ?
imageman
@ 17-04-2004, 15:48
| QUOTE |
| Иными словами каждое сообщение выпихивается в p2p и размножается всеми клиентами, так чтобы все пользователи его получили, т.е. идёт "информационная волна". Не будет ли так, что одновременное большое число таких сообщений просто напросто "зальёт" клиентов ? |
Все правильно - новость распространяется волной (расходящейся). Клиента не зальет. Он сам будет регулировать поток новостей. Сразу же делаю дополнение: можно попытаться сделать так, чтобы при большом траффике сначала скачивались потенциально более важные сообщения. И только потом, если хватит траффика, докачивать остальные новости. Можно сделать что-то вроде FIDO.
| QUOTE |
| А комп читателя, если он выключен, то всё, сообщение не будет получено ? |
Если у тебя комп выключен, ты скачаешь фильм в emule?
| QUOTE |
| Оценки каждого юзверя будут хранится на локальной машине, вопрос: как собрать оценки по данной новости со всех пользователей сети ? |
Зачем? Сбором таких оценок мы облегчим жизнь спаммерам (они будут знать ключевые слова с положительным рейтингом). Да и нагрузка на сеть будет увеличиваться. Опять-таки - интересы у разных пользователей разные и то, что нравится одному не понравится другому. Соответственно и сбор оценок не очень поможет сети в целом.
О рейтинге новости кажись дошло ... он только для локального пользователя и для автора сообщения (если идёт сбор статистики).
| QUOTE |
| Он сам будет регулировать поток новостей. Сразу же делаю дополнение: можно попытаться сделать так, чтобы при большом траффике сначала скачивались потенциально более важные сообщения. И только потом, если хватит траффика, докачивать остальные новости. |
"Потенциальная важность" новости (или её ненужность, спам) может в данном случае определятся только на локальной машине, а для этого все сообщения надо загрузит. Выходит, что клиент в обязательном порядке получает все сообщения и затем уж их фильтрует... Похоже на обычную систему электронной почты. ;)
| QUOTE |
| Если у тебя комп выключен, ты скачаешь фильм в emule? |
Фильм - не новость, когда я включаю комп я хочу знать обо всех новостях. И тем более, об упомянутых в описании этого проекта статьях и т.п. Выходит после одной рассылки они просто исчезают - кто не успел...... :fear2:
| QUOTE |
| Можно сделать что-то вроде FIDO. |
Если я правильно понимаю архитектуру FIDO, то она совсем для подобного проекта не подходит ... скорее тут ближе структура Usenet-а ... правда по моим прикидкам механизм ньюссерверов не проканает - требуются приличные обьёмы на дисках пользователей.
| QUOTE |
| Во вторих если к примеру ти мне хочеш что-то рассказать – не факт что я сеичас в он-лaине, но новость от тебя я потерять не хочу. |
Нашёл таки
http://www.npj.ru/imageman/p2p :)
При подобной системе требуется хранение у каждого клиента всех новостей и комментариев к ним за определённое время (скажем, за последние сутки). А размеры такого хранилища вполне могут достигать сотен мегабайт...
imageman
@ 19-04-2004, 10:12
| QUOTE |
| О рейтинге новости кажись дошло ... он только для локального пользователя и для автора сообщения (если идёт сбор статистики). |
автор сообщения не получает уведомления о рейтинге его новости. Он получает уведомление о показе новости читателю (клиенту).
| QUOTE |
| "Потенциальная важность" новости (или её ненужность, спам) может в данном случае определятся только на локальной машине, а для этого все сообщения надо загрузит. Выходит, что клиент в обязательном порядке получает все сообщения и затем уж их фильтрует... |
тут можно немного кое-что изменить. Если тебе важнее траффик, то программа выбирает из списка достыпных включенных компов наиболее авторитеного человека и с его машины идет доставка новостей с высокой оценкой конкретного авторитета. Т.е. в данном случае мы экономим на траффике, но полагаемся на оценку другого человека (т.е. получаем только часть новостей).
Бедут выглядеть это примерно так.
1. Привет! Я знаю ты хороший чувак. Передай мне список новостей за 4 дня, отсортированных по рейтингу. И укажи размеры каждой новости.
2. На тебе список: #450 (1 кб), #98 (456b) и т.д.
1. Давай мне ##450, 98, 48, 998.....
Таким образом, например, при траффике 1 мегабайт в час (входящий) Сорока может выбрать трех человек. Первый выбранный человек предложит, к примеру, 1 мегабайт новостей. Скачаем от него 500. Второй предложит 650 килобайт новостей (часть уже будет скачана от первого). Скачаем от него 250. И от третьего скачаем еще 250.
Для этого нужно ввести некую систему (локальную для каждого пользователя) рейтингования клиентов. Т.е. скачиваем новости от Ильича (к примеру), отсортированные по рейтингу. Читаем их. Оцениваем. Смотрим: если сортировка новостей, произведенная нами совпадает с сортировкой произведенных Ильичем, то Ильич имеет такие же вкусы, как и я. Если сортировка сильно не совпадает, то этот человек не очень нам подходит (вкусы разные).
Каждый клиент должен участвовать в пересылке новостей и комментариев вне зависимости от их содержимого, на этом же вроде стоит вся сеть ? Но никакого контроля траффика я тут не вижу.
Теперь об описанном выше обмене недостающими кусками при подключении в сеть: если, как описано, хранить не все новости и комменты за указанный период у каждого клиента, а только те, которые отфильтрованы по своим фильтрам этим же клиентом, то получим ситуацию "дыр". Будут отсутствовать как нужные новости, так и комментарии к ним ... а кому нужна система с рандомальной доставкой новостей ? Кого порадует, скажем, почтовый сервер, выкидывающий мейлы случайным образом ? :sick:
imageman
@ 05-05-2004, 09:06
| QUOTE (Set @ 19-04-2004, 17:23) |
Каждый клиент должен участвовать в пересылке новостей и комментариев вне зависимости от их содержимого, на этом же вроде стоит вся сеть ? Но никакого контроля траффика я тут не вижу.
Теперь об описанном выше обмене недостающими кусками при подключении в сеть: если, как описано, хранить не все новости и комменты за указанный период у каждого клиента, а только те, которые отфильтрованы по своим фильтрам этим же клиентом, то получим ситуацию "дыр". |
Проект не умер. Для проекта у меня не хватает времени и сил, а другие люди не подключаются (даже на стадии советов).
Если пересылать и хранить все новости, то такую систему зальет за несколько дней. Ведь всегда найжутся люди, которые из-за своей мелкой душонки захотят испортить что-то полезное! Именно поэтому нужно при проектировании сразу обращать внимание на таких людей. Именно поэтому новости получившие статус "спам" будут удаляться или (по крайеней мере) не будут пересылаться без особого требования.
Именно поэтому пересылаться будут в первую очередь интересные письма, а потом уже всякий хлам.
Как избежать "дыр"? Нужно сделать гибкую систему рейтингования. Нужно сделать так, чтобы твой клиент Сорока подключался к другому клиенту со схожими взглядами(интересами). Таким образом если повышается шанс на то, что какая-то новость интересная узкому кругу людей не будет потеряна.
Т.е. из большого списка клиентов Сороки твоя сорока должна отобрать несколько человек, к которым нужно присоединиться в первую очередь, т.к. у них чаще всего есть интересующие тебя новости. Каким образом это сделать? Нужно подумать. Предлагайте свои алгоритмы!
... -м-м-м- ... скажу так: смущает меня идея p2p в этом проекте. Во-первых сложно, во-вторых не слишком полезно (могу конечно ошибаться, но я очень сомневаюсь, что подобная система будет вообще нужна, не помешало бы исследовать эту тему).
Другое дело востребованный конкурент для WatzNew - тут и поддержка плагинов, нормальные шаблоны, RSS, система генерации отчётов из собранных новостей, т.е. есть что реализовывать, где развернуться и создать проект любого масштаба (хоть коммерческий). Хорошая идея - это хорошая идея. :punk:
imageman
@ 13-05-2004, 10:07
p2p компонент позволит (с одной стороны) потенциально получать больше хороших новостей, а (с другой стороны) не зависеть от какого-то сервера в сети.
Кстати, довольно хорошая рассылка новостей идет на
http://www.rusdoc.ru/last/ (Русская компьютерная библиотека).
Техническая реализация проекта "Сорока" пока неясна. Одно ясно: создавать нужно с рассчетом на плагины.
imageman
@ 28-06-2004, 11:39
Google разрабатывает некую систему персонификации новостей. Конечно же для английских пользователей :(
А слабо нам сделать достойный ответ??!
imageman
@ 11-12-2005, 00:40
Ну, хоть мне и никто не смог помочь, но кое-какую программу я сделал:
lit999.narod.ruПрограмма в стадии альфа и может использоваться только в образовательных целях :p ;)
И ведь не долго заняло альфу написать :)
Спасибо. Будем посмотреть при случае.