Версия для печати темы
Нажмите сюда для просмотра этой темы в оригинальном формате
Forums > Объявления > Требуются программеры


Автор: LF_ - 12-04-2004, 04:54

Народ, голову нашего хорошего друга smile.gif

Есть идея по созданию программы обмена [интересными] новостями. Рабочее название "Сорока" (по русски "40А"). Вкратце:

      - Программа разделена на несколько модулей.
      - Первый модуль - аналог WatzNew. Этот модуль анализирует html страницы, которые задает пользователь и из этих страниц вытаскивает новости.
      - Второй модуль рассылает новости другим пользователям.
      - Третий модуль все новые новости проверяет по антиспаммерским технологиям + присваивает каждой новости рейтинг. Этот же модуль принимает от пользователя оценки новостям (вверху окошка с новостью будут три кнопки - "отлично/интересно", "безразлично/не интересно", "СПАМ"). Этот же модуль самообучается (на основе оценки конкретного пользователя).

Каждая новость имеет цифровую подпись. Делается это для того, чтобы "левые" люди (спаммеры, ламеры) не выдавали себя за своих чуваков.
При публикации новости в сеть можно поставить галочку "сбор статистики". В этом случае после прочтения новости удаленным пользователь на компьютер создателя новости уходит сообщение "Новость #xxx прочитана". И создатель новости может посмотреть сколько народу прочитало его новость. К каждой новости прикрепряется флаг, который определяет на каком языке новость (мне, например, не интересно читать на немецком). Новости, видимо, лучше оформлять как html текст. С обящательным вырезанием javascript и прочего.

За другими подробностями идеи или на мыло (http://netlab.e2k.ru/forum/index.php?showuser=492>ImageMan-a, или на аську 8997235

Вот такая идейка... Вообщем, все заинтересовавшиеся - милости просим к обсуждению. wink.gif

Автор: Lab - 12-04-2004, 11:04
обсуждать тут?

Автор: micha - 12-04-2004, 12:35
что то я не совсем понял ...

а смысл ?

Автор: Billy Bonce - 12-04-2004, 15:08
QUOTE:
    - Первый модуль - аналог WatzNew. Этот модуль анализирует html страницы, которые задает пользователь и из этих страниц вытаскивает новости.        - Второй модуль рассылает новости другим пользователям.        - Третий модуль все новые новости проверяет по антиспаммерским технологиям + присваивает каждой новости рейтинг. Этот же модуль принимает от пользователя оценки новостям (вверху окошка с новостью будут три кнопки - "отлично/интересно", "безразлично/не интересно", "СПАМ"). Этот же модуль самообучается (на основе оценки конкретного пользователя).


1 модуль- персональный портал новостей - нужная штука, аналоги написаны смысла изобретать велосипед нет wink.gif
назначение 2 и 3 модуля, я не понимаю...
нафига пересылать *персональные* новости другим чувакам, да еще и требовать от них оценки newest/fear2.gif


Автор: XaBoK - 12-04-2004, 23:44
QUOTE :
Новости, видимо, лучше оформлять как html текст. С обящательным вырезанием javascript и прочего.

А зачем весь этот геморой? Ведь можно делать новости в формате XML используя словарь своих тэгов. Сделать под эти тэги "движок" на XSL и не париться с обрезаниями на javascript... CSS позволит сделать скин для новостей (и у каждого пользователя он будет свой).

Кстати, с XML нет проблемы работать на разных языках и технологиях. А на чём собераются писать модули?

Автор: obender - 13-04-2004, 07:01
QUOTE (XaBoK @ 12-04-2004, 15:44):
Сделать под эти тэги "движок" на XSL и не париться с обрезаниями на javascript... CSS позволит сделать скин для новостей (и у каждого пользователя он будет свой)

Или просто использовать RSS, который собственно для этого и был создан, и для которого уже есть несчислимое количество читалок...

Автор: imageman - 13-04-2004, 09:03
QUOTE (micha @ 12-04-2004, 11:35):
что то я не совсем понял ...
а смысл ?

Примерно такую реакцию я и ожидал.... smile.gif  Смысл именно в пункте "новость, полученную из модуля 1 (WatzNew) пересылаем другим пользователям".  Дело в том, что существует много регулярно обновляемых страничек, которые потенциально мне интересны. Но, во-первых, на многих из них я не бывал. А, во-вторых, дизайн страниц довольно часто меняется и бывает просто лень создавать новые правила для обновившихся страниц.  В данном случае прогдвинутые пользователи будут создавать правила для наиболее любимых страниц (причем только для нескольких) и эти за изменениями в дизайне этих нескольких страниц эти пользователи будут наблюдать. А все остальные (как продвинутые, так и новички-любители) будут всегда получать обновления.  Чтобы не получать чрезмерно много обновлений нужен обязательно модуль, который будет выкидывать явный хлам и сортировать оставшееся.  
QUOTE :
А зачем весь этот геморой? Ведь можно делать новости в формате XML используя словарь своих тэгов.
Вполне может быть. Я только поверхностно знаком с XML, но не вижу в этом формате особых достоинтв (я ошибаюсь?)  
QUOTE :
нафига пересылать *персональные* новости другим чувакам, да еще и требовать от них оценки


новостями принято делиться smile.gif А оценки не ты требуешь, а модуль анализа самого пользователя, чтобы потом на основе оценки "Новости A" поставить оценку "Новости Б". Т.е. для самообучения модуля анализа у удаленного пользователя ему нужно знать пристрастия пользователя.

Причем тут могут быть использованы самые разные алгоритмы. Например, статистический по формуле Байеса, самоорганизующиеся карты Кохонина, нейросети. Все эти методы способны обучаться на реальных новостях и делать прогноз для новых новостей newest/vertag.gif

В общем, девиз программы: больше хороших новостей

Автор: imageman - 13-04-2004, 09:15
Важно! В начале сообщения не сказано, что программа будет работать про принципу p2p. Это означает, что интересная новость будет распространяться по цепочке пользователей.


Небольшое добавление: новости могут не только выдираться из html страниц сайтов, но и писаться на клавиатуре журналистами (назовем их так). Т.е. никто не запрещает любому человеку, который набрел в сети на интересную страничку сделать copy-paste в Сороку, поставить флажок "Собирать статистику для новости" и нажать кнопку "Опубликовать". А потом сидеть и смотреть на счетчик smile.gif

Таким образом можно, например, сообщать о просмотренных фильмах, делать обзоры программ или уроки Фотошопа писать. Вот только фотки нужно будет где-то на просторах паутины размещать (что бы трафик лишний не создавать).

И второе добавление: в Сороке будут передаваться не только интересные новости, но и неинтересные. И только новости, которые попадут в раздел СПАМ будут душиться на корню. Т.е. если Сорока для новости А присвоила категорию "не интересно", то эта новость может быть переслана другим пользователям сети Сорока, но в последнюю очередь. "Не интересная" новость будет показываться пользователю в самом конце списка. А интересные новости наоборот будут показываться вначале списка и, по желанию пользователя, будут появляться как всплывающее окошко.

Автор: kuchin - 13-04-2004, 11:53
Я себе сделал программку MultiNews, она собирает новости из указанных источников (через RSS, или выдирая из html по regexp-маскам), группирует и позволяет удобно просматривать. К сожалению, single-user на данный момент. Но, по-крайней мере, могу поделиться "технологиями" smile.gif

Автор: micha - 14-04-2004, 00:24
и всё таки я не понял, в чём смысл этой программы.
ДЛЯ ЧЕГО ?

Автор: geng - 14-04-2004, 08:03
прочитав новости первым делом полез на форум для того чтобы задать вопрос по данному предложению, но оказалось что этот вопрос пришел в голову не только мне

так НА КОЙ это нужно?!!!

неужели вы думаете что это будет востребовано?

Автор: imageman - 14-04-2004, 10:12
Давайте не будем разводить флейм. Я точно знаю, что свежие новости востребованы. В интернете появилось множество ресурсов, которые собирают новости. Главный недостаток этих ресурсов - нету персонификации пользователя. Т.е. на этих ресурсах (например на новостях от Яндекса) есть только разделение на общие темы (политика, технологии и пр.).

Предлагаемый мною подход позволяет (за счет p2p) получить большой охват и (потенциально) большое колличество новостей. С другой стороны новости (статьи, обзоры) не будут захлестывать сплошным потоком. Из этого потока (в идеале) будут выбираться только интересные для _конкретного_ человека новости. До остальных новостей можно будет добраться вручную или, например, через поиск.

В принципе сейчас хотелось бы найти одного-двух программеров, которые захотели бы сделать такую программу. Лично я, со своей стороны, могу сделать только один-два плагина для будущей прогаммы (не хватает опыта и времени).

Предполагаемый язык Delphi или C++ (если делать в виде плагинов, то языки можно смешивать без проблем).

Примеры новостных сайтов:
http://pcnews.ru/cgi-bin/top20.pl (http://pcnews.ru/cgi-bin/top20.pl
http://news.webdigest.ru/gate.top.html (http://news.webdigest.ru/gate.top.html
http://www.setka.info/ (http://www.setka.info/
http://www.compulenta.ru/ (http://www.compulenta.ru/
http://news.battery.ru/#th3 (http://news.battery.ru/#th3
http://news.yandex.ru/hitech.html (http://news.yandex.ru/hitech.html
http://rusc.ru/ (http://rusc.ru/
http://www.morenews.ru/ (http://www.morenews.ru/

Автор: micha - 14-04-2004, 14:42
как я смогу узнать, интересна ли мне новость, не прочитав оную ?
я так понял, что "интересность" мне будет учреждена другими пользователями (или я не верно понял всёже), но какова гарантия, что однажды я не открою программу и не увижу там полторы сотни спам-новостей ?

Автор: Pikachu - 14-04-2004, 15:35
QUOTE:
Давайте не будем разводить флейм. Я точно знаю, что свежие новости востребованы. В интернете появилось множество ресурсов, которые собирают новости. Главный недостаток этих ресурсов - нету персонификации пользователя. Т.е. на этих ресурсах (например на новостях от Яндекса) есть только разделение на общие темы (политика, технологии и пр.).


Конечно свежие новости востребованы. Но на "новостных порталах" есть обычно подписка на новости по интересуюшчеи рубрике.
Так зачем нужна p2p прога? Или я чего-то не понял? rolleyes.gif

Автор: imageman - 14-04-2004, 15:47
QUOTE (micha @ 14-04-2004, 13:42):
как я смогу узнать, интересна ли мне новость, не прочитав оную ?

твоя программа будет анализировать предыдущие сообщения и выделять, например, ключевые слова и выражения.

Если в новости есть много "положительных" ключевых слов, то новость получает положительный рейтинг, а если ключевые слова характерны для спама, то рейтинг будет близок к нулю или отрицательный. Но это, можно так сказать, примитивная методика рейтингования (которая, тем не менее, может быть эффективна).

Насчет спама - фильтроваться будет около 98% спама. Какая-то часть может, конечно, пройти - тут ничего не поделаешь. Но и в этом случае спам не будет широко распространяться.

пример программы для борьбы со спамом
http://www.keir.net/k9.html (http://www.keir.net/k9.html
работает как POP3-proxy. Легко настраивается. Обучение занимает около 3-х дней, после чего ловит 98% спама. Ложныъ срабатываний (после обучения) практически нету.

Автор: Pikachu - 14-04-2004, 15:48
QUOTE:
Таким образом можно, например, сообщать о просмотренных фильмах, делать обзоры программ или уроки Фотошопа писать. Вот только фотки нужно будет где-то на просторах паутины размещать (что бы трафик лишний не создавать).


Как ты себе ето пердставляеш? "Отрывать" картинки от инфы не очень удобно (ИМХО).
Представь себе кто-то по новостям прислал тебе рецензию на фильм (текст), а если ты хочеш посмотреть картинки то будь добр загляни на саит такои-то. Не прошче ли сразу заглянуть на етот саит и не мучатся с "новостями"? newest/sick.gif

Автор: Pikachu - 14-04-2004, 15:52
QUOTE:
твоя программа будет анализировать предыдущие сообщения и выделять, например, ключевые слова и выражения.


А хранить БАЗУ ЗНАНИИ у ПРЕДЫДУШЧИЕ НОВОСТИ где, на каком сервере?
Ведь если мне пришлось переустановить ОС или пере-инсталлировать Сороку то все мои "знания "пропали.
Нехорошо так newest/sick.gif

Автор: imageman - 14-04-2004, 16:04
QUOTE (Pikachu @ 14-04-2004, 14:48):
QUOTE:
Таким образом можно, например, сообщать о просмотренных фильмах, делать обзоры программ или уроки Фотошопа писать. Вот только фотки нужно будет где-то на просторах паутины размещать (что бы трафик лишний не создавать).


Как ты себе ето пердставляеш? "Отрывать" картинки от инфы не очень удобно (ИМХО).
Представь себе кто-то по новостям прислал тебе рецензию на фильм (текст), а если ты хочеш посмотреть картинки то будь добр загляни на саит такои-то.

новость будет ссылаться на какой-то www адрес. Т.е. внутри новости будет ссылка на картинку. Если новость оформлена как html, то никаких проблем. Я имел в виду, что для уменьшения траффика к новости не будет пристегнута картинка, а то так кто-нибудь догадается весь фильм пристегнуть. :-\

А база знаний и все остальные новости спокойно в десяток-другой мегабайт поместяться (со сжатием, конечно).

У меня, например, папка с почтой зинамает 400 мегов - всякого хлама там!... smile.gif

Автор: Pikachu - 14-04-2004, 16:08
QUOTE :
новость будет ссылаться на какой-то www адрес


А что мне мешает сразу заити на етот WWW адресс и увидеть новость вместе с картинкои и не пользоватся Сорокои? wink.gif

Автор: Lab - 14-04-2004, 16:20
что-то тут на корню рубят идею, блин

я не программер (в смысле не прикладник) но я потенциальный пользователь программы, вот...

я предлагаю идейному вдохновителю сказать, где находится штаб разработчиков, потому как мне нужно куда-то сложить мысли

Автор: Pikachu - 14-04-2004, 16:25
QUOTE:
что-то тут на корню рубят идею, блин


Не рубят, а пытаются разобраться в целесообразности затеи smile.gif
А мысли можно и здесь складывать, пускаи все голову ломают над ними.
Мне было бы тоже интересно ...

Автор: Lab - 14-04-2004, 16:31
я вот как-то вижу целесообразность smile.gif
а форум это не удобное место для складирования мыслей - они тут теряются...

мне бы что-нить вроде Wikki или npj

Автор: Pikachu - 14-04-2004, 16:38
QUOTE (laborant @ 14-04-2004, 15:31):
я вот как-то вижу целесообразность smile.gif
а форум это не удобное место для складирования мыслей - они тут теряются...  мне бы что-нить вроде Wikki или npj

Не хочу разводить флеим, но может ты как "потентцыалныи пользователь" выскажеш вслух свою точку зрения о целесообразности? Мне лично интересно услышать. Ведь сделать можно все что угодно если есть желание и ресурсы. Вопрос: а надо ли ето делать и для кого? rolleyes.gif

Автор: imageman - 14-04-2004, 17:08
QUOTE (Pikachu @ 14-04-2004, 15:08):
QUOTE :
новость будет ссылаться на какой-то www адрес

 программа задумана как p2p _без_ выделенного сервера. Это означает, что вся необходимая информация будет храниться на компьютере пользвателя. (поэтому не нужно бояться падения или отлючения сервера)  Первый этап - сетка небольшая. В этом случае польза от программы такая же как и от WatzNews. (Что само по себе может уже привлечь многих).  Второй этап - число пользователей программы возрастает. В этом случае обмен новостями между Сороками становится интенсивней и число новостей, которые можно почитать используя самолично настроенные "локальные" фильтры будет (в процентном отношении) меньше, чем тех, что придут от других пользователей. Именно из-за второго этапа все и затевается.  
QUOTE:
А что мне мешает сразу заити на етот WWW адресс и увидеть новость вместе с картинкои и не пользоватся Сорокои?  ;)


Если новость будет очень короткой (типа: "все сюда, здесь круто!"), то такая новость с большой вероятностью будет помечена как спам или малоинтересная (что соответствует действительности). Единстенное исключение будет в том случае, если отправитель зарекомендовал себя очень хорошо. Причем рейтинг не хранится на каком-нибудь сервере. Он вычисляется на вашей машине и никому не показывается.

P.S. просьба писать только программистам и тем людям, которые имеют предложения по теме.

Автор: Pikachu - 14-04-2004, 17:20
QUOTE :
P.S. просьба писать только программистам и тем людям, которые имеют предложения по теме.

Так мы и пишем и пытаемся разобратся.

Автор: Lab - 14-04-2004, 17:28
вот, урл я не забыл оказывается

http://www.npj.ru/ (http://www.npj.ru/

тут можно приятно общаться по теме с удобствами, imageman - будешь там регистрироваться?

All, кому интересно мое видение smile.gif

1) RSS-ридеров в принципе полно, но никто меня не устраивает, поэтому в этом проекте можно решить свой шкурный вопрос и получить удобный ридер.

2) Я бы хотел делиться новостями и чтобы со мной делились, опять же - бегать по куче сайтов, собирать новости мне лень. Другой вопрос, кто будет класть туда эти новости, но я думаю что это можно решить (есть идея!)

3) А если прога будет подбирать новости по моим интересам - это вообще здорово smile.gif

Автор: Lab - 14-04-2004, 17:37
утопичная идея, возможно ее следует давить в самом зародыше: а коментарии к новостям будут?

Автор: imageman - 14-04-2004, 17:43
QUOTE (laborant @ 14-04-2004, 16:37):
а коментарии к новостям будут?

принципиально - сделать можно. И даже, видимо, нужно.

Видимо на комментарии нужно наложить какие-то ограничения и (конечно же) их тоже нужно пропускать через антиспамный фильтр.

Автор: imageman - 14-04-2004, 18:57
QUOTE (laborant @ 14-04-2004, 16:28):
http://www.npj.ru/ (http://www.npj.ru/  тут можно приятно общаться по теме с удобствами, imageman - будешь там регистрироваться?  

зарегистрировался - будем разбираться там?

адрес вроде как [http://www.npj.ru/soroka (http://www.npj.ru/soroka

Автор: Проф.Плейшнер - 15-04-2004, 16:43
QUOTE:
программа задумана как p2p _без_ выделенного сервера.

у меня есть вопросец прикладного характера. Если вы хотите сделать что вроде p2p клиента,
а по описанию то что здесь написано это смахивает на Gnuttela, то вам придётся на эту програмулину подвесить некий протокольчик. А учитывая что не будет сервера, тогда этот
протокольчик сам по себе станет более чем не тривиальной вешью. К примеру как два клиента
смогут друг с дугом соеденится ? Или вы хотите пользовать что то из уже известных протоколов, скажем того же gnutella.

Автор: Set - 15-04-2004, 17:51
Как заинтересованный в этой системе задам задачку: smile.gif

допустим хочу я получить софтверные новости с "хобота" с определённой даты, запускаю поиск по ентой p2p и получаю, что подобная инфа есть у, допустим, 200 человек и собрана она с помощью 10 разных шаблонов и причём данные, собранные одним и тем же шаблоном у разных юзверей, различаются. newest/w00t.gif

В результате получаем, скажем 50 версий одной и той же новости, причём т.к. рейтинг ставится от дуба (или по интересу), то определить качество новости (то бишь насколько она правильно вырезана из сайта и не потеряны-заменены в ней какие быквы-строки-фразы) - определить невозможно ... и даже если будут комменты, то им доверия особого тоже нет, да и время на их прочтение затрачу больше, чем если бы сам залез на сайт и нужную новость прочитал.

Вывод прост: я не могу доверять новостям, собранным такой системой, их в любом случае придётся проверять.

P.S. Делайте просто достойную замену WatzNew с нормальной поддержкой регулярных выражений и централизованной системой шаблонов - это действительно нужный проект.

Автор: Lab - 16-04-2004, 08:42
Сет... я не думаю, что новости которые лежат в вебе постоянно нужно запихивать в систему р2р и гонять по сетке.

ИМХО нужно передавать средствами р2р новости введенные самим пользователем. А для выдирания новостей с хобота нужно распространять не сами нвости, а шаблоны для модуля WatzNew или ссылки ны RSS каналы

Автор: imageman - 16-04-2004, 08:58
Нужно ли изобретать что-то свое или использовать уже изветсный протокол Gnutella? Я о гнутелле только слышал, но в сетевых протоколах я не разбирался (ни в одном).

QUOTE :
Делайте просто достойную замену WatzNew с нормальной поддержкой регулярных выражений и централизованной системой шаблонов - это действительно нужный проект.
Первый этап - замена WatzNew. Хранилище шаблонов сделать можно, только они устаревают быстро. Хотя можно попробовать наладить систему апдейтов.  
QUOTE:
нужно распространять не сами нвости, а шаблоны для модуля WatzNew или ссылки ны RSS каналы
RSS каналы мне не очень понравились. А шаблоны, принципиально, конечно же можно рассылать. Спасибо за совет!

Кстати, что ты подразумеваешь под "с нормальной поддержкой регулярных выражений"?

Автор: Проф.Плейшнер - 16-04-2004, 09:09
а не проше ли написать plug-in к тому же eMule , как бы клиент уже готов, просто написать добавку к нему

Автор: imageman - 16-04-2004, 13:04
eMule но поддерживает плагины. Или я не прав? К тому же сама сеть eDonkey не ориентирована на наши нужды (сеть оптимизирована для передичи больших файлов).

К тому же одним плагином не обойтись - нужно написать чуть ли не десяток (!) плагинов. ( http://www.npj.ru/imageman/3661 (http://www.npj.ru/imageman/3661 )

Все здравые мысли можно писать сюда http://www.npj.ru/soroka (http://www.npj.ru/soroka

P.S. туда писать только тем, кто реально хочет помочь, не следует туда писать "а зачем это нужно?"

Автор: Set - 16-04-2004, 18:22
До меня кажется дошло, хотите сделать систему блогов на p2p, с неким уклоном на новости ?! newest/pig.gif

И что значит "получать извещение", как это понять ? Можно столько извещений получить в неподходящий момент, что инет просто умрёт. newest/devil_2.gif Кто их вообще-то будет генерить и слать ?
Может "получать результаты своего поиска" ?

Автор: Set - 16-04-2004, 18:48
QUOTE:
как я смогу узнать, интересна ли мне новость, не прочитав оную ?  программа будет анализировать предыдущие сообщения и выделять, например, ключевые слова и выражения.  Если в новости есть много «положительных» ключевых слов, то новость получает положительный рейтинг, а если ключевые слова характерны для спама, то рейтинг будет близок к нулю или отрицательный. Но это, можно так сказать, примитивная методика рейтингования (которая, тем не менее, может быть эффективна).  Насчет спама – фильтроваться будет около 98% спама. Какая-то часть может, конечно, пройти – тут ничего не поделаешь. Но и в этом случае спам не будет широко распространяться.

98% - сказочки однако tongue.gif , когда система станет популярной, спамом по самое горло зальётесь, даже серьёзные AI фильтры не помогут, да и кто эти фильтры будет настраивать ... конечный пользователь что-ли ?! Как они настраивают - все знают. biggrin.gif

Отбор важных новостей - ещё одна проблема, если я захочу не пропустить ни одну новость по какой-то теме, то получу немерянную кучу лишнего хлама, если же жёстко резать фильтрами - будет немерянное число "дропов".

"Цифровая подпись" - ... очень мило, будете создавать сертификационный центр что-ли ?! Муловская криптоидентификация тут не проканает.

"Новости могут иметь комментарии": точно блог newest/laugh.gif ... мусора становится ещё больше.

P.S. В общем хотелось бы прочитать об системе эти сообщений, кто кому когда что передаёт. Например "передавать в Сороку", как это понять, вроде данные каждого на локальной машине хранятся ... или планируется сделать распределённое хранение как в фреенете ?

Автор: imageman - 16-04-2004, 19:41
QUOTE :
Отбор важных новостей - ещё одна проблема, если я захочу не пропустить ни одну новость по какой-то теме, то получу немерянную кучу лишнего хлама, если же жёстко резать фильтрами - будет немерянное число "дропов".
Это в любой системе. Подчеркиваю: в любой! Даже если ты любому человеку скажешь: найди мне все про собак. Он тебе кучу книг принесет. "Найди мне самое важное про собак" - принесет справку-статью из энциклопедии. Нужно говорить о реальных вещах.  
QUOTE :
"Новости могут иметь комментарии": точно блог  ... мусора становится ещё больше
чем тебя не устраивают комментарии?  
 
QUOTE :
И что значит "получать извещение", как это понять ? Можно столько извещений получить в неподходящий момент, что инет просто умрёт.  Кто их вообще-то будет генерить и слать ?
Люди тщеславные. Им хочется видеть результаты своих трудов - сколько человек прочитали его стихотворение. Поэтому такой поэт-писатель-журналист при отсылке своего творения в Сороку поставит галочку "собирать статистику". Удаленная Сорока в момент прочтения (точнее показа на экран) сообщения видит галочку "статистика" и смотрит с какого IP адреса пришло письмо (точнее авторский IP) и на этот адрес отправляет пакет "Прочитал сообхение ХХХ". Компьютер писателя, конечно же в этот момент должен быть включен.

А не будет ли слишком много сообщений? Можно десятикратно уменьшить нагрузку. Что для этого нужно сделать? Сорока должна сгенерировать случайное число от 0 до 1. Если число получится меньше 0.1, то Сорока отправляет пакет "Прочитал сообхение ХХХ". А компьютер поэта-журналиста число пакетов будет смело умножать на 10.

Автор: Set - 16-04-2004, 20:01
QUOTE (imageman @ 16-04-2004, 19:41):
Люди тщеславные. Им хочется видеть результаты своих трудов - сколько человек прочитали его стихотворение. Поэтому такой поэт-писатель-журналист при отсылке своего творения в Сороку поставит галочку "собирать статистику". Удаленная Сорока в момент прочтения (точнее показа на экран) сообщения видит галочку "статистика" и смотрит с какого IP адреса пришло письмо (точнее авторский IP) и на этот адрес отправляет пакет "Прочитал сообхение ХХХ". Компьютер писателя, конечно же в этот момент должен быть включен.  А не будет ли слишком много сообщений? Можно десятикратно уменьшить нагрузку. Что для этого нужно сделать? Сорока должна сгенерировать случайное число от 0 до 1. Если число получится меньше 0.1, то Сорока отправляет пакет "Прочитал сообхение ХХХ".  А компьютер поэта-журналиста число пакетов будет смело умножать на 10.

Иными словами каждое сообщение выпихивается в p2p и размножается всеми клиентами, так чтобы все пользователи его получили, т.е. идёт "информационная волна". Не будет ли так, что одновременное большое число таких сообщений просто напросто "зальёт" клиентов ?
Ответные сообщения по сравнению с этим значительно безопаснее (размеры не те).  
QUOTE :
Как я уже неоднократно говорил все новости будут в автоматическом режиме делиться на спам, хорошие и не очень. (Как будут делиться? Почитай про антиспаммерские технологии.)

Читал. Оценки каждого юзверя будут хранится на локальной машине, вопрос: как собрать оценки по данной новости со всех пользователей сети ? Каскады запросов слать ?

Автор: imageman - 17-04-2004, 15:48
QUOTE :
А комп читателя, если он выключен, то всё, сообщение не будет получено ?
Если у тебя комп выключен, ты скачаешь фильм в emule?  
QUOTE:
Оценки каждого юзверя будут хранится на локальной машине, вопрос: как собрать оценки по данной новости со всех пользователей сети ?
Зачем? Сбором таких оценок мы облегчим жизнь спаммерам (они будут знать ключевые слова с положительным рейтингом). Да и нагрузка на сеть будет увеличиваться. Опять-таки - интересы у разных пользователей разные и то, что нравится одному не понравится другому. Соответственно и сбор оценок не очень поможет сети в целом.

Автор: Set - 17-04-2004, 16:22
О рейтинге новости кажись дошло ... он только для локального пользователя и для автора сообщения (если идёт сбор статистики).

QUOTE :
Если у тебя комп выключен, ты скачаешь фильм в emule?

Фильм - не новость, когда я включаю комп я хочу знать обо всех новостях. И тем более, об упомянутых в описании этого проекта статьях и т.п. Выходит после одной рассылки они просто исчезают - кто не успел...... newest/fear2.gif  
QUOTE:
Можно сделать что-то вроде FIDO.

Если я правильно понимаю архитектуру FIDO, то она совсем для подобного проекта не подходит ... скорее тут ближе структура Usenet-а ... правда по моим прикидкам механизм ньюссерверов не проканает - требуются приличные обьёмы на дисках пользователей.

Автор: Set - 18-04-2004, 17:44
QUOTE:
Во вторих если к примеру ти мне хочеш что-то рассказать – не факт что я сеичас в он-лaине, но новость от тебя я потерять не хочу.

Нашёл таки http://www.npj.ru/imageman/p2p (http://www.npj.ru/imageman/p2p smile.gif

При подобной системе требуется хранение у каждого клиента всех новостей и комментариев к ним за определённое время (скажем, за последние сутки). А размеры такого хранилища вполне могут достигать сотен мегабайт...

Автор: imageman - 19-04-2004, 10:12
QUOTE :
"Потенциальная важность" новости (или её ненужность, спам) может в данном случае определятся только на локальной машине, а для этого все сообщения надо загрузит. Выходит, что клиент в обязательном порядке получает все сообщения и затем уж их фильтрует...
тут можно немного кое-что изменить. Если тебе важнее траффик, то программа выбирает из списка достыпных включенных компов наиболее авторитеного человека и с его машины идет доставка новостей с высокой оценкой конкретного авторитета. Т.е. в данном случае мы экономим на траффике, но полагаемся на оценку другого человека (т.е. получаем только часть новостей).

Бедут выглядеть это примерно так.

1. Привет! Я знаю ты хороший чувак. Передай мне список новостей за 4 дня, отсортированных по рейтингу. И укажи размеры каждой новости.
2. На тебе список: #450 (1 кб), #98 (456b) и т.д.
1. Давай мне ##450, 98, 48, 998.....

Таким образом, например, при траффике 1 мегабайт в час (входящий) Сорока может выбрать трех человек. Первый выбранный человек предложит, к примеру, 1 мегабайт новостей. Скачаем от него 500. Второй предложит 650 килобайт новостей (часть уже будет скачана от первого). Скачаем от него 250. И от третьего скачаем еще 250.

Для этого нужно ввести некую систему (локальную для каждого пользователя) рейтингования клиентов. Т.е. скачиваем новости от Ильича (к примеру), отсортированные по рейтингу. Читаем их. Оцениваем. Смотрим: если сортировка новостей, произведенная нами совпадает с сортировкой произведенных Ильичем, то Ильич имеет такие же вкусы, как и я. Если сортировка сильно не совпадает, то этот человек не очень нам подходит (вкусы разные).

Автор: Set - 19-04-2004, 18:23
Каждый клиент должен участвовать в пересылке новостей и комментариев вне зависимости от их содержимого, на этом же вроде стоит вся сеть ? Но никакого контроля траффика я тут не вижу.

Теперь об описанном выше обмене недостающими кусками при подключении в сеть: если, как описано, хранить не все новости и комменты за указанный период у каждого клиента, а только те, которые отфильтрованы по своим фильтрам этим же клиентом, то получим ситуацию "дыр". Будут отсутствовать как нужные новости, так и комментарии к ним ... а кому нужна система с рандомальной доставкой новостей ? Кого порадует, скажем, почтовый сервер, выкидывающий мейлы случайным образом ? newest/sick.gif

Автор: Set - 05-05-2004, 08:49
Проект умер ?

Автор: imageman - 05-05-2004, 09:06
QUOTE (Set @ 19-04-2004, 17:23):
Каждый клиент должен участвовать в пересылке новостей и комментариев вне зависимости от их содержимого, на этом же вроде стоит вся сеть ? Но никакого контроля траффика я тут не вижу.

Теперь об описанном выше обмене недостающими кусками при подключении в сеть: если, как описано, хранить не все новости и комменты за указанный период у каждого клиента, а только те, которые отфильтрованы по своим фильтрам этим же клиентом, то получим ситуацию "дыр".

Проект не умер. Для проекта у меня не хватает времени и сил, а другие люди не подключаются (даже на стадии советов).

Если пересылать и хранить все новости, то такую систему зальет за несколько дней. Ведь всегда найжутся люди, которые из-за своей мелкой душонки захотят испортить что-то полезное! Именно поэтому нужно при проектировании сразу обращать внимание на таких людей. Именно поэтому новости получившие статус "спам" будут удаляться или (по крайеней мере) не будут пересылаться без особого требования.

Именно поэтому пересылаться будут в первую очередь интересные письма, а потом уже всякий хлам.

Как избежать "дыр"? Нужно сделать гибкую систему рейтингования. Нужно сделать так, чтобы твой клиент Сорока подключался к другому клиенту со схожими взглядами(интересами). Таким образом если повышается шанс на то, что какая-то новость интересная узкому кругу людей не будет потеряна.

Т.е. из большого списка клиентов Сороки твоя сорока должна отобрать несколько человек, к которым нужно присоединиться в первую очередь, т.к. у них чаще всего есть интересующие тебя новости. Каким образом это сделать? Нужно подумать. Предлагайте свои алгоритмы!

Автор: Set - 05-05-2004, 18:26
... -м-м-м- ... скажу так: смущает меня идея p2p в этом проекте. Во-первых сложно, во-вторых не слишком полезно (могу конечно ошибаться, но я очень сомневаюсь, что подобная система будет вообще нужна, не помешало бы исследовать эту тему).

Другое дело востребованный конкурент для WatzNew - тут и поддержка плагинов, нормальные шаблоны, RSS, система генерации отчётов из собранных новостей, т.е. есть что реализовывать, где развернуться и создать проект любого масштаба (хоть коммерческий). Хорошая идея - это хорошая идея. newest/punk.gif

Автор: imageman - 13-05-2004, 10:07
p2p компонент позволит (с одной стороны) потенциально получать больше хороших новостей, а (с другой стороны) не зависеть от какого-то сервера в сети.

Кстати, довольно хорошая рассылка новостей идет на http://www.rusdoc.ru/last/ (http://www.rusdoc.ru/last/ (Русская компьютерная библиотека).

Техническая реализация проекта "Сорока" пока неясна. Одно ясно: создавать нужно с рассчетом на плагины.

Автор: imageman - 28-06-2004, 11:39
Google разрабатывает некую систему персонификации новостей. Конечно же для английских пользователей sad.gif

А слабо нам сделать достойный ответ??!

Автор: imageman - 11-12-2005, 00:40
Ну, хоть мне и никто не смог помочь, но кое-какую программу я сделал: lit999.narod.ru (http://lit999.narod.ru/soft/40a/index.html

Программа в стадии альфа и может использоваться только в образовательных целях :p ;)

Автор: FiL - 11-12-2005, 09:44
И ведь не долго заняло альфу написать :)
Спасибо. Будем посмотреть при случае.

Powered by Invision Power Board (http://www.invisionboard.com)
© Invision Power Services (http://www.invisionpower.com)