Регистрация
Вход через соцсети
Восстановление пароля

Netcat для высоконагруженного сайта

Новый топик
20.04.2011, 10:39
Ответить | Цитировать
i-Vi
i-Vi

Зарегистрирован:
2010-12-02
Сообщений: 7

Всем форумчанам привет!
Мы планируем создавать сайт на Netcat с посещаемостью около 500 человек online (ежедневная посещаемость может доходить до сотни тысяч человек)
Скажите, Netcat без дополнительных доработок справится с такой нагрузкой?
Если говорить про оборудование, то сервер, допустим такой -
Xeon QC E5620 2.4GHz
2x 4 Cores, HT, 12MB cache
12GB DDR3 (max 48GB)
12x2TB SATA2
--------------------------
Забыл сказать - тип проекта - видео-портал: странички, посвященные фильмам, с возможностью комментирования, просмотр трейлеров (под них будут отдельные дата-сервера есс-но)

i-Vi
20.04.2011, 11:39
Ответить | Цитировать
DiGGy
DiGGy
DiGGy

Зарегистрирован:
2005-04-04
Сообщений: 1546

Цитата:
Скажите, Netcat без дополнительных доработок справится с такой нагрузкой?

Тяжело сказать, потому как от многих факторов зависит, начиная от оптимальности составленного кода на движке, заканчивая верной настройкой серверного ПО и толщины канала.


Цитата:
12x2TB SATA2

Берите лучше твердотелые винты - производительность намного выше.

Temet nosce...
20.04.2011, 12:22
Ответить | Цитировать
i-Vi
i-Vi

Зарегистрирован:
2010-12-02
Сообщений: 7

Отставим пока момент, связанный с загрузкой видео с отдельных дата-серверов.
Допустим у нас просто портал, который посещает ежедневно 100 000 человек: просматривают страницы, оставляют комменты.
Мы устанавливаем на выделенный сервер NetCat. Настраиваем кэширование. Проект начинает работать, начинают ходить люди. Netcat начинает делать запросы к БД. Так вот, учитывая пользовательскую нагрузку, интенсивность запросов к БД не приведет к тому, что сайт ляжет?
Допустим, сервер мы настроили оптимальным образом (я в этом не разбираюсь). Потянет ли NetCat? Я просто не очень знаю структуру ядра и какие там запросы идут к БД.
Или не понятнет - и нужно масштабировать систему?

i-Vi
20.04.2011, 12:46
Ответить | Цитировать
DiGGy
DiGGy
DiGGy

Зарегистрирован:
2005-04-04
Сообщений: 1546

я писал выше:
Цитата:
Тяжело сказать, потому как от многих факторов зависит, начиная от оптимальности составленного кода на движке


Цитата:
...учитывая пользовательскую нагрузку, интенсивность запросов к БД не приведет к тому, что сайт ляжет?


livejournal.com тоже слег недавно от dos-атаки, котрая также попадает под ваше понятие "пользовательской нагрузки" и сапа недавно лежала как и другие проекты на кварте.

Если у вас все будет настроено оптимально, оптимизированы ресурсоемкие места, и также в комплексе решен вопрос с мощностями сервера и их настройкой, то все должно работать.

Другой вопрос - что вам даст простой пост с этого форума? Если че-то у вас рухнет, то скажете руководству, что вот мне вася пупкин на форуме написал, что должно работать? Если есть такие риски, то пишите официальный запрос в неткет, либо добивайтесь таких гарантий от подрядчика.

Temet nosce...
20.04.2011, 15:31
Ответить | Цитировать
i-Vi
i-Vi

Зарегистрирован:
2010-12-02
Сообщений: 7

Цитата:
Другой вопрос - что вам даст простой пост с этого форума? Если че-то у вас рухнет, то скажете руководству, что вот мне вася пупкин на форуме написал, что должно работать? Если есть такие риски, то пишите официальный запрос в неткет, либо добивайтесь таких гарантий от подрядчика.

Ну я просто делаю компред - надо заказчику сказать сроки и деньги ) вот я и думаю - одно дело установить все на один выделенный сервер (с учетом оптимизации этого сервера), другое дело - делать изначально масштабируемую систему, если сразу понятно, что NetCat не тянет.
Из вашего ответа я так понимаю, что можно обойтись малой кровью с одним сервером

i-Vi
20.04.2011, 15:38
Ответить | Цитировать
DiGGy
DiGGy
DiGGy

Зарегистрирован:
2005-04-04
Сообщений: 1546

Цитата:
Из вашего ответа я так понимаю, что можно обойтись малой кровью с одним сервером

Про кол-во серверов я ничего не говорил. Можно начать с 1-го общего сервера. Если не будет хвататть ресурсов, то выносите mySQL на другой сервер, хранилище файлов с видео - на третий.

А на счет масштабируемости системы - не совсем понимаю, что вы хотите. Если речь о СУБД и о том чтобы сделать кластер (типа как на Оракле), то на счет таких возможностей mySQL не слышал, хотя может и есть.

Temet nosce...
06.02.2012, 07:52
Ответить | Цитировать
Руслан Густокашин
Студия Вэлпис
Руслан Густокашин

Зарегистрирован:
2012-02-06
Сообщений: 869

Топик старый, но все же решил ответить - вдруг кому будет полезна информация. Насчет 100 тысяч уникальных посетителей в сутки не знаю, но 11 тысяч уников в сутки на сервере, в 2-3 раза слабее вашего, неткат держал отлично. Думаю, и в вашем случае нормально все будет. Только я некоторые недостающие индексы добавил к определенным таблицам, и еще пришлось ради некоторых разделов сайта добавить в исходники нетката поддержку mysql'евской опции forceindex, т.к. по дефолту мускуль неправильно выбирал индекс для сложного запроса и из-за этого mysqld сильно нагружался и вешался.

06.02.2012, 10:26
Ответить | Цитировать
resident
Веб-группа «Дабл Ю»

Зарегистрирован:
2005-01-10
Сообщений: 336

про использование индексов mysql я уже писал неткату в результате получили возможность писать весь запрос в компоненте самостоятельно, где вы правили исходники?

как-то на сайте нетката красовалась циферка - среднее время создания страницы на неткате: 0.08 сек, можно отталкиваться от нее. что такое онлайн каждый понимает по своему, может это 500 клиентов одновременно подключенных к серверу, может это посетители за последние 5 минут (разница в 300 раз)
если в сутки будет 100к посетителей которые допустим смотрят по 4 страницы, что в пиках порядка 7 запросов в секунду с которыми неткат с легкостью справляется на менне мощном железе
06.02.2012, 13:23
Ответить | Цитировать
Руслан Густокашин
Студия Вэлпис
Руслан Густокашин

Зарегистрирован:
2012-02-06
Сообщений: 869

Дело было достаточно давно (пару лет назад), возможно тогда еще не было возможности делать полностью собственный запрос. Так или иначе, пришлось внести корректировку в исходник. Функция не помню как называется, но имею в виду ту системную функцию, которая делает выборку из базы, основываясь на $query_where и т.д. Делал это, конечно, понимая последствия (невозможность автоматической установки патчей к неткату).
Насчет нагрузки на сервер совершенно с Вами согласен, все зависит от очень многих факторов, так что, наверное, ТС наши данные не очень помогут... У меня каждый из 11 тысяч уников глядел в среднем 1.5 страницы, но как распределены эти просмотры по рабочему дню, не знаю.

06.02.2012, 16:33
Ответить | Цитировать
resident
Веб-группа «Дабл Ю»

Зарегистрирован:
2005-01-10
Сообщений: 336

автору конечно уже не поможет, год прошел улыбка

Руслан, знайте что теперь можете обновиться и переписать запрос как вам надо (конечно же не на продакшене)
06.02.2012, 22:00
Ответить | Цитировать
Руслан Густокашин
Студия Вэлпис
Руслан Густокашин

Зарегистрирован:
2012-02-06
Сообщений: 869

resident, спасибо за наводку! Уже нашел примеры такого запроса. Буду пробовать.улыбка

198 196 2012-02-06 22:00:38 11211
Описание проекта