Молодец, что сделал. Нужный ресурс!!!!! Только правда, проиндексируй побольше.

Сообщение от Bizkit:
Молодец, что сделал. Нужный ресурс!!!!! Только правда, проиндексируй побольше.

Индексирую но это очень долго особенно если первый раз, щас индексирую "Твой Мир" уже 11 часов почти индексируется и 2 гига бд заняла, жуть короче, приходится жертвовать скоростью индексации чтобы потом запросы по такой огромной базе быстро проходили.

Сообщение от maks-0906:
2 гига бд заняла

Все сразу подумали, скока ж места занимают базы гугла...

maks-0906: интересно, а распределённо можно индексить ?

Сообщение от Part!zan:
Все сразу подумали, скока ж места занимают базы гугла...

у него сотни тысяч серверов...
Изображения
   

Сообщение от GoR2:
у него сотни тысяч серверов...

Ты думаешь, я в этом сомневаюсь? Я просто прикинул общий объем, который занимают базы. Фактически, там хранится весь инет... Жуть...

уже тормозит(

Сообщение от ру:
уже тормозит(

Ночью ставлю сразуже несколько сайтов на индексацию может притормаживать, а вообще не должен, просто примерно в то время я сервер перезагружал вот у тебя и стормозило немного.

По поводу гугла:

Поисковая база веб-документов состоит из двух частей: 800 и 50 терабайт с уровнем компрессии 11% и 33%, соответственно. База Google Analytics тоже хранится в двух таблицах на 200 ТБ (14%) и 20 ТБ (29%).
Google Earth занимает 70,5 ТБ, из них 70 ТБ исходных изображений и 500 ГБ индекса. Система Google Base использует 2 ТБ, а социальная сеть Orkut — всего 9 ТБ места в базе данных.

з.ы. цифры на 2006ой год)

з.з.ы. все это лежит в кластерах на gfs (google file system), в СУБД Bigtable, разработанной гуглом.

UPD: это еше про youtube и gmail ничего не известно там я думаю не мало терабайт.

http://en.wikipedia.org/wiki/Google_platform

Сообщение от :
Though the numbers are not publicly known, some people estimate that Google maintains over 450,000 servers, arranged in racks located in clusters in cities around the world, with major centers in Mountain View, California; Virginia; Atlanta, Georgia; Dublin, Ireland; and new facilities constructed in The Dalles, Oregon and Saint-Ghislain, Belgium. In 2009 Google is planning one of its first sites in the upper midwest to open in Council Bluffs, Iowa close to abundant wind power resources for fulfilling green energy objectives and proximate to fiber optic communications links.

When an attempt to connect to Google is made, DNS servers resolves www.google.com to multiple IP Addresses which acts as a first level of load balancing by directing clients to different Google clusters (When a Domain name resolves to multiple IP Addresses, typical implementation of clients is to use the first IP Address for communication; The order of IP Addresses provided by DNS servers for a Domain name is typically done using Round Robin policy). Each Google cluster has thousands of servers, and upon connection to a cluster further load balancing is performed by hardware in the cluster, in order to send the queries to the least loaded Web Server. This makes Google one of the biggest and most complex known content delivery networks.

Racks are custom-made and contain 40 to 80 servers (20 to 40 1U servers on either side), while new servers are 2U Rackmount systems. Each rack has a switch. Servers are connected via a 100 Mbit/s Ethernet link to the local switch. Switches are connected to core gigabit switch using one or two gigabit uplinks.[

GoR2, иди учи матчасть, и не говори чушь))) 15 не 15, их там ровно столько сколько нужно, ты вообще видишь разницу между 1000 и 1000000?

з.ы. на гмеиле все юзеры забивают мыльники под 6гб?)))) если так, то я наверно единственный у кого всего метров 30.

Сообщение от wargasm:
GoR2, иди учи матчасть, и не говори чушь))) 15 не 15, их там ровно столько сколько нужно, ты вообще видишь разницу между 1000 и 1000000?

з.ы. на гмеиле все юзеры забивают мыльники под 6гб?)))) если так, то я наверно единственный у кого всего метров 30.

читай информацию по ссылкам

Это факт что резервирование свободного места под юзвера на почте только формальное, но я бы вернулся бы к теме поиска и вот что я тут надумал, написать скрипт который бы работал с базами разных там форумов и движков и в качестве ответа возврощал бы массив с результатом поиска (так завтравить сделать всех базы не локальные - неполучится да и незачем). Результаты затем объеденить, отсортеровать по релевантности и вывести - это уже скрипт на сайте поиска и тем самым мы получим самый эфективный (+ быстрый) поисковик (который не лезет туда куда не нужно) в качастве основы могу предложить модернезировать мой поисковик для сайта ответов.com
------------------------------------------------------------------------------------------------------------------------------------------------

Вот только уговорить бы всех установить его в дополнение своего сайта и + нет гарантий что админ сайта ручками не покавыряется и вручную повысит выходное число релевантности результата( это можно сделать ((( )

Сообщение от wargasm:
Кстате если посчитать примерно, то стандартный сервер с рейдом из 6ти винтов (возьмем по 500гб) это 6*500 ~ 3 терабайта данных.
800 терабайт это 266 серверов. Пусть данные сильно округленные, но всеже:
Это мега лол))))))

математик блин
1. Ты считаешь напрямую, умножая объем, но там далеко не 0-вой рейд
2. 500 гигов это у обычных саташек, у SCSI и SAS винтов объем на порядок меньше, а скорее всего там даже винты fibre chanell
3. там вряд ли отдельные серваки, скорее всего одна большая СХД