Igor Katkov

В новостях пишут о что новость о смерти Майкла Джексона привела к перегрузке известных интернет сайтов. Гугль думал что они под хакерской атакой

News of Jackson’s death spread quickly online, causing many websites to experience technical difficulties under the unanticipated swell of users. Google announced technical difficulties after a sudden swell in searches for “Michael Jackson” led the company to believe it was under attack from hackers, while social networking site Twitter reported a crash after record numbers of users used the site to spread the news of Jackson’s death.[175] Wikipedia experienced technical difficulties, and crashed at 3:15 PDT reportedly due to excessive edits and user overload.[167]

wiki

Я тоже сначала думал что нас в Viigo атакуют. Трафик обычных запросов прыгнул на 15% в течении 10-20 минут. Трафик запросов к рекламным банерам – на 40%. Целый час потратил, что бы понять кто все эти люди и откуда они взялись. Мысль про Джексона приходила в голову, но я ее отмёл как несостоятельную.

Если бы мне кто-то сказал, о таком несколько дней назад, я бы не поверил…

На днях в Сан-Франциско прошла конференция по key-value хранилищам.  Представлены все главные проекты, не хватает только Tokyo Cabinet и memcachedb.  Cloudera кажется не причём, но это очень хороший ресурс по Hadoop/Hive/Pig

Intro session – Todd Lipcon, Cloudera
Voldemort – Jay Kreps, Linkedin
Cassandra – Avinash Lakshman, Facebook
Dynomite – Cliff Moon, Powerset
HBase – Ryan Rawson, Stumbleupon
Hypertable – Doug Judd, Zvents
CouchDB – Chris Anderson, couch.io
VPork – Jon Travis, Springsource
MongoDb – Dwight Merriman, 10gen
Infinite Scalability – Jonas S Karlsson, Google

Начинают появляться слайды и видео докладов. Кому интересно – могут пройти в закрома. Хорошее место Silicon Valley, всё самое интересное происходит там. В Торонто какие-то убогие сборища в последнее время происходят только. Вот Microsoft рассказывает про OpenSource. Молодой человек на главной странице, очевидно, олицетворяет target группу.

Werner Vogels, Amazon CTO, пишет о том как работает Amazon’s Dynamo в частности и о сложностях дизайна Key-Value distributed storage вообще.
http://www.allthingsdistributed.com/2007/10/amazons_dynamo.html

Ссылается на работы Lamport-а 1978 года, это тот самый кто придумал такие алгоритмы для distributed computing как Vector clock и Paxos. Довольно странно читать научные работы 30-ти летней давности и отчеты о самых свежих, bleeding-edge, программных разработках, которые эти самые работы используют. То ли програмная индустрия безнадежно отстаёт от учёной мысли, то ли учёная мысль вырвалась вперед.

Вот и Last.fm присматривает key-value storage для себя
http://www.metabrew.com/article/anti-rdbms-a-list-of-distributed-key-value-stores/
пишет Richard Jones, бывший Last.fm CTO. Коментарии к посту тоже интересны.

Evan Weaver на последней конференции QCon упомянул в частности, что Twitter написал свою собственную версию Message Queue на Scala – Kestrel. Вот ссылка на слайды. Они в Твитере конечно очень счастливы и всё такое, но вызывает недоумение не столько тайный смысл изобретения велосипеда, см. RabbitMQ или QPid или OpenAMQ или ZeroMQ или ActiveMQ или MSMQ, сколько очень посредственная производительность.

Если я правильно понимаю результаты с официальной страницы Kestrel даёт  227.5 транзакций в секунду на 2.5GHz 2008 model Macbook Pro.

В то время как ActiveMQ даёт 2000 транзакций в секунду на более медленном Intel Celeron 2.4 GHz.

И я даже не буду вдаваться в размеры самих сообщений, потому что сравнение будет ещё больше в пользу ActiveMQ.

И какой смысл в существовании Kestrel?

Что-то много вокруг разговоров о Scala, и с каждым днём всё больше и больше. Вот и Twitter туда же. Предали светлые идеалы Ruby.

“…One of the most important changes they introduced to improve performance in the last nine months is moving from a Ruby messaging middleware to a custom build JVM-based messaging middleware written in Scala.”

говорит Evan Weave

Нога в снегоступе сминает сугроб,
Нетронутая целина впереди.
Воздух пахнет весной.