Просмотр исходного текста страницы Apache Hadoop (Владимир Климонтович на ADD-2010)

== Аннотация ==
<blockquote>
{{Speaker|Владимир Климонтович}}
Владимир Климонтович поделился своим опытом обработки ОЧЕНЬ БОЛЬШИХ объемов данных, и использование для этого NOSQL-подходов, в частности <tt>Apache Hadoop</tt>.
История вопроса.
* Почему проблема обработки большего объема данных становится все более актуальной (пример роста количества данных в разных областях).
* Статья от компании Google про парадигму <tt>MapReduce</tt>. Краткое описание парадигмы.
* Краткое описание смежных областей (''distributed file system'', ''bigtable''-like storage).
* История и краткое описание платформы <tt>Apache Hadoop</tt>.

Примеры использования.
* Использование платформы <tt>hadoop</tt> в трех отдельно взятых областях: в <tt>last.fm</tt> (построение ''charts''), в ''online-advertising'''e (построение статистики), в <tt>Yahoo</tt> (построение поискового индекса).
* Описание традиционного подхода (<tt>SQL</tt> базы данных) и подхода с использованием <tt>Hadoop</tt> для каждой из вышеобозначенных проблем. Достоинства и недостатки <tt>SQL/Hadoop</tt> подхода
* Общий принцип трансляции некоторого подтипа <tt>SQL</tt> запросов в <tt>MapReduce job</tt>'ы.

Платформы, построенные поверх <tt>Hadoop</tt>.
* Краткое описание <tt>ETL-framework</tt>'а <tt>Hive</tt> and <tt>Pig</tt>, построенных на базе <tt>Hadoop</tt>.
* Примеры использования (на примере <tt>facebook.com</tt> и <tt>Yahoo</tt>); сравнение со стандартным <tt>SQL</tt> подходом

Проблемы с ''real-time'' доступом к данным при использовании Apache Hadoop.
* Описания случаев, когда ''real-time'' нужен, а когда нет.
* Описание решения простых проблем с ''realtime'': кэширование в памяти (<tt>memcached</tt>), симбиоз со <tt>SQL</tt>
* Симбиоз с <tt>bigtable</tt>-like БД на примере <tt>HBase</tt>. Краткое описание <tt>HBase</tt>.

<tt>Hadoop</tt> как тренд.
* Краткий обзор технических и бизнес проблем, возникающих при использовании Hadoop
* Шумиха вокруг <tt>Hadoop</tt> и <tt>NoSQL</tt> подхода. Описание случаев, когда <tt>SQL</tt> оказывается удобным.
</blockquote>

== Видео ==

{{vimeoembed|11910267|800|450}}

{{youtubelink|APT5cRpUG-I}}{{letscomment}}

== Подкаст ==
{{podfmembed|belonesox.podfm.ru/addconf/21}}

== Презентация ==
[[Файл:Apache Hadoop (Владимир Климонтович на ADD-2010).pdf|left|page=-|300px]]

== Стенограмма ==
<blockquote>
Стенограмму по видеозаписи записал [[User:StasFomin|Стас Фомин]].

</blockquote>

{{/Стенограмма}}

== Примечания ==
* [http://addconf.ru/event.sdf/ru/add_2010/authors/133/168 страничка доклада на сайте ADD-2010]
* [http://citforum.urc.ac.ru/database/articles/dw_appliance_and_mr/ MapReduce: внутри, снаружи или сбоку от параллельных СУБД?]
* [http://refcardz.dzone.com/refcardz/getting-started-apache-hadoop?oid=list29363 Шпаргалка по Hadoop]
* [http://habrahabr.ru/blogs/algorithm/103467/ MapReduce без зауми]

* {{libcustis-review|ADD 2010: Отчет Глеба Тарасова/Apache Hadoop}}
* {{libcustis-review|ADD 2010: Отчёт Русецкого Георгия/Apache Hadoop}}
* {{libcustis-review|ADD 2010: Отчет Алексеева Алексея/Владимир Климантович. Apache Hadoop}}
* {{libcustis-review|Отчет о конференции ADD-2010 - Владислав Иофе/Apache Hadoop}}
[[Категория:ADD-2010]]
[[Категория: Параллельное программирование ]]
[[Категория: Доклад со стенограммой]]
[[Категория:NOSQL ]]
{{stats|disqus_comments=0|refresh_time=2021-08-31T16:12:39.414364|vimeo_comments=0|vimeo_plays=3560|youtube_comments=0|youtube_plays=35}}