You are currently viewing Система HDFS

Система HDFS

Автор: Олег Ивченко

Курс скачан из открытых интернет-источников. Авторские права на продукты принадлежат только их владельцам. Основная цель сайта — это предоставление пользователям бесплатного материала для самостоятельного обучения. Если вы заметили нарушение своих авторских прав, то вы можете связаться с нами для удаления вашего продукта с нашего сайта по ссылке>>>>>

С Уважением,

Администрация проекта learn-free.site «Учитесь бесплатно» 

ОПИСАНИЕ

Освойте основные операции с файловой системой HDFS. Вы узнаете о среде для работы с большими данными – Apache Hadoop, а также научитесь работать с основополагающим компонентом фреймворка Apache Hadoop: HDFS.

Hadoop Distributed File System (HDFS) – распределённая файловая система, позволяющая хранить информацию практически неограниченного объёма. HDFS является неотъемлемой частью экосистемы Hadoop, куда входят фреймворки Spark, Hive, HBase и другие. Hadoop Distributed File System активно используют и другие направления Big Data, включая подготовку и анализ данных, а также аналитические системы на базе алгоритмов машинного обучения (Machine Learning).

Кому будет полезен интенсив:

  • Тем, кто начинает погружаться в сферу BigData
  • Тем, кто хочет глубже узнать внутреннее устройство распределенной файловой системы HDFS

После интенсива вы будете:

  1. понимать, зачем нужны большие данные (Big Data)
  2. разбираться, как устроена HDFS, ее составляющие
  3. знать преимущества и недостатки HDFS
  4. уметь записывать и читать данные в/из HDFS
  5. исследовать файловую систему HDFS с точки зрения системного администратора

Программа курса:

  • Зачем нужны большие данные
  • Распределённые файловые системы. Файловые системы HDFS. Их составляющие. Их достоинства, недостатки и сфера применения
  • Чтение и запись в HDFS
  • HDFS APIs: Web API, shell, Python API.
  • Форма закрепления знаний – тестирование и выполнение домашней работы.

Преподаватель Олег Ивченко

Разработчик системы HJudge – системы автоматизированного тестирования Hadoop-приложений, системный администратор инфраструктуры больших данных в группе Яндекс-CERN, преподаватель курсов по обработке больших данных в МФТИ, ВШЭ, ШАД, Harbour.Space. Организатор Hadoop Admins RU Meetup.

ВНИМАНИЕ!

СКАЧИВАЙТЕ КУРС СРАЗУ

Материал может быть удален в любой момент по запросу правообладателя!

Добавить комментарий