У вас много данных? Переместите его в облако с помощью AWS Snowball

Перенос данных может быть медленным и трудоемким процессом. Даже по гигабитному каналу на перемещение огромных наборов данных могут уйти месяцы. AWS Snowball предоставляет физическое устройство, которое вы можете заполнить на месте и отправить обратно в AWS для импорта в S3.

Это почти коробка с жесткими дисками

Нередко можно увидеть гигантские наборы данных, поскольку успешные стартапы обычно собирают много данных. Хотя 100 ТБ данных могут быть не такими громоздкими для фактического хранения на ваших серверах, вы достигнете точки, когда у вас просто не будет вычислительной мощности, необходимой для фактической работы с таким большим набором данных. На данный момент перенос его в облако, в данном случае AWS S3, имеет много преимуществ, но на самом деле его получение становится отдельной логистической проблемой.

Интернет очень медленный по сравнению со скоростью, достижимой в частных сетях. В лучшем случае вы можете получить гигабитную скорость, но на практике вы вряд ли добьетесь этого — даже AWS Direct Connect достигает максимальной скорости 500 МБ/с. В любом случае, вы не хотели бы использовать все это соединение в течение нескольких месяцев, пока вы перемещаете свой набор данных. Между тем, скорость интранет-соединений обычно достигает от 10 до 40 гигабит при правильном оборудовании и современных кабелях, а скорость жестких дисков довольно высока, особенно в RAID-массивах или при параллельном чтении.

Итак, сумасшедшее решение AWS — загрузить данные на жесткий диск и отправить этот жесткий диск по почте в AWS. Время, необходимое для загрузки данных, их отправки по стране, получения Amazon, а также чтения и загрузки в S3, намного меньше, чем простое использование интернет-каналов (по крайней мере, для огромных наборов данных). AWS фактически предлагает это как услугу с 2009 года, когда вы можете отправить свои собственные жесткие диски для импорта. Однако связанные с этим логистические проблемы были далеко не идеальными.

Snowball — это следующая итерация этого сервиса. Коробка содержит несколько жестких дисков емкостью 50 ТБ и 80 ТБ. На передней части коробки вы найдете дисплей Kindle e-Ink, который служит этикеткой для доставки и интерфейсом для устройства. На задней панели вы найдете вилку питания, а также RJ45 и оптический порт для подключения к сети. Все это содержится в прочном пластиковом контейнере, который действует как собственная транспортировочная коробка:

Snowball может достигать максимальной скорости передачи данных от 250 до 400 МБ/с, что эквивалентно 2,5-3-гигабитному соединению. Вы также можете быть ограничены скоростью чтения из вашей собственной сети, но вы можете запускать несколько задач импорта параллельно, поэтому вы должны быть в состоянии насытить ее. Вы также можете заказать несколько устройств Snowball для передачи наборов данных размером более 50 ТБ.

Snowball стоит 200 долларов за передачу или 250 долларов за версию на 80 ТБ. Это на самом деле очень дешево; по сравнению с передачей этих данных в S3 по интернет-каналам (за что вы облагаетесь налогом), это составляет около одной пятой стоимости, и по сравнению с покупкой и отправкой ваших собственных жестких дисков вам будет трудно найти 50 ТБ хранилище за 200 долларов (столько же может стоить один диск на 8 ТБ).

Это позиционирует Snowball как разумный вариант передачи данных для компаний, которые хотят переключиться на облако и принести с собой свой набор данных. Имейте в виду, однако, что основными затратами будет не сам Snowball, а, в первую очередь, стоимость хранения этих данных в облаке. Snowball, полный данных, будет стоить 1150 долларов в месяц на стандартном уровне S3, но его можно снизить примерно до 750 долларов с помощью Intelligent Tiering. Если к вашим данным обращаются не так часто, вы можете использовать S3 Glacier, что может снизить затраты до 200 долларов в месяц или всего 50 долларов в месяц с Glacier Deep Archive. В любом случае стоимость Snowball незначительна, если вы серьезно рассматриваете возможность переноса данных в облако.

Как использовать снежок

Что касается фактического использования устройства, как только оно прибудет, вы просто подключите его к источнику питания и подключите к компьютеру в своей сети с помощью разъемов RJ45, SFP+ Copper или SFP+ Optical. Вы должны убедиться, что рабочая станция, к которой вы ее подключаете, достаточно мощная, поскольку обычно она является узким местом. Также было бы идеально, если бы эта рабочая станция была подключена напрямую к вашему источнику данных, и ничто другое не засоряло бы сеть.

Используя дисплей на передней панели, вы можете назначить Snowball статический IP-адрес:

Как только сеть подключена, вы можете начать передачу. Вы захотите использовать адаптер Snowball S3, программный пакет, который действует как конечная точка S3 и использует тот же API, который вы использовали бы для переноса в облако. Также есть обычный клиент, который позволит вам просто перетаскивать файлы на Snowball, но он намного медленнее, чем адаптер S3.

После загрузки вы отправляете его обратно в AWS, и он загружается в S3 для использования с остальной частью экосистемы AWS.

Вы также можете заказать целый грузовик из них

Если вы относитесь к тому типу людей, которые читают это и задаются вопросом, как вы собираетесь подключить сотни Snowball к своему центру обработки данных для передачи десятков петабайт, у AWS есть услуга для вас. Доведя концепцию Snowball до крайности, какой-то сумасшедший инженер создал AWS Snowmobile, и это именно то, что вы думаете — грузовик с прицепом, тянущий гигантский жесткий диск, хранящийся в транспортном контейнере длиной 45 футов. Он может перемещать 100 петабайт данных, что эквивалентно примерно 1250 Snowball.

Естественно, это довольно дорого. С вас взимается 0,005 доллара США за ГБ в месяц, что является хорошим способом сказать, что вы платите 5000 долларов США за петабайт за каждый месяц, который занимает передача. Но в таком масштабе это действительно самое дешевое решение — сетевому решению потребуются десятилетия для передачи сотен петабайт в облако, что делает это практически невозможным, даже если не учитывать миллионы долларов инвестиций и затрат на передачу. Работа AWS Snowmobile будет стоить не более нескольких сотен тысяч, если вы заполните ее полностью, и будет выполнена через несколько недель.