Hadoop
 |
Hadoop の求人 |
|---|
大規模データの蓄積と分析を分散処理によって行うオープンソースのミドルウェア。Apacheのトッププロジェクトの一つとして、 Hortonworks社や米国Yahoo!社、Intel社、Microsof t社など、世界規模のコミュニティによって開発が続けられて、日本からもNTTやNTTデータが開発に貢献しています。
Google社が論文で公開したGoogle社内のGFS(Google File System)とGoogle MapReduceという基盤技術がベースとなっており、この論文をもとにDoug Cutting氏を中心としたメンバーがJavaで開発をしたことで生まれました。Hadoopという名称はDoug氏のお子さんのお気に入りの象のぬいぐるみの名前から付けられています。
Hadoopは大きく分けると「MapReduce」「HDFS」「YARN」で構成されています。MapReduceとは、Hadoopで処理するプログラミングモデルで、様々な処理をシンプルかつ柔軟に行うことができます。HDFSは、MapReduceで処理するデータを扱う分散ストレージで、複数のマシンを一つのストレージとして扱うことができ、大量のデータを高スループットに読み込むことができます。YARNは計算機リソースの管理を行う為のミドルウェアで、MapReduceを起点に他の様々な並列処理基盤を実行する使い方がメインとなっています。YARNはもともとHadoopのリソース管理汎用化する手段として開発されたもので、YARN以外にもTezやSpark、HBase、Storm、Pig、Oozie、Sqoopなど、様々なミドルウェア技術が生まれてきており、これからもその数は増えていくと予想されています。
該当11件
【企業名】株式会社ALBERT
| 年収 | 700万円〜 |
|---|---|
| 業務内容 | ■概要 同社もしくは顧客企業オフィスにて、分析業務全般を担当していただきます。 クライアントが保有するデータの理解や分析結果のレポーティング等も業務に含まれます。 また、分析プロジェクトのマネジメント業務も担当いただきます。 ■具体的には ・数理統計や機械学習... |
| 必須スキル | 【必須】 ・アドホックな分析プロジェクトの経験 （特定の業種依存ではなく複数業種に関して経験をお持ちであることが望ましい） ・複数のプロジェクトを同時に管理し進捗させることがで... |
【企業名】株式会社サイバーエージェント
| 年収 | 400万円〜 |
|---|---|
| 業務内容 | 新機能開発や、新規事業の開発を行います。 プロデューサーからの要件に基づき設計、 実装、テスト、運用まで、一連の開発業務をご担当頂きます。 ・配属先については応募者と相談の上、 アドテク/広告プロダクト部門の各プロジェクト （アドネットワーク、リワード広告、ア... |
| 必須スキル | 【必須】 ・開発実務経験2年以上 ・Scala/Java/PHP/Ruby いずれかの開発経験1年以上 【尚良】 ・Hadoopの利用経験 ・Redis等のKVS利用経験 ・広告業界の知識<... |
【企業名】株式会社サイバーエージェント
| 年収 | 400万円〜 |
|---|---|
| 業務内容 | 配属先については応募者と相談の上、 アドテク/広告プロダクト部門の各プロジェクト （アドネットワーク、リワード広告、Smalgo、Dynalystをはじめとする 新規プロダクトや主に広告プロダクトを扱うプロジェクト、 またはデータ解析のチーム）のいずれかとなります。 |
| 必須スキル | 【必須】 ・開発経験1年以上 ・業務データの分析経験1年以上 ・統計学、データマイニング、モデル構築の専門知識 ・業務データを用いた統計分析・機械学習・数理モデル構築などの業... |
【企業名】株式会社サイバーエージェント
| 年収 | 400万円〜 |
|---|---|
| 業務内容 | サイバーエージェント アドテクスタジオでは一緒に働ける仲間を募集中です。 アドテクスタジオは、サイバーエージェントグループの アドテクノロジー分野における各サービスの開発を行うエンジニアの横断組織です。 2013年10月1に日に設立し、現在では6つの子会社を含み、 約300名... |
| 必須スキル | 【必須】 ・Scalaによる実務開発経験1年以上または同等のスキル ・MySQLなどRDBMSを用いた開発経験 ・Gitを用いた複数人での開発経験 【尚良】 ・広告システムの構築... |
正社員
【企業名】株式会社ナビタイムジャパン
| 年収 | 300万円〜600万円 |
|---|---|
| 業務内容 | 「NAVITIME」「ドライブサポーター」「カーナビタイム」を はじめとした、各種ナビゲーションサービスの中で 実際に使用されている『経路探索エンジン』の開発を 担当していただきます。 新しい技術を導入したり、関連する論文を読み、 新しい理論を取り入れたりして、日々... |
| 必須スキル | 【必須】 ・C、C++いずれかでのプログラミング経験 ・Linux環境での開発経験 【尚良】 ・業務もしくは大学・大学院の研究で アルゴリズムの研究・開発に取り組まれ... |
【企業名】株式会社 ユーザベース
| 年収 | 400万円〜800万円 |
|---|---|
| 業務内容 | NewsPicksの設計からアプリ開発までを ご担当していただきます。 勤務時間も、服装も、使用するPCも自由です。 縛られない環境でパフォーマンスを発揮していただけます。 経済における意思決定を支えるプラットフォームとして、 NewsPicksのユーザー価値を高めるべく、主体... |
| 必須スキル | 【必須】 ・サーバーサイド開発の業務経験（言語、年数不問） ・自ら手を動かして開発を行いたい方 ・「世界一の経済メディアをつくる」というミッションに共感できる方 【... |
【企業名】NHN テコラス株式会社
| 年収 | 500万円〜700万円 |
|---|---|
| 業務内容 | グループ会社が展開する各事業(ゲーム、Webコミック、ECなど) が生み出す膨大なデータを蓄積し、 集計、分析、可視化に至るまでのBI業務全般に携わっていただきます。 膨大なデータから価値を見つけ出し、 事業の方向性や経営陣の意思決定をサポートする、 重要な根拠を提供... |
| 必須スキル | 【必須】 ・RDBMSの基本知識 ・Windows/Linux Server OSの基本知識 【尚良】 ・BI/DW/OLAP/ETL経験 ・Hadoop/IMPALA/Hive等、分散処理システムの構築、運用経験 |
【企業名】株式会社フルスピード
| 年収 | 300万円〜700万円 |
|---|---|
| 業務内容 | オンライン広告取引市場向けプラットフォーム（DSP/3PAS/DMP）Admatirx の開発に伴う、システム設計・開発行程管理・実際の開発業務、及びデータストア(Hadoop/Hive, HBase)周りの検証と導入、アプリケーションAPI 周りの設計・開発等から、ご経験が生かせる業務をお任せ致します。 ■具体的には ... |
| 必須スキル | 【必須】 ・Java での開発の経験がある方 ・半年程度以上の開発の行程管理スキル 【尚良】 ・広告配信系システム等の開発・運用経験 ・Hadoop/Hive, HBase を扱うス... |
【企業名】株式会社 プロデュース・オン・デマンド
| 年収 | 300万円〜500万円 |
|---|---|
| 業務内容 | ・ストリーミング配信サーバの運用管理 ・Webホスティングサーバの運用管理 ・Windows Mediaサーバ、Flash Mediaサーバによる 動画配信システムの構築・運用 ・大規模ストレージの運用 ・Linux によるWebホスティングサーバの構築・運用 ・DNS、MAIL、FTPサーバの構築・運用<... |
| 必須スキル | 【必須】 ・インターネット環境下のWindows/Linuxサーバに対し、 構築から運用までの一連の実務経験 ※動画サーバの構築・運用経験がある方を優遇いたします。 【尚良】 |
【企業名】ディップ株式会社
| 年収 | 300万円〜500万円 |
|---|---|
| 業務内容 | ・商用サイトのインフラ業務全般 CMでおなじみ「バイトル」をはじめとする、 同社商用サイトのインフラに関する業務全般を行います。 100万人以上が試用するサービスのインフラアーキテクチャ検討から、 提案、設計、実装、安定した運用までを担当していただきます。 ・アプ... |
| 必須スキル | 【必須】 ・Linux環境でのインフラ経験 （Linux環境でのWebサービスのインフラ経験、主にサーバエンジニアの経験） ・Apache、postgres、zabbix、memcached、Redis等のOSSを利用した経験 |
【企業名】株式会社テクノプロ（テクノプロ・エンジニアリング社）
| 年収 | 300万円〜700万円 |
|---|---|
| 業務内容 | ネットワーク、サーバなどのインフラ設計・構築・運用・保守 【具体的には】 ・仮想化アプライアンスの提案、設計、構築 ・VMwareを利用した仮想化環境の設計、構築 ・データベースの導入、設計、構築 ・ネットワーク／LAN・WAN構築 ・セキュリティ／セキュリ... |
| 必須スキル | ネットワーク設計・構築経験者／サーバ設計・構築経験者 ※未経験の方、歓迎 【具体的には】 ・ネットワーク/サーバ設計・構築・運用 ・ネットワーク/サーバ仮想化、ロードバラン... |
