Other Software/Hadoop

概要 †

• Apache Software Foundation のトップ レベル プロジェクト

MapReduce †

• Job Tracker
  • 通常 HDFS の Name Node を兼ねる
  • ジョブを Task Tracker にディスパッチする
  • なるべく対象データをローカルに持つノードにディスパッチする
• Task Tracker
  • Data Node 上で稼働する

HDFS [Hadoop Distributed File System] †

• Hadoop 向けの分散ファイル システム
• データはブロック単位 (デフォルト 64MB) で複数ノードに分散配置される
• これを同時に読み込むことで I/O 性能を向上させる
• 各ブロックを複数ノードに重複して (デフォルトは三重) データ消失を防ぐ
• HDFS は Java で実装されており、MapReduce から独自 API でアクセスされる

• Name Node
  • ファイル、ブロック、ノードの情報を保持する
• Data Node
  • 実際にデータが保存される

Menu

+ Operating System
　- Linux
　- FreeBSD
　- Solaris
　- Windows
　- Macintosh
　- Virtualization
+ Middleware
　- High Availability
　- Web
　- Mail
　- Database
　- FileTransfer
　- Management
　- Other Software
　- Library
　- Tool
+ Application
+ Network
+ Storage
+ Cloud
+ Protocol
+ Program
+ Others

最新の10件

Advertisement

Counter

Today: 1
Yesterday: 0
Total: 2738

MenuEdit