【1】選用DELL的intel x64架構(gòu)的PC服務(wù)器作為運(yùn)行Haddop的硬件節(jié)點(diǎn)，配置Xeon 2630v2 CPU、256G內(nèi)存、4塊磁盤(pán)、萬(wàn)兆網(wǎng)絡(luò)等組件。
【2】選擇DELL的MD3系列多功能高性能存儲(chǔ)產(chǎn)品作為本項(xiàng)目的數(shù)據(jù)存儲(chǔ)系統(tǒng)，可提供萬(wàn)兆iSCSI服務(wù)和SAS直連服務(wù)，可為計(jì)算節(jié)點(diǎn)提供IP-SAN或SAS連接的存儲(chǔ)服務(wù)。
【3】選擇CentOS 6.5為Hadoop運(yùn)行的基本OS平臺(tái)。此版本的穩(wěn)定性以及與Hadoop軟件的兼容性和已經(jīng)經(jīng)過(guò)正式測(cè)試和官方確認(rèn)。
【4】選擇目前發(fā)展最充分、功能最完整的Cloudera CDH5.0企業(yè)版作為本項(xiàng)目的HAdoop平臺(tái)軟件，提供商業(yè)版全功能License。由Cloudera原廠工程師完成CDH在硬件平臺(tái)上的部署和測(cè)試。
【5】數(shù)據(jù)預(yù)處理節(jié)點(diǎn)安裝Windows Server 2012數(shù)據(jù)中心版，并連接到存儲(chǔ)設(shè)備用于原始數(shù)據(jù)的預(yù)處理。還有另外若干個(gè)節(jié)點(diǎn)安裝分布式文件系統(tǒng)Lustre用于實(shí)現(xiàn)大吞吐量的文件并發(fā)訪問(wèn)服務(wù)。
【6】上述所有硬件節(jié)點(diǎn)使用高速LAN網(wǎng)絡(luò)實(shí)現(xiàn)互聯(lián)。節(jié)點(diǎn)的使用2條10Gb LAN連接到接入交換機(jī)，接入交換機(jī)使用2條40Gb LAN連接到骨干交換機(jī)。骨干交換機(jī)與現(xiàn)有網(wǎng)絡(luò)的核心相連接，供用戶(hù)登錄并使用該Hadoop集群系統(tǒng)。
