R และ RHadoop (rhdfs / rmr2 / rhbase / RHive) บน Cloudera Hadoop CDH

R Rhadoop Cloudera Hadoop Cdh



R และ RHadoop (rhdfs / rmr2 / rhbase / RHive) บน Cloudera Hadoop CDH

โอนจาก: http://www.geedoo.info/installed-on-the-cloudera-hadoop-cdh-r-and-rhadoop-rhdfs-rmr2-rhbase-rhive.html



คำนำ: RHadoop เป็นโครงการโอเพ่นซอร์สที่ริเริ่มโดย Revolution Analytics ซึ่งรวมภาษาทางสถิติ R เข้ากับ Hadoop ปัจจุบันโครงการมีแพ็คเกจ R สามแพ็คเกจ rmr สำหรับรองรับแอปพลิเคชัน MapReduce ด้วย R, rhdfs สำหรับการเข้าถึงภาษา R ไปยัง HDFS และ rhbase สำหรับการเข้าถึงภาษา R ไปยัง HBASE



ขั้นแรกระบบและเวอร์ชันซอฟต์แวร์ที่จำเป็น

ระบบปฏิบัติการเซิร์ฟเวอร์: CentOS 6.3



เวอร์ชันภาษา R: R-2.15.3 (ก่อนหน้านี้ใช้ R-3 เวอร์ชันล่าสุดพบว่าเวอร์ชันใหม่มีปัญหาความเข้ากันไม่ได้หลายประการดังนั้นฉันจึงเลือกเวอร์ชันล่าสุดของ R-2)

ดาวน์โหลดที่อยู่: http://ftp.ctex.org/mirrors/CRAN/src/base/R-2/R-2.15.3.tar.gz

Cloudera Hadoop รุ่น CDH: 4.4.0.0



เวอร์ชัน JDK: 1.6.0_31

สามารถติดตั้ง CDH และ JDK โดยใช้แพ็คเกจการติดตั้งฟรีของ Cloudera Manager cloudera-manager-installer.bin สำหรับรายละเอียดโปรดดูการติดตั้ง CDH

ดาวน์โหลดที่อยู่: https://ccp.cloudera.com/display/SUPPORT/Cloudera+Manager+Free+Edition+ ดาวน์โหลด

rJava (java สามารถเรียก R สามารถติดตั้งโดยใช้ CRAN) เวอร์ชัน: rJava_0.9-5

ดาวน์โหลดที่อยู่: http://www.rforge.net/src/contrib/rJava_0.9-5.tar.gz

เวอร์ชัน RHadoop เวอร์ชันล่าสุดอย่างเป็นทางการที่อยู่โครงการ (https://github.com/RevolutionAnalytics) รวมถึงโครงการดังต่อไปนี้:

  • rmr-2.2.2
  • rhdfs-1.0.6
  • rhbase-1.2.0

ที่อยู่ดาวน์โหลด: https://github.com/RevolutionAnalytics/RHadoop/wiki/Downloads

เอกสารประกอบ: https://github.com/RevolutionAnalytics/RHadoop/wiki

ประการที่สองพึ่งพาการติดตั้ง (แพ็คเกจภาษา R แพ็คเกจ rJava)

ก่อนการติดตั้งคุณต้องติดตั้งแพ็กเกจภาษา R และแพ็กเกจ rJava ทีละโฮสต์บนแต่ละโฮสต์ของคลัสเตอร์จากนั้นติดตั้ง Rhadoop ขั้นตอนการติดตั้งเฉพาะมีดังต่อไปนี้:

1 ติดตั้งแพ็คเกจภาษา R

ก่อนคอมไพล์ R คุณต้องติดตั้งโปรแกรมต่อไปนี้ผ่าน yum:

# yum ติดตั้ง gcc-gfortran

มิฉะนั้นให้รายงานข้อผิดพลาด 'กำหนดค่า: ข้อผิดพลาด: ไม่พบคอมไพเลอร์ F77'

# yum ติดตั้ง gcc gcc-c ++

มิฉะนั้นข้อผิดพลาด 'config: error: C ++ preprocessor' / lib / cpp 'จะล้มเหลวในการตรวจสอบความถูกต้อง'

# yum ติดตั้ง readline-devel

มิฉะนั้นข้อผิดพลาด '-with-readline = yes (ค่าเริ่มต้น) และส่วนหัว / libs จะไม่พร้อมใช้งาน'

# yum ติดตั้ง libXt-devel

มิฉะนั้นข้อผิดพลาด 'config: error: –with-x = yes (default) และ X11 headers / libs are not available'

จากนั้นดาวน์โหลดซอร์สโค้ดและคอมไพล์

# wget http://cran.rstudio.com/src/base/R-2/R-2.15.3.tar.gz

# tar -zxvf R-2.15.3.tar.gz

# cd R-2.15.3

# ./configure –prefix = / usr –disable-nls –enable-R-shlib / ** (สองตัวเลือกหลัง –disable-nls –enable-R-shlib เตรียมไว้สำหรับการเมาท์ของ RHive หากไม่ได้ติดตั้ง RHive บันทึก) * /

# ทำ

# ทำการติดตั้ง

http://soledede.com/

สัญญาณไมโครส่วนบุคคล: scccdgf

หมายเลขสาธารณะ WeChat: