PiFlow(大數(shù)據(jù)流水線系統(tǒng)) v0.15

PiFlow是一個(gè)擴(kuò)展性強(qiáng)，性能優(yōu)越，簡單易用的大數(shù)據(jù)流水線系統(tǒng)，提供了100+的數(shù)據(jù)處理組件，包括Hadoop 、Spark、MLlib、Hive、Solr、Redis、MemCache、ElasticSearch、JDBC、MongoDB、HTTP、FTP、XML、CSV、JSON等，歡迎下載使用！

軟件特色

可視化配置流水線

監(jiān)控流水線

查看流水線日志

檢查點(diǎn)功能

支持自定義開發(fā)數(shù)據(jù)處理組件

基于分布式計(jì)算引擎Spark開發(fā)

集成了微生物領(lǐng)域的相關(guān)算法

使用方法

解壓piflow-server-v0.9.tar.gz:

tar -zxvf piflow-server-v0.9.tar.gz

編輯配置文件config.properties

運(yùn)行、停止、重啟PiFlow Server

start.sh、stop.sh、 restart.sh、 status.sh

測試 PiFlow Server

設(shè)置環(huán)境變量 PIFLOW_HOME

vim /etc/profile

export PIFLOW_HOME=/yourPiflowPath/bin

export PATH=PATH:PIFLOW_HOME/bin

運(yùn)行如下命令

piflow flow start example/mockDataFlow.json

piflow flow stop appID

piflow flow info appID

piflow flow log appID

piflow flowGroup start example/mockDataGroup.json

piflow flowGroup stop groupId

piflow flowGroup info groupId

如何配置

config.properties

#spark and yarn config

spark.master=yarn

spark.deploy.mode=cluster

#hdfs default file system

fs.defaultFS=hdfs://10.0.86.191:9000

#yarn resourcemanager.hostname

yarn.resourcemanager.hostname=10.0.86.191

#if you want to use hive, set hive metastore uris

#hive.metastore.uris=thrift://10.0.88.71:9083

#show data in log, set 0 if you do not want to show data in logs

data.show=10

#server port

server.port=8002

#h2db port

h2.port=50002

軟件截圖

查看安裝過程