storm-core maven

stormcore.jar是一款綜合編程類應(yīng)用程序，提供Apache Kafka集成改進(jìn)、Storm SQL數(shù)據(jù)庫、PMML（預(yù)測模型標(biāo)記語言）支持、HDFS噴口等功能，是用戶實(shí)現(xiàn)匯編語言的有效助手，綠色資源網(wǎng)歡迎大家下載官方最新版！

storm core maven官網(wǎng)介紹

storm-core1.1.0此版本是Apache Storm發(fā)展的重大里程碑，包括大量新功能，可用性和性能改進(jìn)，其中一些在下面突出顯示。

Storm的SQL支持包括以下功能：

通過ISqlTridentDataSource接口擴(kuò)展附加數(shù)據(jù)源

從/到外部來源，包括Apache Kafka，HDFS，MongoDB和Redis

CSV，TSV和Avro輸入/輸出格式

生成組件的用戶定義的平行

用戶定義函數(shù)（UDF）

元組過濾

預(yù)測

storm core.jar拓?fù)洳渴鹪鰪?qiáng)功能

在以前版本的Storm中，通常需要將所有拓?fù)湟蕾囮P(guān)系包含在陰影的“uber jar”中，或者通過使其在Storm的類路徑上可用。在Storm 1.1.0中，該storm jar命令現(xiàn)在包括在拓?fù)涮峤黄陂g上傳附加依賴項(xiàng)的選項(xiàng)。該--jars命令行選項(xiàng)允許用戶指定本地的jar文件上傳?；蛘撸搒torm jar命令提供了--artifacts通過其Maven坐標(biāo)來指定其他jar文件依賴關(guān)系的選項(xiàng)。最后，對(duì)于Maven Central之外的Maven工件，該--artifactRepository選項(xiàng)允許用戶指定附加存儲(chǔ)庫以進(jìn)行依賴性解析。

資源意識(shí)調(diào)度（RAS）改進(jìn)

在Storm 1.0中引入的資源感知調(diào)度程序添加了一個(gè)考慮了集群中可用的內(nèi)存（堆和堆）和CPU資源的調(diào)度程序?qū)崿F(xiàn)。在風(fēng)暴1.1.0中，RAS算法進(jìn)行了大修，大大提高了集群資源利用率，并將機(jī)架知名度引入了調(diào)度策略。

有關(guān)RAS新功能的更多信息，請(qǐng)參見RAS文檔和引入新的機(jī)架感知算法的JIRA故障單。

外部組件移動(dòng)到Maven Central

大多數(shù)外部組件現(xiàn)在僅在Maven Central中托管。外部組件目錄將包含README.md文件，但不包含jar文件。我們鼓勵(lì)用戶利用Maven風(fēng)格依賴解析（Maven，Gradle等）構(gòu)建系統(tǒng)來構(gòu)建拓?fù)鋔ar，并避免手動(dòng)構(gòu)建拓?fù)洹?/p>

這些組件的Maven坐標(biāo)可以如下確定：

組ID：org.apache.storm Artifact ID：組件目錄名稱 版本：1.1.0

二進(jìn)制分配的重要變化

為了最小化二進(jìn)制分發(fā)的文件大小，不再包含外部組件（即“連接器”）二進(jìn)制文件和已編譯的示例。示例僅包含在源代碼中，但可以使用Maven mvn install命令輕松編譯。

HDFS噴口

Storm的HDFS集成現(xiàn)在包括一個(gè)從HDFS文件系統(tǒng)連續(xù)流式傳輸數(shù)據(jù)的噴口。Storm的HDFS端口監(jiān)視新文件的可配置目錄，并將數(shù)據(jù)饋入拓?fù)洹．?dāng)spout完成處理文件時(shí)，它將被移動(dòng)到已配置的歸檔目錄。如果文件已損壞或以其他方式不可處理，相應(yīng)的文件將被移動(dòng)到特定目錄。通過一個(gè)確保每個(gè)文件由單個(gè)噴口實(shí)例“擁有”的鎖定機(jī)制可以實(shí)現(xiàn)噴口的并行性。HDFS端口支持連接到使用Kerberos身份驗(yàn)證保護(hù)的HDFS實(shí)例。