記載我的spark源碼閱讀火花

創(chuàng)新互聯(lián)建站主營(yíng)池州網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,app軟件開(kāi)發(fā),池州h5小程序設(shè)計(jì)搭建,池州網(wǎng)站營(yíng)銷推廣歡迎池州等地區(qū)企業(yè)咨詢

知識(shí)點(diǎn)：

1、seq:列表，適合存有序重復(fù)數(shù)據(jù)，進(jìn)行快速插入/刪除元素等場(chǎng)景,

Set是集合，適合存無(wú)序非重復(fù)數(shù)據(jù)，進(jìn)行快速查找海量元素等場(chǎng)景

memoryKeys = Seq(
  )

2、private 聲明變量為私有

private val hadoopConf = SparkHadoopUtil.get.newConfiguration(conf)

private[this] val value

private[spark]，聲明變量為私有，并且在包spark是可見(jiàn)的，這里的[spark],是一種保護(hù)的作用域。

這是Master的類聲明，同樣在master域里

private[master] class Master(

3、沒(méi)有括號(hào)的函數(shù)

下面是個(gè)函數(shù)調(diào)用

hellotheworld     //無(wú)參數(shù)不括號(hào)

4、可變參數(shù)的函數(shù)

(s:*)={
  s.foreach(x=>(x))
}

5、函數(shù)的奇葩定義：

(x:y:):=x+y          =(x:y:)=>x+y       (x:)(y:):=x+y        anonymous=(x:y:)=>x+y

6、import:可以在任何地方出現(xiàn)，作用范圍是直到包含該語(yǔ)句的塊末尾，好處是避免產(chǎn)生名稱沖突。

SparkConf(loadDefaults: Boolean) Cloneable Logging {

  SparkConf._

7、this：函數(shù)的末尾最后一句

setExecutorEnv(variables: Seq[(StringString)]): SparkConf = {
  ((kv) <- variables) {
    setExecutorEnv(kv)
  }
  }

該函數(shù)返回SparkConf類型的值

8、模式匹配之master配置類型

master match{
case "local" =>
case LOCAL_N_REGEX(threads) =>
case LOCAL_N_FAILURES_REGEX(threads, maxFailures) =>
case SPARK_REGEX(sparkUrl) =>
case LOCAL_CLUSTER_REGEX(numSlaves, coresPerSlave, memoryPerSlave) =>

case "yarn-standalone" | "yarn-cluster" =>

case "yarn-client" =>

case SIMR_REGEX(simrUrl) =>

case mesosUrl @ MESOS_REGEX(_) =>

可見(jiàn)有上述幾種配置類型

9、scala的Parallelize實(shí)現(xiàn)

第一種RDD生產(chǎn)方式，就是從本地的collection生成，可以看見(jiàn)生成的是ParallelCollectionRDD類型的

parallelize[T: ClassTag](
    seq: Seq[T]numSlices: Int = defaultParallelism): RDD[T] = withScope {
  assertNotStopped()
  ParallelCollectionRDD[T](seqnumSlicesMap[IntSeq[String]]())
}

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

名稱欄目：記載我的spark源碼閱讀火花-創(chuàng)新互聯(lián)
轉(zhuǎn)載注明：http://m.jcarcd.cn/article/hdice.html