水凪工房

Feed Rss

Posts Tagged ‘Apache Spark’

Apache Spark 2.1.0(7)

03.11.2017, Apache Spark 2.1.0(7) はコメントを受け付けていません。, Linux, by .

ファイル監視によるSpark Stream。 ストリーム生成側 以下の例では#NANOHAが含まれるツイートを取集。 (#NANOHAでツイートが拾えない場合は適当なキーワードに変更してください。) ファイルを使用するス … Learn more

Apache Spark 2.1.0(6)

03.11.2017, Apache Spark 2.1.0(6) はコメントを受け付けていません。, Linux, by .

Spark Streaming処理のデモ ストリーム生成側

ランダムで「なのは」「フェイト」「はやて」の文字列を戻し続けるだけのサーバープログラム。 Ap … Learn more

Apache Spark 2.1.0(5)

03.11.2017, Apache Spark 2.1.0(5) はコメントを受け付けていません。, Linux, by .

やる気の感じられないサンプルなのは、動作メモのつもりで作成しているため… recommendation

naive beyes [crayon-5a303 … Learn more

Apache Spark 2.1.0(4)

03.06.2017, Apache Spark 2.1.0(4) はコメントを受け付けていません。, Linux, by .

SparkはCluster環境でこそ本領を発揮するのですが、そういった環境はなかなか用意するのが手間なので、試しにDocker化してみました。 雰囲気ぐらいは確認出来るかと… Dockerfileはsingulariti … Learn more

Apache Spark 2.1.0(3)

03.05.2017, Apache Spark 2.1.0(3) はコメントを受け付けていません。, Linux, by .

spark-submit時にスクリプトにコマンドライン引数を渡す方法。 sys.argvに普通に入っていますので、argparseモジュールを使用したり出来ます。 [crayon-5a30341d8e0b44899537 … Learn more

Apache Spark 2.1.0(2)

03.05.2017, Apache Spark 2.1.0(2) はコメントを受け付けていません。, Linux, by .

前回のデータを使用して、もう少しそれっぽい物を。

やっている事自体は何も中身がないのですけど。 SQLの一つ下の階層で記述している気分を味わえます。

SparkからのAmazon S3アクセス

03.05.2017, SparkからのAmazon S3アクセス はコメントを受け付けていません。, Linux, by .

s3へのアクセス方法にはs3, s3a, s3nの三種類が存在していて、それぞれ s3 … s3をブロックデバイスとしてアクセス。 s3a … Amazon Web Servicesのライブラリ経 … Learn more

Apache Spark 2.1.0(1)

03.05.2017, Apache Spark 2.1.0(1) はコメントを受け付けていません。, Linux, by .

今更ながらSparkを使い始めてみました。 環境はubuntu 16.04.2 LTS, macOS Sierra 10.12.3を使用しています。 Sparkのインストール ダウンロードはウェブサイトからビルド済みイメ … Learn more