水凪工房

Feed Rss

Archive for the ‘Linux’ Category

Ubuntu 16.04 LTSにCSPをインストール

08.15.2017, Ubuntu 16.04 LTSにCSPをインストール はコメントを受け付けていません。, Linux, by .

ちょいとwineに関する話題が出たのでUbuntu 16.04 LTS上にCLIP STUDIO PAINTをインストールに挑戦してみました。 wine上での動作は対象外・ライセンスの許可範囲外となります。利用に関しては … Learn more

Cephをセットアップしてみる

04.16.2017, Cephをセットアップしてみる はコメントを受け付けていません。, Linux, by .

Ceph 名前しか知らなかったのですが、まずはインストールしてみる事にしました。 . 導入方法について(環境はVMWare Fusion上のUbuntu 16.04 LTEを使用) 簡単なインストール方法はCephのドキ … Learn more

分散ファイルシステム

04.16.2017, 分散ファイルシステム はコメントを受け付けていません。, Linux, by .

思うところあって、分散ファイルシステムについて色々調べて見ました。 色々と言いながら、調べたのは以下の三種類だけですけど… GlusterFS Ceph Lustre GlusterFS マスターサーバーが不要な分散ファ … Learn more

Apache Spark 2.1.0(7)

03.11.2017, Apache Spark 2.1.0(7) はコメントを受け付けていません。, Linux, by .

ファイル監視によるSpark Stream。 ストリーム生成側 以下の例では#NANOHAが含まれるツイートを取集。 (#NANOHAでツイートが拾えない場合は適当なキーワードに変更してください。) ファイルを使用するス … Learn more

Apache Spark 2.1.0(6)

03.11.2017, Apache Spark 2.1.0(6) はコメントを受け付けていません。, Linux, by .

Spark Streaming処理のデモ ストリーム生成側

ランダムで「なのは」「フェイト」「はやて」の文字列を戻し続けるだけのサーバープログラム。 Ap … Learn more

Apache Spark 2.1.0(5)

03.11.2017, Apache Spark 2.1.0(5) はコメントを受け付けていません。, Linux, by .

やる気の感じられないサンプルなのは、動作メモのつもりで作成しているため… recommendation

naive beyes [crayon-5a303 … Learn more

Apache Spark 2.1.0(4)

03.06.2017, Apache Spark 2.1.0(4) はコメントを受け付けていません。, Linux, by .

SparkはCluster環境でこそ本領を発揮するのですが、そういった環境はなかなか用意するのが手間なので、試しにDocker化してみました。 雰囲気ぐらいは確認出来るかと… Dockerfileはsingulariti … Learn more

Apache Spark 2.1.0(3)

03.05.2017, Apache Spark 2.1.0(3) はコメントを受け付けていません。, Linux, by .

spark-submit時にスクリプトにコマンドライン引数を渡す方法。 sys.argvに普通に入っていますので、argparseモジュールを使用したり出来ます。 [crayon-5a30322d7dc962908109 … Learn more

Apache Spark 2.1.0(2)

03.05.2017, Apache Spark 2.1.0(2) はコメントを受け付けていません。, Linux, by .

前回のデータを使用して、もう少しそれっぽい物を。

やっている事自体は何も中身がないのですけど。 SQLの一つ下の階層で記述している気分を味わえます。

SparkからのAmazon S3アクセス

03.05.2017, SparkからのAmazon S3アクセス はコメントを受け付けていません。, Linux, by .

s3へのアクセス方法にはs3, s3a, s3nの三種類が存在していて、それぞれ s3 … s3をブロックデバイスとしてアクセス。 s3a … Amazon Web Servicesのライブラリ経 … Learn more