ちょいとwineに関する話題が出たのでUbuntu 16.04 LTS上にCLIP STUDIO PAINTをインストールに挑戦してみました。 wine上での動作は対象外・ライセンスの許可範囲外となります。利用に関しては … Learn more
Ceph 名前しか知らなかったのですが、まずはインストールしてみる事にしました。 . 導入方法について（環境はVMWare Fusion上のUbuntu 16.04 LTEを使用） 簡単なインストール方法はCephのドキ … Learn more
思うところあって、分散ファイルシステムについて色々調べて見ました。 色々と言いながら、調べたのは以下の三種類だけですけど… GlusterFS Ceph Lustre GlusterFS マスターサーバーが不要な分散ファ … Learn more
ファイル監視によるSpark Stream。 ストリーム生成側 以下の例では#NANOHAが含まれるツイートを取集。 （#NANOHAでツイートが拾えない場合は適当なキーワードに変更してください。） ファイルを使用するス … Learn more
Spark Streaming処理のデモ ストリーム生成側
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 |
# -*- coding: utf-8 -*- import random import socket import time def main(): socketServer = socket.socket(socket.AF_INET, socket.SOCK_STREAM) socketServer.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1) socketServer.bind(("127.0.0.1", 8000)) socketServer.listen(1) sockRemote, addrRemote = socketServer.accept() print "connection", addrRemote listName = ["なのは", "フェイト", "はやて"] while True: name = listName[random.randint(0, 2)] sockRemote.send(name + "\n") time.sleep(1) if __name__ == "__main__": main() |
ランダムで「なのは」「フェイト」「はやて」の文字列を戻し続けるだけのサーバープログラム。 Ap … Learn more
やる気の感じられないサンプルなのは、動作メモのつもりで作成しているため… recommendation
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 |
# -*- coding: utf-8 -*- import pyspark from pyspark.ml import recommendation from pyspark.ml import evaluation def main(): conf = pyspark.SparkConf() conf.setAppName("nanohain sample3") sc = pyspark.SparkContext(conf=conf) sc.setLogLevel("ERROR") scSQL = pyspark.sql.SQLContext(sc) listData = [ {"user": 1, "item": 1, "rating": 90.5}, {"user": 1, "item": 2, "rating": 90.5}, {"user": 1, "item": 3, "rating": 90.5}, {"user": 2, "item": 1, "rating": 50.0}, {"user": 2, "item": 2, "rating": 50.0}, {"user": 2, "item": 3, "rating": 50.0}, {"user": 3, "item": 1, "rating": 80.0}, {"user": 3, "item": 2, "rating": 100.0}, {"user": 3, "item": 3, "rating": 100.0} ] dfData = scSQL.createDataFrame(listData) # 学習用と評価用に分類する際は以下の様に分離出来ます。 # dfLearn, dfCheck = dfData.randomSplit([0.8, 0.2]) mlAls = recommendation.ALS( maxIter=5, regParam=0.01, implicitPrefs=False, userCol="user", itemCol="item", ratingCol="rating" ) model = mlAls.fit(dfData) predictions = model.transform(dfData) for r in predictions.collect(): print r evaluator = evaluation.RegressionEvaluator( metricName="rmse", labelCol="rating", predictionCol="prediction" ) rmse = evaluator.evaluate(predictions) print "rmse = ", rmse if __name__ =="__main__": main() |
naive beyes [crayon-5b2e1 … Learn more
SparkはCluster環境でこそ本領を発揮するのですが、そういった環境はなかなか用意するのが手間なので、試しにDocker化してみました。 雰囲気ぐらいは確認出来るかと… Dockerfileはsingulariti … Learn more
spark-submit時にスクリプトにコマンドライン引数を渡す方法。 sys.argvに普通に入っていますので、argparseモジュールを使用したり出来ます。 [crayon-5b2e1b14020408284285 … Learn more
前回のデータを使用して、もう少しそれっぽい物を。
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 |
# -*- coding: utf-8 -*- import pyspark import json def main(): conf = pyspark.SparkConf() conf.setAppName("nanohain sample2") sc = pyspark.SparkContext(conf=conf) sc.setLogLevel("ERROR") scSQL = pyspark.sql.SQLContext(sc) rawCards = sc.textFile("file:///tmp/nanohain_cards.json") rddCards = rawCards.map(lambda r: json.loads(r)) dfCards = scSQL.createDataFrame(rddCards) dfCards.cache() dfCards_cost = dfCards.groupBy(["charaname", "charagroup"]).agg( pyspark.sql.functions.min("cost").alias("min_cost"), pyspark.sql.functions.max("cost").alias("max_cost") ) print dfCards_cost dfCards_rank_win = pyspark.sql.Window.partitionBy("charaname", "charagroup").orderBy(pyspark.sql.functions.desc("idx")) dfCards_rank = dfCards.select( dfCards.charagroup, dfCards.charaname, dfCards.dress.alias("rank_dress"), pyspark.sql.functions.rank().over(dfCards_rank_win).alias("idx_order") ).filter("idx_order = 1") print dfCards_rank dfJoin = dfCards_cost.join( dfCards_rank, (dfCards_cost.charaname == dfCards_rank.charaname) & (dfCards_cost.charagroup == dfCards_rank.charagroup), "left" ).select( dfCards_cost.charagroup, dfCards_cost.charaname, dfCards_cost.min_cost, dfCards_cost.max_cost, dfCards_rank.rank_dress ).orderBy(dfCards_cost.charagroup, dfCards_cost.charaname) print dfJoin for card in dfJoin.collect(): print card.charagroup.encode("utf-8"), card.charaname.encode("utf-8"), card.min_cost, card.max_cost, card.rank_dress.encode("utf-8") dfJoin.write.csv( "file:///tmp/dfJoin.csv", "overwrite" ) if __name__ == "__main__": main() |
やっている事自体は何も中身がないのですけど。 SQLの一つ下の階層で記述している気分を味わえます。
s3へのアクセス方法にはs3, s3a, s3nの三種類が存在していて、それぞれ s3 … s3をブロックデバイスとしてアクセス。 s3a … Amazon Web Servicesのライブラリ経 … Learn more