Kubernete 1.17.2 の環境構築メモ
自宅のiMac上にKubernetesの環境を作ってみたときの覚え書き。 使用した環境 iMac (Retina 5K, 27-inch, 2017) macOS Catalina 10.15.2 (16GB) VMWa … “Kubernete 1.17.2 の環境構築メモ”の続きを読む
カテゴリー: Linux
LEDネームバッジの制御方法
趣味TECH祭2019（夏）にて、LEDネームバッジを購入したので、取り扱い方法についてメモを残してみたり。 同類品が幾つか存在している様なのですが、自分はこちらのプログラムで制御出来ました。 Led-Bedge-44& … “LEDネームバッジの制御方法”の続きを読む
Ubuntu 16.04 LTSにCSPをインストール
ちょいとwineに関する話題が出たのでUbuntu 16.04 LTS上にCLIP STUDIO PAINTをインストールに挑戦してみました。 wine上での動作は対象外・ライセンスの許可範囲外となります。利用に関しては … “Ubuntu 16.04 LTSにCSPをインストール”の続きを読む
Cephをセットアップしてみる
Ceph 名前しか知らなかったのですが、まずはインストールしてみる事にしました。 . 導入方法について（環境はVMWare Fusion上のUbuntu 16.04 LTEを使用） 簡単なインストール方法はCephのドキ … “Cephをセットアップしてみる”の続きを読む
分散ファイルシステム
思うところあって、分散ファイルシステムについて色々調べて見ました。 色々と言いながら、調べたのは以下の三種類だけですけど… GlusterFS Ceph Lustre GlusterFS マスターサーバーが不要な分散ファ … “分散ファイルシステム”の続きを読む
Apache Spark 2.1.0(7)
ファイル監視によるSpark Stream。 ストリーム生成側 以下の例では#NANOHAが含まれるツイートを取集。 （#NANOHAでツイートが拾えない場合は適当なキーワードに変更してください。） ファイルを使用するス … “Apache Spark 2.1.0(7)”の続きを読む
Apache Spark 2.1.0(6)
Spark Streaming処理のデモ ストリーム生成側 # -*- coding: utf-8 -*- import random import socket import time def main(): sock … “Apache Spark 2.1.0(6)”の続きを読む
Apache Spark 2.1.0(5)
やる気の感じられないサンプルなのは、動作メモのつもりで作成しているため… recommendation # -*- coding: utf-8 -*- import pyspark from pyspark.ml imp … “Apache Spark 2.1.0(5)”の続きを読む
Apache Spark 2.1.0(4)
SparkはCluster環境でこそ本領を発揮するのですが、そういった環境はなかなか用意するのが手間なので、試しにDocker化してみました。 雰囲気ぐらいは確認出来るかと… Dockerfileはsingulariti … “Apache Spark 2.1.0(4)”の続きを読む
Apache Spark 2.1.0(3)
spark-submit時にスクリプトにコマンドライン引数を渡す方法。 sys.argvに普通に入っていますので、argparseモジュールを使用したり出来ます。 # -*- coding: utf-8 -*- impo … “Apache Spark 2.1.0(3)”の続きを読む
Apache Spark 2.1.0(2)
前回のデータを使用して、もう少しそれっぽい物を。 # -*- coding: utf-8 -*- import pyspark import json def main(): conf = pyspark.SparkCo … “Apache Spark 2.1.0(2)”の続きを読む
SparkからのAmazon S3アクセス
s3へのアクセス方法にはs3, s3a, s3nの三種類が存在していて、それぞれ s3 … s3をブロックデバイスとしてアクセス。 s3a … Amazon Web Servicesのライブラリ経 … “SparkからのAmazon S3アクセス”の続きを読む
NFSの設定方法
Apache Sparkをクラスタモードで使用する際に、お手軽な方法なので。 内容はubuntuのサーバーガイドほぼそのまま。 サーバー側の設定 $ sudo apt-get install nfs-kernel-ser … “NFSの設定方法”の続きを読む
Apache Spark 2.1.0(1)
今更ながらSparkを使い始めてみました。 環境はubuntu 16.04.2 LTS, macOS Sierra 10.12.3を使用しています。 Sparkのインストール ダウンロードはウェブサイトからビルド済みイメ … “Apache Spark 2.1.0(1)”の続きを読む
画面解像度の追加方法
Ubuntu上でXを使用する際、目的の画面解像度が選択できない場合、以下を参考にして画面解像度を追加可能。 UbuntuTips/Hardware/HowToChangeMonitorResolution 解像度の確認方 … “画面解像度の追加方法”の続きを読む
Apache MesosをAzureに導入
Apache Mesosを試してみたくなり、Ubuntu 14.04にApache Mesos 1.0.0を導入してみました。 なお導入作業はMicrosoft Azure上で行っていますが、Ubuntu 14.04であ … “Apache MesosをAzureに導入”の続きを読む
VisualStudio Codeをおためし
Microsoft Build 2015(Day 1)で発表されたVisualStudio Codeを早速インストールしてみました。 現在プレビュー版として公開されているものとなります。 上の図は適当に間違えてエラー … “VisualStudio Codeをおためし”の続きを読む
CoreOSを使用したDocker環境の作成(2)
とりあえずDockerコマンドで覚えておくこととか。 docker pull リポジトリからイメージをダウンロードしてくる。 create コンテナの作成。 run コンテナの作成と実行。 runするときに-vを指定する … “CoreOSを使用したDocker環境の作成(2)”の続きを読む
CoreOSを使用したDocker環境の作成(1)
ISOからのインストール方法 ISOファイルを使用したCoreOSのインストールの流れは、ダウンロードしたISOファイルを使用してブートした後、インストール対象のブロックデバイスに対してインストールイメージを書き込むとい … “CoreOSを使用したDocker環境の作成(1)”の続きを読む