NNC Utilsで指定可能なハッシュ方法の説明を追記しておきます。 Hash方法 Average hash 画像を縮小した後に全画素の平均値を取得します。縮小画像の画素が求めた平均値よりも明るい(1)か暗い(0)かを元 … Learn more
Autoencoder ニューラルネットワークは画像を認識させる際に、元情報よりも低次元で表現するようにネットワークを構成することが出来ます。 そのような低次元で表現された空間には、学習に使用した情報の要素が詰まっている … Learn more
現在使用しているAzure環境にnnablaをインストールして、ウェブアプリを作成してみました。 nnablaはSONY Neural Network Consoleでも使用されているもので、比較的簡単にニューラルネット … Learn more
Neural Network Libraryで遊んでみる
01.30.2018, Neural Network Libraryで遊んでみる はコメントを受け付けていません。, ソフトウェア, by 水凪.SONYのNeural Network Libraryを使ってみてのメモとか。 NNLで画像を読み込みたい場合 モデルに画像を読み込ませるには、nnabla.utils.data_source_loaderモジュールで読 … Learn more
使用する機械はあまりなさそうでうけど、ISO-2022-JP-MS(JIS)からCP932(SHIFT-JIS)へ変換するコードを、以下のサイトに掲載されているプログラムを移植してみました。 http://www.geo … Learn more
Neural Network Consoleでキャラ判定
01.27.2018, Neural Network Consoleでキャラ判定 はコメントを受け付けていません。, ソフトウェア, by 水凪.SONYが公開しているNeural Network Console を使用して、キャラクター判定をさせてみました。 NNCはWindows用なのですが、学習させたモデルの利用はMac（Anaconda + Python … Learn more
データベースに文書を保存するまでが出来たので、やっと本題の類似度判定を。 データベースから文書を取り出して学習と判定を行う
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 |
# -*- coding: utf-8 -*- # ------------------------------------------------------------------ import(s) import sys import os import sqlite3 import gensim.models.doc2vec import gensim.models.doc2vec # ------------------------------------------------------------------- const(s) # ------------------------------------------------------------------- class(s) # ---------------------------------------------------------------- function(s) def main(): list_document = [] o_conn = sqlite3.connect("dccol.db") o_cursor = o_conn.cursor() o_cursor.execute( """ SELECT id_doc , word_pos , word_surface , word_feature FROM doc_collection WHERE LENGTH(word_surface) > 1 AND word_feature = '名詞' ORDER BY id_doc, word_pos """ ) dict_document = {} for r in o_cursor.fetchall(): id_doc = r[0] word_pos = r[1] word_surface = r[2] word_feature = r[3] if id_doc not in dict_document: dict_document[id_doc] = [] dict_document[id_doc].append(word_surface.encode("utf-8")) list_tagged_document = [] for id_doc, list_word in dict_document.items(): with open(id_doc + ".wakati", "w") as h_writer: h_writer.write(" ".join(list_word)) o_doc = gensim.models.doc2vec.TaggedDocument( words=list_word, tags=[id_doc] ) list_tagged_document.append(o_doc) dvec_model = gensim.models.doc2vec.Doc2Vec( documents=list_tagged_document, min_count=1 ) list_word = ["ヴィヴィオ", "アインハルト","コロナ","リオ"] for similar_word in list_word: print u"指定した単語に関連するもの", similar_word.decode("utf-8") for r in dvec_model.wv.most_similar(positive=[similar_word]): print "\t", r[0].decode("utf-8"), r[1] print similar_doc = os.path.join("doc_source", "doc1.txt") print u"指定した文書に近いもの", similar_doc for r in dvec_model.docvecs.most_similar(positive=[similar_doc]): print "\t", r[0], r[1] print if __name__ == "__main__": main() # [EOF] |
やっていることは、データベース … Learn more
まずはjanomeを使用して形態素解析を行います。 カスタム辞書を指定していますが、指定しなくても動作します。 janomeによる形態素解析
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 |
# -*- coding: utf-8 -*- # http://www.mizunagi-works.com # ------------------------------------------------------------------ import(s) import sys import os import janome.tokenizer # ------------------------------------------------------------------- const(s) DB_FILENAME = "dccol.db" CUSTOM_DIC = "./dic/nanoha_keyword.dic" RAW_TEXT_DIR = "doc_source" # ------------------------------------------------------------------- class(s) # ---------------------------------------------------------------- function(s) def main(): o_tagger = janome.tokenizer.Tokenizer(CUSTOM_DIC) # 指定したフォルダ内の .txt 拡張子のファイルを読み込み for dirname, _, list_filename in os.walk(RAW_TEXT_DIR): for filename in list_filename: if os.path.splitext(filename)[1].lower() not in (".txt",): continue pathname = os.path.join(dirname, filename) with open(pathname, "r") as h_reader: # utf-8 to unicode raw_u_text = h_reader.read().decode("utf-8") for pos, r in enumerate(o_tagger.tokenize(raw_u_text)): word_surface = r.surface word_feature = r.part_of_speech.split(",")[0] if __name__ == "__main__": main() # [EOF] |
word2v … Learn more
potraceGUI for Win32を公開しました
09.10.2015, potraceGUI for Win32を公開しました はコメントを受け付けていません。, Windows, by 水凪.GitHubで公開しているpotrace_guiのバイナリパッケージを作成してみました。 セットアップ等はありませんので、zipファイルを展開して適当な場所に配置してください。（もしかしたらデスクトップに展開した場合はち … Learn more
Windows版でSplinter + firefoxを使用すると、CERTIFICATE_VERIFY_FAILEDが出てしまう問題に無理矢理対応。 SSLでの接続時に以下の場所でエラーになっているため、確認処理を無視 … Learn more