とある三流プログラマーの覚書

機械学習、自然言語処理を中心にIT系の話題を書いていく予定です

未来的技術のキュレーションサイトを作ってます

はじめに すごく久しぶりの投稿になってしまいましたが、元気にやっています。 しばらく、機械学習で株価予測みたいなことをやろうとしてたんですが、全然上手く行かないので、一旦中断しました。 基本に立ち戻って、機械学習でキュレーションをやってみよう…

D3.jsで拡大縮小できる散布図を描く

はじめに 前回の投稿で画像が圧縮されて、非常に見難い状態だったので、同じ内容をD3.jsで可視化してみました。 結果はこちら D3.jsとは D3.jsはデータに基づいて、ドキュメント(グラフや図)を描画するための、JavaScriptライブラリです。 グラフ専用ライブ…

ライトノベルの感想をDoc2Vecで解析 可視化編

はじめに ライトノベルの感想をDoc2Vecで解析では、ラノベの感想をgensimのDoc2Vecを使って、200次元のベクトルデータとして表現しました。 ベクトルデータなので、類似度の計算ができましたが、200次元といわれても、われわれにはイメージできません…

ライトノベル感想類似度検索を実装してみた

はじめに 前回の記事にたくさんブクマをいただいたので、とりあえずWEBアプリとして実装してみました。 デザインが全然できないので、Bootstrapのデフォルトで作ってあります。 紹介 リンクはこちら 検索ボックスでラノベのタイトルを検索します。 タイト…

ライトノベルの感想をDoc2Vecで解析してみた

はじめに 前回ラノベの内容紹介をDoc2Vecで解析して遊んでみましたが、あまり面白い結果になりませんでした。 今回はアマゾンレビューなどから収集してきた、ラノベの感想を使ってみます。 感想が近い小説は読み味も近いだろうという予測がたつので、今度こ…

実践機械学習システム2章

はじめに 『実践機械学習システム』のお勉強、第2章です。 scikit-learnのインストールに非常に苦労しました。 環境構築については、前回の記事で。 2章の内容 2章はクラス分類(classification)の話です。 可視化や理解のしやすい小さなデータセットを使…

機械学習と自然言語処理のためのPython3開発環境構築 

はじめに 機械学習と自然言語処理の勉強を始めるにあたって、Pythonの開発環境を構築しました。 というか、いろいろインストールしていったら、途中で上手くいかなくなったので、AnacondaというPythonのディストリビューションを入れました。 Anacondaには、…

人工知能に置き換えられる職業について考えてみた

2016年4月に考えた人工知能に置き換えられる職業 はじめに ITmediaに「人工知能に置き換えられる職業と置き換えられない職業」という記事を見つけました。 元ネタは、野村総研が2015年の12月に出した「2030年の日本に備える」というレポートらしいです。 12…

『実践機械学習システム』1章

『実践機械学習システム』1章をやってみた記録 はじめに 機械学習勉強のために、O'Reillyの『実践機械学習システム』を買ってきました。 とりあえず理論は置いといて、コード書いて試してみること優先です。 ちなみに例の黄色い本を本屋で軽く読んでみまし…

Doc2Vecでライトノベルの内容紹介を解析

はじめに 前回、ラノベの内容紹介をトピックモデルで解析しました。 同じデータを今度はDoc2Vecにかけて遊んでみます。 Doc2Vecとは、文書(Document)のベクトル表現で、文書同士の類似度を算出したり、文書間で足し算や引き算ができるらしいです。 これで好…

ライトノベルの内容紹介をトピックモデルで解析

ライトノベルの内容紹介をトピックモデルで解析 はじめに 最近、機械学習とか自然言語処理に興味があります。 まずは、理論は置いといてライブラリで遊んでみようということで、 小説家になろうのランキングをトピックモデルで解析(gensim) を参考にgensimの…

AlphaGo 対 イ・セドル九段の囲碁対決の感想

3/9から3/15にかけてGoogleの囲碁ソフト「AlphaGo」対 トップ棋士のイ・セドル九段の対局が行われていました。注目の対戦だったので囲碁のルールもよくわかってないのに、土日はユーチューブライブとニコニコ動画の解説に張り付いていました。 結果は、Alpha…