自然言語処理ライブラリGiNZAをインストールして簡単に動かすまでの手順

$ pip install "https://github.com/megagonlabs/ginza/releases/download/v1.0.2/ja_ginza_nopn-1.0.2.tgz"

import spacy
nlp = spacy.load('ja_ginza_nopn')
doc = nlp('依存構造解析の実験を行っています。')
for sent in doc.sents:
    for token in sent:
        print(token.i, token.orth_, token.lemma_, token.pos_, token.dep_, token.head.i)
    print('EOS')

$ python sample.py

$ python sample.py 
0 依存 依存 NOUN compound 2
1 構造 構造 NOUN compound 2
2 解析 解析 NOUN nmod 4
3 の の ADP case 2
4 実験 実験 NOUN obj 6
5 を を ADP case 4
6 行っ 行う VERB root 6
7 て て SCONJ mark 6
8 い 居る AUX aux 6
9 ます ます AUX aux 6
10 。 。 PUNCT punct 6
EOS

import spacy
nlp = spacy.load('ja_ginza_nopn')

# ファイルをオープンする
test_file = open("test.txt", "r")

# 内容を全て読み込む
contents = test_file.read()

doc = nlp(contents)

for sent in doc.sents:
    for token in sent:
        print(token.i, token.orth_, token.lemma_, token.pos_, token.dep_, token.head.i)
    print('EOS')

吾輩は猫である。名前はまだ無い。
　どこで生れたかとんと見当がつかぬ。何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。吾輩はここで始めて人間というものを見た。
しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。この書生というのは時々我々を捕えて煮て食うという話である。
しかしその当時は何という考もなかったから別段恐しいとも思わなかった。ただ彼の掌に載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。
掌の上で少し落ちついて書生の顔を見たのがいわゆる人間というものの見始であろう。この時妙なものだと思った感じが今でも残っている。
第一毛をもって装飾されべきはずの顔がつるつるしてまるで薬缶だ。その後猫にもだいぶ逢ったがこんな片輪には一度も出会わした事がない。
のみならず顔の真中があまりに突起している。そうしてその穴の中から時々ぷうぷうと煙を吹く。どうも咽せぽくて実に弱った。
これが人間の飲む煙草というものである事はようやくこの頃知った。

import spacy
nlp = spacy.load('ja_ginza_nopn')

# ファイルを開く
test_file = open("test.txt", "r")

# 内容を読み込む
contents = test_file.read()

doc = nlp(contents)

# 文単位でリストに保存
sents = list(doc.sents)

# リストの長さ、すなわち文の数を保存
length = len(sents)

print(sents)
print("文章数 : {}".format(length))

$ python save-sents.py 
[吾輩は猫である。, 名前はまだ無い。, どこで生れたかとんと見当がつかぬ。, 何でも薄暗いじめじめした所でニャーニャー泣いていた事だけは記憶している。, 吾輩はここで始めて人間というものを見た。, しかもあとで聞くとそれは書生という人間中で一番獰悪な種族であったそうだ。, この書生というのは時々我々を捕えて煮て食うという話である。, しかしその当時は何という考もなかったから別段恐しいとも思わなかった。, ただ彼の掌に載せられてスーと持ち上げられた時何だかフワフワした感じがあったばかりである。, 掌の上で少し落ちついて書生の顔を見たのがいわゆる人間というものの見始であろう。, この時妙なものだと思った感じが今でも残っている。, 第一毛をもって装飾されべきはずの顔がつるつるしてまるで薬缶だ。, その後猫にもだいぶ逢ったがこんな片輪には一度も出会わした事がない。, のみならず顔の真中があまりに突起している。, そうしてその穴の中から時々ぷうぷうと煙を吹く。, どうも咽せぽくて実に弱った。, これが人間の飲む煙草というものである事はようやくこの頃知った。]
文章数 : 17

import spacy

nlp = spacy.load('ja_ginza_nopn')

doc1 = nlp("今日の天気はとても良い。")
doc2 = nlp("明日は雨の予報が出ている。")

similarity = doc1.similarity(doc2)
print(similarity)

$ python similarity.py
0.7973139064355349

import spacy

nlp = spacy.load('ja_ginza_nopn')

tokens = nlp('今日は晴れです')

for token1 in tokens:
    for token2 in tokens:
        print(token1.text, token2.text, token1.similarity(token2))

$ python similarity-token.py
今日 今日 1.0
今日 は 0.33590525
今日 晴れ 0.2859564
今日 です 0.52462006
は 今日 0.33590525
は は 1.0
は 晴れ 0.058222905
は です 0.12581731
晴れ 今日 0.2859564
晴れ は 0.058222905
晴れ 晴れ 1.0
晴れ です 0.3370021
です 今日 0.52462006
です は 0.12581731
です 晴れ 0.3370021
です です 1.0

import spacy
nlp = spacy.load('ja_ginza_nopn')

doc = nlp("本日2019年5月29日に神奈川県の小田原城付近のは晴れです。")

for ent in doc.ents:
  print(ent.text, ent.start_char, ent.end_char, ent.label_)

$ python named-entities.py
本日2019年5月29日 0 12 DATE
神奈川県 13 17 LOC
小田原城 18 22 LOC