ジャストシステムの形態素解析技術

1. JustTechTalk #01
ジャストシステムの
形態素解析技術

2. 2
ATOK、ConceptBaseで培ったノウハウと
機械学習を融合した日本語解析エンジン
JustSystems Morphological Analysis Technorogy
”ジャストシステムの形態素解析技術”

3. 統計的手法による形態素解析
表記 品詞
にわ 一般名詞
に 助詞
わに 一般名詞
にわとり 一般名詞
が 助詞
い 上一段動詞
る 活用語尾：終止
。 句点
区切って、品詞を選ぶ
系列ラベリング問題
隣接する要素の情報を利用
(n-gram)
必要なリソース
• 辞書
• 教師データ（学習コーパス）
（ほかのやり方もあります）
3

4. 分析が大事
統計手法
○すぐに精度がだせる
× 少数で深刻な問題は数値ではみえない
ちゃんと事例をみる
• 精度がいいとおもったら……
→ 同じフレーズが何度も出現
• ユーザーにあわせた評価
4

5. 新規手法開発より辞書
辞書追加 >>>>>> あたらしい学習手法
5

6. でもむやみに辞書にいれると……
「まれ」を人名で登録
辞書登録には
ノウハウが必要
6
表記 品詞
こういう 連体詞
例 一般名詞
は 助詞
まれ 固有人名
で 助動詞
は 助詞
な 補助用言
い 活用語尾：終止

7. 登録する? しない?
説明性
• 一貫性
• 規範性?
新語
一過性かどうか
弊害
辞書の肥大化、誤解析、メンテナンス性
7

8. 人手の介入
クリティカルな事例
どうしても直さなきゃいけない
機械学習では
• 挙動を説明できない
• 学習のたび結果が変わる
どこかに介入できるところをつくる
• ルールによる補正
• ユーザー辞書
8

9. JMATのコーパス
タグ付きコーパス
• 精密にタグ付け
• メンテナンスできるのは数万文まで?
誤解析コーパス
言い回しコーパス
標準的な機能表現を網羅したコーパス
タグなしコーパス
9

10. JMATの品詞
ユーザーがみる品詞
• わかりやすい分類（学校文法を基礎）
• たくさんあるとつかいこなせない
解析器の内部状態
• 精度の確保にはあるていどの粒度が必要
• JMATでは600以上を定義
• コーパスはこちらで作成
10

11. チューニング
能動学習
間違ったところだけを追加学習
部分アノテーション学習
一部だけタグをつける
人手の調整
修正ルール、辞書調整、未知語処理調整など
11

12. 1212
ベース学習
Webテキスト
コーパス
クラスタリング
フィルタリング
誤解析しそうな
テキスト群
高精度
タグ付きコーパス
（数万文）
自動タグ付け
コーパス
（数百万文）
能動学習用
コーパス
部分アノテーショ
ン学習
フィルタリング能動学習
JMATベース
モデル
できあが
り
なんやかんや
調整

13. 区切りの単位
区切り単位はアプリケーションによる
• 長単位・中単位
意味、統語構造の処理用
• 短単位
検索用、後段処理の基本要素として
形態素 → 単語 → 統語構造
• 語構成と統語構造は別レイヤー
• まぜちゃいけないんだけど……
13

14. 表記統制
軽量な単語識別
• 検索
• 後段処理
統制対象
• 異表記
• 送り仮名
14
たけのこ
タケノコ
筍
竹の子
タケノコ

15. 短単位とまぜるとつらい
基本方針: 生物名はカタカナ
きりん → キリン、象 → ゾウ
短単位に切ると……
• マツバ/ガニ、カニ
• カニでマツバガニが検索できない
• しかたないので → 松葉/蟹、蟹
どうしても両立しない原則はでてくる
15

16. まとめ
統計的手法 + 人手介入
辞書が大事
地道なリソース作成と調整の継続が必要
16

17. NLPエンジニア募集
自然言語処理、機械学習を活用し、新規サービスの価値を高
めるための技術の選択・提案と、開発業務を担当していただ
きます。
■必須スキル
・自然言語処理技術もしくは機械学習を実務で利用した経験
・Javaでの開発経験
■歓迎スキル
・Pythonでの開発経験
・Webサービスの開発経験
17