background-eyecatch

類似文章を検索するAPIを作成するレシピ

4.3(39)
0

メニュー

概要

近年、アプリケーションの構成方法としてマイクロサービスが非常に注目されております。
マイクロサービスとは、小さな独立したサービス群を作成し、それらを連携させることでアプリケーションを構成するアーキテクチャです。
サービスを分割し独立させることで、柔軟性や保守性の高いアプリケーションを作成することができます。

また、深層学習の一分野として自然言語処理が台頭してきております。
特に、自然言語処理の各分野で顕著な成果を挙げている深層学習モデルBERTの出現によって、アプリケーションとして十分機能するレベルの自然言語処理ができるようになりました。

上記二点から、今回は自然言語処理を使ったマイクロサービスを作成します。
具体的には、transformerとflaskを使って、類似文章を検索するAPIを作成したいと思います。

学べること

  • APIの概要とflaskによるAPIの実装方法
  • transformerを使った自然言語処理モデルBERTの実装方法
  • 自然言語処理を使った類似文章検索のアルゴリズムの内容とその実装方法

始める前のスキルセット

pythonの基本的な文法知識

実務活用例

  • 文章から検索するサービスの開発

キッチン

開発環境

python3.6

ツール

transformers==4.12.5
flask==2.0.2
flask_cors==3.0.10
torch==1.10.0
fugashi==1.1.1
ipadic==1.0.0

データセット

学習済みモデルを使用するため、不要です。

調理

テスト

テストを受けてみよう

小さな独立したサービス群を作成し、それらを連携させることでアプリケーションを構成するアーキテクチャを何といいますか?

今回、APIの構築に使用したライブラリはどれですか?

今回、文章のベクトル化に使用した自然言語処理モデルはどれですか?