最近年金相談でお客様がAIを使って事前に調べてきたことを確認されるケースがかなり増えています。
今後、税務相談でも同様のケースが増えてきそうです。
生成AIの特徴
ChatGPTなどの生成AIを使って調べ物をしたいとします。
テキストを生成するAIの特徴としては、学習したデータをもとに新しい文章やテキストデータを自動で生成する技術を持っています。
しかし、もとの学習データに誤りが含まれていた場合には誤った情報を生成することがあります。
また、特定の専門知識に関しては限定的な理解しか持ちません。
そのため、生成された内容の正確性を自分たちでチェックする必要がありますし時には補正する必要もあります。
つまり、必ずしも正しい文章が出来上がるわけではないということなんです。
AIが誤った情報をさも正しい情報であるかのように生成し回答することも充分考えられます。
ある内容について調べたいときに、AI に「○○について説明して」という指示をしますが、この指示を出すための入力をプロンプトといいます。
生成AIはこのプロンプトに基づいて文章などを生成します。
プロンプトが具体的であればあるほどAIがその意図に沿った回答を生成しやすくなります。
プロンプトを上手に使うためには、
- 具体的に指示する
- 具体例を提示する
- 試行錯誤を重ねる
という3点を意識することが求められます。
それでも正しい内容が生成されるとは限らないことは注意したいところです。
【事務所お知らせ】ChatGPTで年金相談をしてみた
ChatGPTを使って年金相談をしてみました。
例えば、「給与をもらうと年金が止まる」ことを調べたいとして指示を出してみます。
「在職老齢年金制度のことを指す」とある点では正しいんですけど、以下のポイント整理部分で正しくないところがちらほらと。
情報が古いんですね。
65歳未満：給与＋年金の合計が28万円・65歳以上：47万円は現在は年齢に関係なく一律で51万円です。
「老齢基礎年金（国民年金部分）が原則として減額されない」はいいんですけど…。
次に例えば「在職老齢年金」という言葉を知っていた場合にその内容を指示してみます。
まあこのあたりまでは「うん、うん」と。
下にスクロールしてみますとこんな文章が生成されています。
「２．支給調整の基準」が28万円と47万円になってしまっています。
あと、「４．働き方と受給の工夫」の中に「70歳になると厚生年金に加入義務がなくなるため、この調整制度も適用されなくなる」というのは間違っています。
70歳になるとたしかに厚生年金に加入する義務はなくなりますけど、在職老齢年金の調整の制度そのものは残ります。
さらに60歳から64歳までと65歳以上で比較表も生成してますけど、基準額と70歳以降の取り扱いに誤りがありますね。
生成AIは学習データをもとに文章を作成するため、最新情報に関する出力には対応できていません。
そして、「AIが誤った情報をさも正しい情報であるかのように生成し回答する」といういい例だと思います。
で、そもそもプロンプトがふさわしいのかというとどうでしょうか？
「給与をもらうと年金が止まる」とか、「在職老齢年金」と指示を出してもかなり抽象的な回答しか出してこない可能性が高いです。
今回の例ではたまたま生成AI側で判断してくれていましたけど間違った情報で生成しかねません。
生成AIの回答が正しいと信じすぎない
今回の例のように法律の改正があるにもかかわらず古いままだったり、もっともらしい嘘（ハルシネーション）をつく場合もあります。
しかし、今後生成AIの回答が正しいと信じ切ってしまう方が増えてくるでしょう。
想定している回答と違った場合に説明をし納得してもらわないといけませんね。
例えば、お客様自身はAという考えがあるとして、生成AIで調べてみたらBという回答だったため自分の考えが正しいのか相談したいとします。
相談をしたらAでもBでもなくCという回答だったらどれが正しいのかよく分からず混乱してしまう可能性があるのです。
どうしても納得ができないとか、いろいろ考えすぎてしまって回答が見つからない「沼にハマる」状況になりかねません。
結局最終的にはお客様が決める話ですけど、
ということをお客様に理解いただく必要はあるかなと考えています。
まとめ
すでに年金相談の現場で生成AIで調べてきたというお客様が増えてきましたけど、まったく知らないことをいくら調べても回答の真偽はわからないままです。
さらに混乱して帰られることも多くなっている気がします。
生成AIを使って調べてきたというお客様が陥りやすいところかなと考えています。
では。