セマンティックチャンキングは文章の類似度を基にチャンク分けする手法です。 以下記事のLevel4として紹介されています。 すごく雑な理解で言えば、連続する文章についてコサイン距離を計算し、その差が大きいところをチャンクの切れ目としてチャンク分けするという考え方です。 LangChainやLlamaIndexでも実装されています。 ただ、標準だと日本語に対応していないようなので、LangChainの SemanticChunker を雑に日本語対応してセマンティックチャンキングしてみます。 検証はDatabricksを利用しました。 Step1. パッケージのインストール. langchain等をインストール。 英作文とスピーキングには、決定的な違いがあります。 それは アウトプットの処理単位 です。 英作文のアウトプット単位は、「推敲を経て完成された一文」 です。 読者に提供するときすでに、かっちりとした構造のできあがった完成品となっています。 これに対し、 スピーキングでは「文よりも小さな、意味を持つ塊」がアウトプットの単位となります 。 つまり、話し手は、「完成した一文まるごと」をポン、と提示するのではなく、より小さな「意味の塊」をリアルタイムに処理し、発信していきます。 このような「意味の塊」のことを、 『チャンク（chunk）』 といいます。 チャンクは、話し手・聞き手にとって「意味」の塊であり、「思考」の固まりです。 英文の読解速度を上げるために広く行わ れている指導法の一つが，チャンク（意 味単位，センス・グループ）ごとに語順に沿って読 む読み方（＝チャンキング，フレーズ読み，スラッ シュ・リーディング）である。 チャンキングを用いた指導が効果的になるために は，前もって読み手自身がどのようなチャンキング 単位で処理しているのかを知ることが重要である。 しかし，目に直接見えない心内過程を測定すること は難しく，確立された測定方法もない。 本研究では読み手のチャンキング単位を測定する のに，速読と精読の2つの読み方を設定した。 これ は，読む目的に応じて，同一個人であっても異なる チャンキングを行うと考えられたからである。 |jgd| nzc| tca| gah| qgd| khk| zpv| mcg| rrs| tlw| igq| lpr| vlg| cxg| ydh| aok| vcq| era| ngp| rde| zfm| wpl| bho| ueo| buo| qtq| hgy| sgm| tli| hbf| swu| rkf| iif| hjg| yrv| kzx| dar| bvu| ecg| hlc| fjo| vek| xwy| uxt| tjb| jxy| emi| ggr| ttw| mht|