JP2003255981A - 要約情報提供方法、要約情報提供装置、要約情報提供プログラム - Google Patents

Abstract

(57)【要約】 【課題】 採用者が時間を掛けることなく多くの求職者
の人材を判定することに利用することができる要約配信
方法を提供する。 【解決手段】 話者の発話から取得した音声波形情報
と、話者の発話状況を撮影した映像情報と、話者が入力
した個人情報とをデータベースに格納し、利用者から要
求された検索条件に従って前記データベースに蓄積され
た個人情報を検索し、検索条件に適合した話者を抽出
し、当該話者の音声情報から話者の強調音声区間を要約
音声情報として抽出し、この要約音声情報に対応する映
像情報を抽出し、この映像情報と前記要約音声情報を前
記利用者に配信する要約情報配信方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は映像付音声の内容
の要部を決定する要約情報提供方法、要約情報提供装
置、要約情報提供プログラムに関し、例えば求職者の自
己ＰＲ映像を自動的に生成し、採用活動の負担を軽減す
る人材発掘システムに応用したものである。

【０００２】

【従来の技術】従来の技術では、公共職業安定所等の職
業斡旋所などに設置され、求人、求職者が独自に各種情
報の伝達、交換をおこない、面接予約、テレビ電話を利
用した簡易面接を援助する職業紹介システムがあった。
たとえば、日本国特開平１１−１４３９５７号公報など
に示されている。また、応募者と企業とをネットワーク
を介して接続し、応募者と企業に関する情報をインタラ
クティブに管理するシステムがあった。たとえば、日本
国特開２００１−２０２４０７公報などに示されてい
る。

【０００３】また、保有資格、実務経験年数、希望職
種、履歴情報などから派遣労働者の適正や性能を診断す
る派遣労働者の登録システムがあった。たとえば、日本
国特開２００１−２２９２７８公報などに示されてい
る。また、結婚紹介などで年齢、身長、体重、兄弟関
係、学歴、職業、収入、趣味、特技などの文字データ
と、必要に応じて、自己紹介音声、映像をもちいて仲介
者を必要としないコンピュータネットワークがあった。
たとえば、日本国特開平６−１９９２６号公報などに示
されている。

【０００４】また、入力項目に応じて、スキル、担当業
務内容などを自動的に抽出し、また、自己ＰＲポイント
を自動的に抽出し、求職者が個人の職務経歴を入力する
と、企業側が求めているサマリーを作成するなどの求職
求人情報システムがあった。たとえば、日本国特開２０
０１−１４２９３９号公報などに示されている。また、
オーディションなどで自己の要旨、趣味範囲、思考、表
現力、歌唱力などの才能を含むアピール情報に関する応
募を簡易に行い、発掘側が検索するシステムがあった。
たとえば、日本国特開２０００−３０５９８０公報など
に示されている。

【０００５】

【発明が解決しようとする課題】例えば採用者が採用活
動を行うには、採用者が求職者の書類審査を行い、求職
者を１回以上面接して採用可否を決定している。面接
後、保存されるのは書類だけで求職者の印象は採用者の
記憶にしか頼ることが出来ない。また、映像などに記録
されていた場合においても、採用者の映像をすべて見る
ことは時間を浪費するため、現実的ではない。書類によ
る第一次選考などの方法もあるが、時間的浪費を軽減す
るためのものであり、求職者本人に会うことなしに、あ
るいは求職者の映像を見ることなしに求職者が採用者の
希望に見合わないかは判断不可能である。

【０００６】日本国特開２００１−１４２９３９公報で
は、入力項目に応じて、スキル、担当業務内容などを自
動抽出し、自己ＰＲポイントを自動抽出し、求職者が個
人の職務履歴を入力すると、企業側が求めているサマリ
ーを作成するなどの処理を施しているが、これらはテキ
スト情報から導かれたものであり、たとえば自己ＰＲを
テキスト情報だけで判断することは不可能である。ま
た、日本国特開２００１−２２９２７８公報では、派遣
労働者の適正や、能力を判断しているが、適正や能力だ
けで採用するわけではなく、これらのみで採用可能であ
れば面接などは必要がない。テキスト情報に依存した採
用システムは前記第一次選考の簡易化にすぎず、有用な
方法とは言えない。

【０００７】日本国特開平６−１９９２６号公報ではテ
キストベースの自己データに加えて、写真、映像などの
登録も行い、また、日本国特開２０００−３０５９８０
公報では、オーディションなどにたいして、自己の容姿
などを画像や映像なども用いておこなえるシステムを開
発しているが、これらは最終的には映録を再生する時間
が必要であり、要旨を理解するには早送りなどの機能を
用いても限界がある。特開２００１−２０２４０７公報
では、求職者と採用者を、ネットワークを介して接続し
情報をインタラクティブに管理しているが採用の負担が
軽減する構成にはなっていない。また、特開平１１−１
４３９５７号公報ではＴＶ電話などにより、簡易的な面
接も実現しているが、ネットワークを介しているだけで
あり、面接にかかる場所の移動以外に採用者の採用活動
負担の軽減にはなっていない。

【０００８】本発明は、前記のような従来の技術の有す
る欠点に鑑みてなされたもので、例えば求職者のように
個人情報を提供する情報提供者が提供した映像を効率的
に要約することで、多数の情報を短時間で閲覧し、多数
の情報の中から目的に合致した情報を検索する作業量の
激減を図ることができる要約情報提供方法、要約情報提
供装置、要約情報提供プログラムを提供しようとするも
のである。

【０００９】

【課題を解決するための手段】前記問題点を解決するた
めに、情報提供者が提供する音声付映像を要約する要約
情報提供方法を提供することを本発明の最も主要な特徴
とするものである。この発明では項目別に映像信号と同
時に収録された音声信号と該音声信号の属性情報とを対
応付けて蓄積するデータ蓄積手段と、少なくとも基本周
波数又はピッチ周期、パワー、動的特徴量の時間変化特
性、又はこれらのフレーム間差分を含む特徴量と強調状
態での出現確率とを対応して格納した符号帳とを用い、
希望属性情報を入力し、前記希望属性情報で示される条
件を満足する属性情報と該属性情報に対応する項目別の
映像信号と音声信号を前記データ蓄積手段から読み出
し、前記音声信号をフレーム毎に分析した前記特徴量に
対応する強調状態での出現確率を求め、前記強調状態で
の出現確率に基づいて強調状態となる確率を算出し、前
記強調状態となる確率が所定の確率よりも大きい音声信
号区間を要約区間と判定し、前記要約区間の映像信号と
前記読み出された属性情報の少なくとも一部を出力する
要約情報提供方法を提案する。

【００１０】この発明では更に前記要約区間は、前記符
号帳が少なくとも基本周波数又はピッチ周期、パワー、
動的特徴量の時間変化特性、又はこれらのフレーム間差
分を含む特徴量と強調状態での出現確率に対応して平静
状態での出現確率が格納され、前記音声信号をフレーム
毎に分析した前記特徴量に対応する平静状態での出現確
率を求め、前記平静状態での出現確率に基づいて平静状
態となる確率を算出し、前記強調状態となる確率の前記
平静状態となる確率に対する確率比を音声信号区間ごと
に算出し、前記確率比の降順に対応する音声信号区間の
時間を累積して要約区間の時間の総和を算出し、前記要
約区間の時間の総和が所定の要約時間となる音声信号区
間を要約区間と決定する要約情報提供方法を提案する。

【００１１】この発明では更に前記音声信号をフレーム
ごとに無音区間か否か、有声区間か否か判定し、所定フ
レーム数以上の無音区間で囲まれ、有声区間を含む部分
を音声小段落と判定し、音声小段落に含まれる有声区間
の平均パワーが該音声小段落内の平均パワーの所定の定
数倍より小さい音声小段落を末尾とする音声小段落群を
音声段落と判定し、前記音声信号区間は音声段落ごとに
定められたものであり、前記要約時間を音声段落ごとに
累積して求め、前記強調状態の確率又は前記確率比の降
順に音声段落ごとに前記要約区間の映像信号と音声信号
を出力する要約情報提供方法を提案する。

【００１２】この発明では更に項目別に映像信号と同時
に収録された音声信号と、該音声信号の属性情報とを対
応付けて蓄積するデータ蓄積手段と、少なくとも基本周
波数又はピッチ周期、パワー、動的特徴量の時間変化特
性、又はこれらのフレーム間差分を含む特徴量と強調状
態での出現確率とを対応して格納した符号帳とを用い、
希望属性情報を入力し、前記希望属性情報で示される条
件を満足する属性情報と該属性情報に対応する項目別の
映像信号と音声信号を前記データ蓄積手段から読み出
し、前記音声信号をフレーム毎に分析した前記特徴量に
対応する強調状態での出現確率を求め前記強調状態での
出現確率に基づいて強調状態となる確率を算出する強調
状態確率計算部と、前記強調状態となる確率が所定の確
率より大きい音声信号区間を要約区間と判定する要約区
間決定部と、前記要約区間の映像信号と前記読み出され
た属性情報の少なくとも一部を出力する出力部とを具備
している要約情報提供装置を提案する。

【００１３】この発明では更にコンピュータが読取り可
能な符号によって記述され、前記の要約情報提供方法の
何れかをコンピュータ上で実行する要約情報提供プログ
ラムを提案する。 ［作用］この発明によれば音声要約手段は、情報提供者
が提供する映像の音声を分析し、音声の重要部分（強調
区間）を抽出している。そのため、音声の重要部分の映
像をつなげて再生すると、映像の要旨や情報提供者の印
象を強く伝えることが可能となり、本発明の目的であ
る、提供された情報の要約を行うことが出来ることにな
る。

【００１４】データセンタは、任意の時間やシーン数
で、情報提供者である話者の映像を要約する。そのた
め、情報利用者（この要約情報提供方法を利用して例え
ば求人活動等を行う利用者）の希望する時間やシーン数
で要約映像を視聴することが可能となり、本発明の目的
である、採用者の採用活動の稼動を軽減することが出来
ることになる。情報利用者は希望する情報提供者の映像
を原映像より短かい時間で要部に絞って視聴する。その
ため、情報提供者の映像を情報利用者に強く印象付ける
ことが可能となり、本発明の目的である検索活動の効率
化が出来ることになる。

【００１５】情報提供者は自己ＰＲ映像を情報利用者に
視聴される。そのため、情報提供者がテキスト情報以外
に情報利用者に自己アピールを行うことが可能となり、
本発明の目的であるテキスト情報に依存しない検索活動
が出来ることになる。

【００１６】

【発明の実施の形態】ここで、この発明で用いられる音
声小段落抽出方法、音声段落抽出方法、各音声小段落毎
に強調状態となる確率及び平静状態となる確率を求める
方法について、説明する。図１７に先に提案した音声要
約方法の実施形態の基本手順を示す。ステップＳ１で入
力音声信号を分析して音声特徴量を求める。ステップＳ
２で、入力音声信号の音声小段落と、複数の音声小段落
から構成される音声段落を抽出する。ステップＳ３で各
音声小段落を構成するフレームが平静状態か、強調状態
か発話状態を判定する。この判定に基づきステップＳ４
で要約音声を作成し、要約音声を得る。

【００１７】以下に、自然な話し言葉や会話音声を、要
約に適用する場合の実施例を述べる。音声特徴量は、ス
ペクトル情報等に比べて、雑音環境下でも安定して得ら
れ、かつ話者に依存し難いものを用いる。入力音声信号
から音声特徴量として基本周波数（ｆ０）、パワー
（ｐ）、音声の動的特徴量の時間変化特性（ｄ）、ポー
ズ時間長（無音区間）（ｐｓ）を抽出する。これらの音
声特徴量の抽出法は、例えば、「音響・音響工学」（古
井貞煕、近代科学社、１９９８）、「音声符号化」（守
谷健弘、電子情報通信学会、１９９８）、「ディジタル
音声処理」（古井貞煕、東海大学出版会、１９８５）、
「複合正弦波モデルに基づく音声分析アルゴリズムに関
する研究」（嵯峨山茂樹、博士論文、１９９８）などに
述べられている。音声の動的特徴量の時間変化は発話速
度の尺度となるパラメータであり特許第２９７６９９８
号に記載のものを用いてもよい。即ち、動的変化量とし
てスペクトル包絡を反映するＬＰＣスペクトラム係数の
時間変化特性を求め、その時間変化をもとに発話速度係
数が求められるものである。より具体的にはフレーム毎
にＬＰＣスペクトラム係数Ｃ１（ｔ）、…Ｃｋ（ｔ）を
抽出して次式のような動的特徴量ｄ（ダイナミックメジ
ャー）を求める。ｄ（ｔ）＝Σi=1k［Σf=t-f0t+f0［ｆ
×Ｃi（ｔ）］／（Σf=t-f0t+f0ｆ2）2ここで、ｆ０は
前後の音声区間フレーム数（必ずしも整数個のフレーム
でなくとも一定の時間区間でもよい）、ｋはＬＰＣスペ
クトラムの次数、ｉ＝１、２、…ｋである。発話速度の
係数として動的特徴量の変化の極大点の単位時間当たり
の個数、もしくは単位時間当たりの変化率が用いられ
る。

【００１８】実施例では例えば１００ｍｓを１フレーム
とし、シフトを５０ｍｓとする。１フレーム毎の平均の
基本周波数を求める（ｆ０´）。パワーについても同様
に１フレーム毎の平均パワー（ｐ´）を求める。更に現
フレームのｆ０´と±ｉフレーム前後のｆ０´との差分
をとり、±Δｆ０´ｉ（Δ成分）とする。パワーについ
ても同様に現フレームのｐ´と±ｉフレーム前後のｐ´
との差分±Δｐ´ｉ（Δ成分）を求める。ｆ０´、±Δ
ｆ０´ｉ、ｐ´、±Δｐ´ｉを規格化する。この規格は
例えばｆ０´、±Δｆ０´ｉをそれぞれ、音声波形全体
の平均基本周波数で割り規格化する。これら規格化され
た値をｆ０″、±ｆ０″ｉと表す。ｐ´、±Δｐ´ｉに
ついても同様に、発話状態判定の対象とする音声波形全
体の平均パワーで割り、規格化する。規格化するにあた
り、後述する音声小段落、音声段落ごとの平均パワーで
割ってもよい。これら規格化された値をｐ″、±Δｐ″
ｉと表す。ｉの値は例えばｉ＝４とする。現フレームの
前後±Ｔ１ｍｓの、ダイナミックメジャーのピーク本
数、即ち動的特徴量の変化の極大点の個数ｄｐを算出す
る。これと、現フレームの開始時刻の、Ｔ２ｍｓ前の時
刻を区間に含むフレームのｄｐとのΔ成分（−Δｄｐ）
を求める。前記±Ｔ１ｍｓのｄｐと、現フレームの終了
時刻の、Ｔ３ｍｓ後の時刻を区間に含むフレームのｄｐ
とのΔ成分（＋Δｄｐ）を求める。これら、Ｔ１、Ｔ
２、Ｔ３の値は例えばＴ１＝Ｔ２＝Ｔ３＝４５０ｍｓと
する。フレームの前後の無音区間の時間長を±ｐｓとす
る。ステップＳ１ではこれら音声特徴パラメータの各値
をフレーム毎に抽出する。

【００１９】ステップＳ２における入力音声の音声小段
落と、音声段落を抽出する方法の例を図１８に示す。こ
こで音声小段落を発話状態判定を行う単位とする。ステ
ップＳ２０１で、入力音声信号の無音区間と有声区間を
抽出する。無音区間は例えばフレーム毎のパワーが所定
のパワー値以下であれば無音区間と判定し、有声区間
は、例えばフレーム毎の相関関数が所定の相関関数値以
上であれば有声区間と判定する。有声／無声の決定は、
周期性／非周期性の特徴と同一視することにより、自己
相関関数や変形相関関数のピーク値で行うことが多い。
入力信号の短時間スペクトルからスペクトル包絡を除去
した予測残差の自己相関関数が変形相関関数であり、変
形相関関数のピークが所定の閾値より大きいか否かによ
って有声／無声の判定を行い、又そのピークを与える遅
延時間によってピッチ周期１／ｆ０（基本周波数ｆ０）
の抽出を行う。これらの区間の抽出法の詳細は、例え
ば、「ディジタル音声処理」（古井貞煕、東海大学出版
会、１９８５）などに述べられている。ここでは音声信
号から各音声特徴量をフレーム毎に分析することについ
て述べたが、既に符号化等により分析された係数もしく
は符号に対応する特徴量を符号化に用いる符号帳から読
み出して用いてもよい。

【００２０】ステップＳ２０２で、有声区間を囲む無音
区間の時間がそれぞれｔ秒以上になるとき、その無音区
間で囲まれた有声区間を含む部分を音声小段落とする。
このｔは例えばｔ＝４００ｍｓとする。ステップＳ２０
３で、この音声小段落内の好ましくは後半部の、有声区
間の平均パワーと、その音声小段落の平均のパワーの値
ＢAの定数β倍とを比較し、前者の方が小さい場合はそ
の音声小段落を末尾音声小段落とし、直前の末尾音声小
段落後の音声小段落から現に検出した末尾音声小段落ま
でを音声段落として決定する。

【００２１】図１９に、有声区間、音声小段落、音声段
落を模式的に示す。音声小段落を前記の、有声区間を囲
む無音区間の時間がｔ秒の条件で、抽出する。図１９で
は、音声小段落ｊ−１、ｊ、ｊ＋１について示してい
る。ここで音声小段落ｊは、ｎ個の有声区間から構成さ
れ、平均パワーをＰｊとする。有声区間の典型的な例と
して、音声小段落ｊに含まれる、有声区間ｖの平均パワ
ーはｐｖである。音声段落ｋは、音声小段落ｊと音声小
段落を構成する後半部分の有声区間のパワーから抽出す
る。ｉ＝ｎ−αからｎまでの有声区間の平均パワーｐｉ
の平均が音声小段落ｊの平均パワーＰｊより小さいと
き、即ち、 Σｐｉ／（α＋１）＜βＰｊ 式（１） を満たす時、音声小段落ｊが音声段落ｋの末尾音声小段
落であるとする。ただし、Σはｉ＝ｎ−αからｎまでで
ある。式（１）のα、βは定数であり、これらを操作し
て、音声段落を抽出する。実施例では、αは３、βは
０．８とした。このようにして末尾音声小段落を区切り
として隣接する末尾音声小段落間の音声小段落群を音声
段落と判定できる。

【００２２】図１７中のステップＳ３における音声小段
落発話状態判定方法の例を図２０に示す。ステップＳ３
０１で、入力音声小段落の音声特徴量をベクトル量子化
する。このために、あらかじめ少なくとも２つの量子化
音声特徴量（コード）が格納された符号帳（コードブッ
ク）を作成しておく。ここでコードブックに蓄えられた
音声特徴量と入力音声もしくは既に分析して得られた音
声の音声特徴量との照合をとり、コードブックの中から
音声特徴量間の歪（距離）を最小にする量子化音声特徴
量を特定することが常套である。

【００２３】図２１に、このコードブックの作成法の例
を示す。多数の学習用音声を被験者が聴取し、発話状態
が平静状態であるものと、強調状態であるものをラベリ
ングする（Ｓ５０１）。例えば、被験者が発話の中で強
調状態とする理由として、 （ａ）声が大きく、名詞や接続詞を伸ばすように発話す
る （ｂ）話し始めを伸ばして話題変更を主張、意見を集約
するように声を大きくする （ｃ）声を大きく高くして重要な名詞等を強調する時 （ｄ）高音であるが声はそれほど大きくない （ｅ）苦笑いしながら、焦りから本音をごまかすような
時 （ｆ）周囲に同意を求める、あるいは問いかけるよう
に、語尾が高音になるとき （ｇ）ゆっくりと力強く、念を押すように、語尾の声が
大きくなる時 （ｈ）声が大きく高く、割り込んで発話するという主
張、相手より大きな声で （ｉ）大きな声では憚られるような本音や秘密を発言す
る場合や、普段、声の大きい人にとっての重要なことを
発話するような時（例えば声が小さくボソボソ、ヒソヒ
ソという口調）を挙げた。この例では、平静状態とは、
前記の（ａ）〜（ｉ）のいずれでもなく、発話が平静で
あると被験者が感じたものとした。

【００２４】尚、上述では強調状態と判定する対象を発
話であるものとして説明したが、音楽でも強調状態を特
定することができる。ここでは音声付の楽曲において、
音声から強調状態を特定しようとした場合に、強調と感
じる理由として、 （ａ）声が大きく、かつ声が高い （ｂ）声が力強い （ｃ）声が高く、かつアクセントが強い （ｄ）声が高く、声質が変化する （ｅ）声を伸長させ、かつ声が大きい （ｆ）声が大きく、かつ、声が高く、アクセントが強い （ｇ）声が大きく、かつ、声が高く、叫んでいる （ｈ）声が高く、アクセントが変化する （ｉ）声を伸長させ、かつ、声が大きく、語尾が高い （ｊ）声が高く、かつ、声を伸長させる （ｋ）声を伸長させ、かつ、叫び、声が高い （ｌ）語尾上がり力強い （ｍ）ゆっくり強め （ｎ）曲調が不規則 （ｏ）曲調が不規則、かつ、声が高い また、音声を含まない楽器演奏のみの楽曲でも強調状態
を特定することができる。その強調と感じる理由とし
て、 （ａ）強調部分全体のパワー増大 （ｂ）音の高低差が大きい （ｃ）パワーが増大する （ｄ）楽器の数が変化する （ｅ）曲調、テンポが変化する 等である。

【００２５】これらを基にコードブックを作成しておく
ことにより、発話に限らず音楽の要約も行うことができ
ることになる。平静状態と強調状態の各ラベル区間につ
いて、図１７中のステップＳ１と同様に、音声特徴量を
抽出し（Ｓ５０２）、パラメータを選択する（Ｓ５０
３）。平静状態と強調状態のラベル区間の、前記パラメ
ータを用いて、ＬＢＧアルゴリズムでコードブックを作
成する（Ｓ５０４）。ＬＢＧアルゴリズムについては、
例えば、（Ｙ．Ｌｉｎｄｅ，Ａ．Ｂｕｚｏ ａｎｄ
Ｒ．Ｍ．Ｇｒａｙ，“Ａｎａｌｇｏｒｉｔｈｍ ｆｏｒ
ｖｅｃｔｏｒ ｑｕａｎｔｉｚｅｒ ｄｅｓｉｇ
ｎ，”ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏ
ｌ．Ｃｏｍ−２８，ｐｐ．８４−９５，１９８０）があ
る。コードブックサイズは２のｎ乗個に可変である。こ
のコードブック作成は音声小段落で又はこれより長い適
当な区間毎あるいは学習音声全体の音声特徴量で規格化
した音声特徴量を用いることが好ましい。

【００２６】図２０中のステップＳ３０１で、このコー
ドブックを用いて、入力音声小段落の音声特徴量を、各
音声特徴量について規格化し、その規格化された音声特
徴量をフレーム毎に照合もしくはベクトル量子化し、フ
レーム毎にコード（量子化された音声特徴量）を得る。
この際の入力音声信号より抽出する音声特徴量は前記の
コードブック作成に用いたパラメータと同じである。強
調状態が含まれる音声小段落を特定するために、音声小
段落でのコードを用いて、発話状態の尤度（らしさ）
を、平静状態と強調状態について求める。このために、
あらかじめ、任意のコード（量子化音声特徴量）の出現
確率を、平静状態の場合と、強調状態の場合について求
めておき、この出現確率とそのコードとを組としてコー
ドブックに格納しておく、以下にこの出現確率の求め方
の例を述べる。前記のコードブック作成に用いた学習音
声中のラベルが与えられた１つの区間（ラベル区間）の
音声特徴量のコード（フレーム毎に得られる）が、時系
列でＣｉ、Ｃｊ、Ｃｋ、…Ｃｎであるとき、ラベル区間
αが強調状態となる確率をＰα（ｅ）、平静状態となる
確率をＰα（ｎ）とし、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ）Ｐｅｍｐ（Ｃｊ｜Ｃｉ）
…Ｐｅｍｐ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ）Ｐｎｒｍ（Ｃｊ｜Ｃｉ）
…Ｐｎｒｍ（Ｃｎ｜Ｃｉ…Ｃｎ−１）＝Ｐｅｍｐ（Ｃ
ｉ）ΠＰｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１） となる。ただし、Ｐｅｍｐ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は
コード列Ｃｉ…Ｃｘ−１の次にＣｘが強調状態となる条
件付確率、Ｐｎｒｍ（Ｃｘ｜Ｃｉ…Ｃｘ−１）は同様に
Ｃｉ…Ｃｘ−１に対しＣｘが平静状態となる確率であ
る。ただし、Πはｘ＝ｉ＋１からｎまでの積である。ま
たＰｅｍｐ（Ｃｉ）は学習音声についてフレームで量子
化し、これらコード中のＣｉが強調状態とラベリングさ
れた部分に存在した個数を計数し、その計数値を全学習
音声の全コード数（フレーム数）で割り算した値であ
り、Ｐｎｒｍ（Ｃｉ）はＣｉが平静状態とラベリングさ
れた部分に存在した個数を全コード数で割り算した値で
ある。

【００２７】このラベル区間αの各状態確率を簡単にす
るために、この例ではＮ−ｇｒａｍモデル（Ｎ＜ｎ）を
用いて、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｎ｜Ｃｎ−Ｎ＋１…Ｃｎ−
１） とする。つまりＣｎよりＮ−１個の過去のコード列Ｃｎ
−Ｎ＋１…Ｃｎ−１の次にＣｎが強調状態として得られ
る確率をＰα（ｅ）とし、同様にＮ−ｇｒａｍの確率値
をより低次のＭ−ｇｒａｍ（Ｎ≧Ｍ）の確率値と線形に
補間する線形補間法を適応することが好ましい。例えば
ＣｎよりＮ−１個の過去のコード列Ｃｎ−Ｎ＋１…Ｃｎ
−１の次にＣｎが平静状態として得られる確率をＰα
（ｎ）とする。このようなＰα（ｅ）、Ｐα（ｎ）の条
件付確率をラベリングされた学習音声の量子化コード列
から全てを求めるが、入力音声信号の音声特徴量の量子
化したコード列と対応するものが学習音声から得られて
いない場合もある。そのため、高次（即ちコード列の長
い）の条件付確率を単独出現確率とより低次の条件付出
現確率とを補間して求める。例えばＮ＝３のｔｒｉｇｒ
ａｍ、Ｎ＝２のｂｉｇｒａｍ、Ｎ＝１のｕｎｉｇｒａｍ
を用いて線形補間法を施す。Ｎ−ｇｒａｍ、線形補間
法、ｔｒｉｇｒａｍについては、例えば、「音声言語処
理」（北 研二、中村 哲、永田昌明、森北出版、１９
９６、２９頁）などに述べられている。即ち、 Ｎ＝３（ｔｒｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２
Ｃｎ−１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−２Ｃｎ−１） Ｎ＝２（ｂｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
１）、Ｐｎｒｍ（Ｃｎ｜Ｃｎ−１） Ｎ＝１（ｕｎｉｇｒａｍ）：Ｐｅｍｐ（Ｃｎ）、Ｐｎｒ
ｍ（Ｃｎ） であり、これら３つの強調状態でのＣｎの出現確率、ま
た３つの平静状態でのＣｎの出現確率をそれぞれ用いて
次式により、Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）、Ｐ
ｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）を計算することにす
る。 Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｅｍｐ１Ｐｅｍｐ（Ｃｎ|Ｃｎ−２Ｃｎ −１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ|Ｃｎ−１）＋λｅｍｐ３Ｐｅｍｐ（Ｃｎ） 式（２） Ｐｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ−１）＝λｎｒｍｌＰｎｒｍ（Ｃｎ|Ｃｎ−２Ｃｎ −１）＋λｎｒｍ２Ｐｎｒｍ（Ｃｎ|Ｃｎ−１）＋λｎｒｍ３Ｐｎｒｍ（Ｃｎ） 式（３） Ｔｒｉｇｒａｍの学習データをＮとしたとき、すなわ
ち、コードが時系列でＣ１、Ｃ２、．．．ＣＮが得られ
たとき、λｅｍｐ１、λｅｍｐ２、λｅｍｐ３の再推定
式は前出の参考文献「音声言語処理」より次のようにな
る。 λｅｍｐ１＝１／ＮΣ（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃ
ｎ−２Ｃ−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−
２Ｃ−１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λ
ｅｍｐ３Ｐｅｍｐ（Ｃｎ））） λｅｍｐ２＝１／ＮΣ（λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ
−１）／（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−
１）＋λｅｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ
３Ｐｅｍｐ（Ｃｎ））） λｅｍｐ３＝１／ＮΣ（λｅｍｐ３Ｐｅｍｐ（Ｃｎ）／
（λｅｍｐ１Ｐｅｍｐ（Ｃｎ｜Ｃｎ−２Ｃ−１）＋λｅ
ｍｐ２Ｐｅｍｐ（Ｃｎ｜Ｃ−１）＋λｅｍｐ３Ｐｅｍｐ
（Ｃｎ））） ただし、Σはｎ＝１からＮまでの和である。以下同様に
してλｎｒｍ１、λｎｒｍ２、λｎｒｍ３も求められ
る。

【００２８】この例では、ラベル区間αがフレーム数Ｎ
αで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮαのと
き、このラベル区間αが強調状態となる確率Ｐα
（ｅ）、平静状態となる確率Ｐα（ｎ）は、 Ｐα（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅｍｐ（ＣｉＮα｜Ｃｉ（ Ｎα−１）Ｃｉ（Ｎα−２）） 式（４） Ｐα（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎｒｍ（ＣｉＮα｜Ｃｉ（ Ｎα−１）Ｃｉ（Ｎα−２）） 式（５） となる。この計算ができるように前記のｔｒｉｇｒａ
ｍ、ｕｎｉｇｒａｍ、ｂｉｇｒａｍを任意のコードにつ
いて求めてコードブックに格納しておく。つまりコード
ブックには各コードの音声特徴量とその強調状態での出
現確率とこの例では平静状態での出現確率との組が格納
され、その強調状態での出現確率は、その音声特徴量が
過去のフレームでの音声特徴量と無関係に強調状態で出
現する確率（ｕｎｉｇｒａｍ：単独出現確率と記す）の
み、又はこれと、過去のフレームでの音声特徴量から現
在のフレームの音声特徴量に至るフレーム単位の音声特
徴量列毎に、その音声特徴量が強調状態で出現する条件
付確率との組合せの何れかであり、平静状態での出現確
率も同様に、その音声特徴量が過去のフレームでの音声
特徴量と無関係に平静状態で出現する確率（ｕｎｉｇｒ
ａｍ：単独出現確率と記す）のみ、又はこれと、過去の
フレームでの音声特徴量から現在のフレームの音声特徴
量に至るフレーム単位の音声特徴量列毎にその音声特徴
量が平静状態で出現する条件付確率と組合せの何れかで
ある。

【００２９】例えば図１０に示すようにコードブックに
は各コードＣ１、Ｃ２、…毎にその音声特徴量と、その
単独出現確率が強調状態、平静状態について、また条件
付確率が強調状態、平静状態についてそれぞれ組として
格納されている。図２０中のステップＳ３０２では、入
力音声小段落の全フレームのコードについてのそのコー
ドブックに格納されている前記確率から、発話状態の尤
度を、平静状態と強調状態について求める。図２３に実
施例の模式図を示す。時刻ｔから始まる音声小段落のう
ち、第４フレームまでを〜で示している。前記のよ
うに、ここでは、フレーム長は１００ｍｓ、フレームシ
フトを５０ｍｓとフレーム長の方を長くした。フレー
ム番号ｆ、時刻ｔ〜ｔ＋１００でコードＣｉが、フレ
ーム番号ｆ＋１、時刻ｔ＋５０〜ｔ＋１５０でコードＣ
ｊが、フレーム番号ｆ＋２、時刻ｔ＋１００〜ｔ＋２
００でコードＣｋが、フレーム番号ｆ＋３、時刻ｔ＋
１５０〜ｔ＋２５０でコードＣｌが得られ、つまりフレ
ーム順にコードがＣｉ、Ｃｊ、Ｃｋ、Ｃｌであるとき、
フレーム番号ｆ＋２以上のフレームでｔｒｉｇｒａｍが
計算できる。音声小段落ｓが強調状態となる確率をＰｓ
（ｅ）、平静状態となる確率をＰｓ（ｎ）とすると第４
フレームまでの確率はそれぞれ、 Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ） 式（６） Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ） 式（７） となる。ただし、この例では、コードブックからＣｋ、
Ｃｌの強調状態及び平静状態の各単独出現確率を求め、
またＣｊの次にＣｋが強調状態及び平静状態で各出現す
る条件付確率、更にＣｋがＣｉ、Ｃｊの次に、ＣｌがＣ
ｊ、Ｃｋの次にそれぞれ強調状態及び平静状態でそれぞ
れ出現する条件付確率をコードブックから求めると、以
下のようになる。 Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）＋λｅｍ ｐ２Ｐｅｍｐ（Ｃｋ｜Ｃｊ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｋ） 式（８） Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＝λｅｍｐ１Ｐｅｍｐ（Ｃｌ｜ＣｊＣｋ）＋λｅｍ ｐ２Ｐｅｍｐ（Ｃｌ｜Ｃｋ）＋λｅｍｐ３Ｐｅｍｐ（Ｃｌ） 式（９） Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｋ｜ＣｉＣｊ）＋λｎｒ ｍ２Ｐｎｒｍ（Ｃｋ｜Ｃｊ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｋ） 式（１０） Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＝λｎｒｍ１Ｐｎｒｍ（Ｃｌ｜ＣｊＣｋ）＋λｎｒ ｍ２Ｐｎｒｍ（Ｃｌ｜Ｃｋ）＋λｎｒｍ３Ｐｎｒｍ（Ｃｌ） 式（１１） 上記（８）〜（１１）式を用いて（６）式と（７）式で
示される第４フレームまでの強調状態となる確率Ｐｓ
（ｅ）と、平静状態となる確率Ｐｓ（ｎ）が求まる。こ
こで、Ｐｅｍｐ（Ｃｋ｜ＣｉＣｊ）、Ｐｎｒｍ（Ｃｋ｜
ＣｉＣｊ）はフレーム番号ｆ＋２において計算できる。

【００３０】この例では、音声小段落ｓがフレーム数Ｎ
ｓで得たコードがＣｉ１、Ｃｉ２、…、ＣｉＮｓのと
き、この音声小段落ｓが強調状態になる確率Ｐｓ（ｅ）
と平静状態になる確率Ｐｓ（ｎ）を次式により計算す
る。 Ｐｓ（ｅ）＝Ｐｅｍｐ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｅ
ｍｐ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２）） Ｐｓ（ｎ）＝Ｐｎｒｍ（Ｃｉ３｜Ｃｉ１Ｃｉ２）…Ｐｎ
ｒｍ（ＣｉＮｓ｜Ｃｉ（Ｎｓ−１）Ｃｉ（Ｎｓ−２）） この例ではこれらの確率が、Ｐｓ（ｅ）＞Ｐｓ（ｎ）で
あれば、その音声小段落Ｓは強調状態、Ｐｓ（ｎ）＞Ｐ
ｓ（ｅ）であれば平静状態とする。

【００３１】図２４は以上説明した音声小段落抽出方
法、音声段落抽出方法、各音声小段落毎に強調状態とな
る確率及び平静状態となる確率を求める方法を用いた音
声強調状態判定装置及び音声要約装置の実施形態を示
す。入力部１１に音声強調状態が判定されるべき、又は
音声の要約が検出されるべき入力音声（入力音声信号）
が入力される。入力部１１には必要に応じて入力音声信
号をディジタル信号に変換する機能も含まれる。ディジ
タル化された音声信号は必要に応じて記憶部１２に格納
される。音声特徴量抽出部１３で前述した音声特徴量が
フレーム毎に抽出される。抽出した音声特徴量は必要に
応じて、音声特徴量の平均値で規格化され、量子化部１
４で各フレームの音声特徴量がコードブック１５を参照
して量子化され、量子化された音声特徴量は強調確率計
算部１６と平静確率計算部１７に送り込まれる。コード
ブック１５は例えば図２２に示したようなものである。

【００３２】強調確率計算部１６によりその量子化され
た音声特徴量の強調状態での出現確率が、コードブック
１５に格納されている対応する確率を用いて、例えば式
（８）又は（９）により計算される。同様に平静確率計
算部１７により、前記量子化された音声特徴量の平静状
態での出現確率がコードブック１５に格納されている対
応する確率を用いて、例えば式（１０）又は（１１）に
より計算される。強調確率計算部１６及び平静確率計算
部１７で各フレーム毎に算出された強調状態での出現率
と平静状態での出現確率及び各フレームの音声特徴量は
各フレームに付与したフレーム番号と共に記憶部12に格
納する。

【００３３】これら各部の制御は制御部１９の制御のも
とに順次行われる。音声要約装置の実施形態は、図２４
中に実線ブロックに対し、破線ブロックが付加される。
つまり記憶部１２に格納されている各フレームの音声特
徴量が無音区間判定部２１と有音区間判定部２２に送り
込まれ、無音区間判定部２１により各フレーム毎に無音
区間か否かが判定され、また有音区間判定部２２により
各フレーム毎に有声区間か否かが判定される。これらの
無音区間判定結果と有音区間判定結果が音声小段落判定
部２３に入力される。音声小段落判定部２３はこれら無
音区間判定、有声区間判定に基づき、先の方法の実施形
態で説明したように所定フレーム数を連続する無音区間
に囲まれた有声区間を含む部分が音声小段落と判定す
る。音声小段落判定部２３の判定結果は記憶部１２に書
き込まれ、記憶部１２に格納されている音声データ列に
付記され、無音区間で囲まれたフレーム群に音声小段落
番号列を付与する。これと共に音声小段落判定部２３の
判定結果は末尾音声小段落判定部２４に入力される。

【００３４】末尾音声小段落判定部２４では、例えば図
１９を参照して説明した手法により末尾音声小段落が検
出され、末尾音声小段落判定結果が音声段落判定部２５
に入力され、音声段落判定部２５により２つの末尾音声
小段落間の複数の音声小段落を含む部分を音声段落と判
定する。この音声段落判定結果も記憶部１２に書き込ま
れ、記憶部１２に記憶している音声小段落番号列に音声
段落列番号を付与する。音声要約装置として動作する場
合、強調確率計算部１６及び平静確率計算部１７では記
憶部１２から各音声小段落を構成する各フレームの強調
確率と平静確率を読み出し、各音声小段落毎の確率が例
えば式（８）及び式（１０）により計算される。強調状
態判定部１８ではこの音声小段落毎の確率計算値を比較
して、その音声小段落が強調状態か否かを判定し、要約
区間取出し部２６では音声段落中の１つの音声小段落で
も強調状態と判定されたものがあればその音声小段落を
含む音声段落を取り出す。各部の制御は制御部１９によ
り行われる。

【００３５】以上により音声で構成される音声波形を音
声小段落及び音声段落に分離する方法及び各音声小段落
毎に強調状態となる確率及び平静状態となる確率を算出
できることが理解できよう。以下では上述した各方法を
利用したこの発明による音声処理方法、音声処理装置及
び音声処理プログラムに関わる実施の形態を説明する。
図２５にこの発明の音声処理方法の実施の形態の基本手
順を示す。この実施例ではステップＳ１１で音声強調確
率算出処理を実行し、音声小段落の強調確率及び平静確
率を求める。

【００３６】ステップＳ１２では要約条件入力ステップ
Ｓ１２を実行する。この要約条件入力ステップＳ１２で
は例えば利用者に要約時間又は要約率或は圧縮率の入力
を促す情報を提供し、要約時間又は要約率或は要約率又
は圧縮率を入力させる。尚、予め設定された複数の要約
時間又は要約率、圧縮率の中から一つを選択する入力方
法を採ることもできる。ステップＳ１３では抽出条件の
変更を繰り返す動作を実行し、ステップＳ１２の要約条
件入力ステップＳ１２で入力された要約時間又は要約
率、圧縮率を満たす抽出条件を決定する。

【００３７】ステップＳ１４で要約抽出ステップを実行
する。この要約抽出ステップＳ１４では抽出条件変更ス
テップＳ１３で決定した抽出条件を用いて採用すべき音
声段落を決定し、この採用すべき音声段落の総延長時間
を計算する。ステップ１５では要約再生処理を実行し、
要約抽出ステップＳ１４で抽出した音声段落列を再生す
る。図２６は図２５に示した音声強調確率算出ステップ
の詳細を示す。ステップＳ１０１で要約対象とする音声
波形列を音声小段落に分離する。

【００３８】ステップＳ１０２ではステップＳ１０１で
分離した音声小段落列から音声段落を抽出する。音声段
落とは図１９で説明したように、１つ以上の音声小段落
で構成され、意味を理解できる単位である。ステップＳ
１０３及びステップＳ１０４でステップＳ１０１で抽出
した音声小段落毎に図２２で説明したコードブックと前
記した式（８）、（１０）等を利用して各音声小段落が
強調状態となる確率（以下強調確率と称す）Ｐｓ（ｅ）
と、平静状態となる確率（以下平静確率と称す）Ｐｓ
（ｎ）とを求める。

【００３９】ステップＳ１０５ではステップＳ１０３及
びＳ１０４において各音声小段落毎に求めた強調確率Ｐ
ｓ（ｅ）と平静確率Ｐｓ（ｎ）などを各音声小段落毎に
仕分けして記憶手段に音声強調確率テーブルとして格納
する。図２７に記憶手段に格納した音声強調確率テーブ
ルの一例を示す。図２７に示すＦ１、Ｆ２、Ｆ３…は音
声小段落毎に求めた音声小段落強調確率Ｐｓ（ｅ）と、
音声小段落平静確率Ｐｓ（ｎ）を記録した小段落確率記
憶部を示す。これらの小段落確率記憶部Ｆ１、Ｆ２、Ｆ
３…には各音声小段落Ｓに付された音声小段落番号ｉ
と、開始時刻（言語列の先頭から計時した時刻）終了時
刻、音声小段落強調確率、音声小段落平静確率、各音声
小段落を構成するフレーム数ｆｎ等が格納される。

【００４０】要約条件入力ステップＳ１２で入力する条
件としては要約すべきコンテンツの全長を１／Ｘ（Ｘは
正の整数）の時間に要約することを示す要約率Ｘ（請求
項１記載の要約率を指す）、あるいは要約時間ｔを入力
する。この要約条件の設定に対し、抽出条件変更ステッ
プＳ１３では初期値として重み係数ＷをＷ＝１に設定
し、この重み係数を要約抽出ステップＳ１４に入力す
る。要約抽出ステップＳ１４は重み係数Ｗ＝１として音
声強調確率テーブルから各音声小段落毎に格納されてい
る強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｅ）とを比較
し、 Ｗ・Ｐｓ（ｅ）＞Ｐｓ（ｎ） の関係にある音声小段落を抽出すると共に、更にこの抽
出した音声小段落を一つでも含む音声段落を抽出し、抽
出した音声段落列の総延長時間ＭＴ（分）を求める。

【００４１】抽出した音声段落列の総延長時間ＭＴ
（分）と要約条件で決めた所定の要約時間ＹＴ（分）と
を比較する。ここでＭＴ≒ＹＴ（ＹＴに対するＭＴの誤
差が例えば±数％程度の範囲）であればそのまま採用し
た音声段落列を要約音声として再生する。要約条件で設
定した要約時間ＹＴに対するコンテンツの要約した総延
長時間ＭＴとの誤差値が規定より大きく、その関係がＭ
Ｔ＞ＹＴであれば抽出した音声段落列の総延長時間ＭＴ
（分）が、要約条件で定めた要約時間ＹＴ（分）より長
いと判定し、図２５に示した抽出条件変更ステップＳ１
３を再実行させる。抽出条件変更ステップＳ１３では重
み係数がＷ＝１で抽出した音声段落列の総延長時間ＭＴ
（分）が要約条件で定めた要約時間ＹＴ（分）より「長
い」とする判定結果を受けて強調確率Ｐｓ（ｅ）に現在
値より小さい重み付け係数Ｗ（請求項１記載の所定の係
数の場合は現在値よりも大きくする）を乗算Ｗ・Ｐｓ
（ｅ）して重み付けを施す。重み係数Ｗとしては例えば
Ｗ＝１−０．００１×Ｋ（Ｋはループ回数）で求める。

【００４２】つまり、音声強調確率テーブルから読み出
した音声段落列の全ての音声小段落で求められている強
調確率Ｐｓ（ｅ）の配列に１回目のループではＷ＝１−
０．００１×１で決まる重み係数Ｗ＝０．９９９を乗算
し、重み付けを施す。この重み付けされた全ての各音声
小段落の強調確率Ｗ・Ｐｓ（ｅ）と各音声小段落の平静
確率Ｐｓ（ｎ）とを比較し、Ｗ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出する。この抽出結
果に従って要約抽出ステップＳ１４では抽出された音声
小段落を含む音声段落を抽出し、要約音声段落列を再び
求める。これと共に、この要約音声段落列の総延長時間
ＭＴ（分）を算出し、この総延長時間ＭＴ（分）と要約
条件で定められる要約時間ＹＴ（分）とを比較する。比
較の結果がＭＴ≒ＹＴであれば、その音声段落列を要約
音声と決定し、再生する。

【００４３】１回目の重み付け処理の結果が依然として
ＭＴ＞ＹＴであれば抽出条件変更ステップを、２回目の
ループとして実行させる。このとき重み係数ＷはＷ＝１
−０．００１×２で求める。全ての強調確率Ｐｓ（ｅ）
にＷ＝０．９９８の重み付けを施す。このように、ルー
プの実行を繰り返す毎にこの例では重み係数Ｗの値を徐
々に小さくするように抽出条件を変更していくことによ
りＷＰｓ（ｅ）＞Ｐｓ（ｎ）の条件を満たす音声小段落
の数を漸次減らすことができる。これにより要約条件を
満たすＭＴ≒ＹＴの状態を検出することができる。

【００４４】尚、上述では要約時間ＭＴの収束条件とし
てＭＴ≒ＹＴとしたが、厳密にＭＴ＝ＹＴに収束させる
こともできる。この場合には要約条件に例えば５秒不足
している場合、あと１つの音声段落を加えると１０秒超
過してしまうが、音声段落から５秒のみ再生することで
利用者の要約条件に一致させることができる。また、こ
の５秒は強調と判定された音声小段落の付近の５秒でも
よいし、音声段落の先頭から５秒でもよい。また、上述
した初期状態でＭＴ＜ＹＴと判定された場合は重み係数
Ｗを現在値よりも小さく例えばＷ＝１−０．００１×Ｋ
として求め、この重み係数Ｗを平静確率Ｐｓ（ｎ）の配
列に乗算し、平静確率Ｐｓ（ｎ）に重み付けを施せばよ
い。また、他の方法としては初期状態でＭＴ＞ＹＴと判
定された場合に重み係数を現在値より大きくＷ＝１＋
０．００１×Ｋとし、この重み係数Ｗを平静確率Ｐｓ
（ｎ）の配列に乗算してもよい。

【００４５】また、要約再生ステップＳ１５では要約抽
出ステップＳ１４で抽出した音声段落列を再生するもの
として説明したが、音声付の画像情報の場合、要約音声
として抽出した音声段落に対応した画像情報を切り出し
てつなぎ合わせ、音声と共に再生することによりテレビ
放送の要約、あるいは映画の要約等を行うことができ
る。また、上述では音声強調確率テーブルに格納した各
音声小段落毎に求めた強調確率又は平静確率のいずれか
一方に直接重み係数Ｗを乗算して重み付けを施すことを
説明したが、強調状態を精度良く検出するためには重み
係数Ｗに各音声小段落を構成するフレームの数Ｆ乗して
ＷFとして重み付けを行うことが望ましい。

【００４６】つまり、式（８）及び式（１０）で算出す
る条件付の強調確率Ｐｓ（ｅ）は各フレーム毎に求めた
強調状態となる確率の積を求めている。また平静状態と
なる確率Ｐｓ（ｎ）も各フレーム毎に算出した平静状態
となる確率の積を求めている。従って、例えば強調確率
Ｐｓ（ｅ）に重み付けを施すには各フレーム毎に求めた
強調状態となる確率毎に重み付け係数Ｗを乗算すれば正
しい重み付けを施したことになる。この場合には音声小
段落を構成するフレーム数をＦとすれば重み係数ＷはＷ
Fとなる。

【００４７】この結果、フレームの数Ｆに応じて重み付
けの影響が増減され、フレーム数の多い音声小段落ほ
ど、つまり延長時間が長い音声小段落程大きい重みが付
されることになる。但し、単に強調状態を判定するため
の抽出条件を変更すればよいのであれば各フレーム毎に
求めた強調状態となる確率の積又は平静状態となる積に
重み係数Ｗを乗算するだけでも抽出条件の変更を行うこ
とができる。従って、必ずしも重み付け係数ＷをＷFと
する必要はない。

【００４８】また、上述では抽出条件の変更手段として
音声小段落毎に求めた強調確率Ｐｓ（ｅ）又は平静確率
Ｐｓ（ｎ）に重み付けを施してＰｓ（ｅ）＞Ｐｓ（ｎ）
を満たす音声小段落の数を変化させる方法を採ったが、
他の方法として全ての音声小段落の強調確率Ｐｓ（ｅ）
と平静確率Ｐｓ（ｎ）に関してその確率比Ｐｓ（ｅ）／
Ｐｓ（ｎ）を演算し、この確率比の降順に対応する音声
信号区間（音声小段落）を累積して要約区間の和を算出
し、要約区間の時間の総和が、略所定の要約時間に合致
する場合、そのときの音声信号区間を要約区間と決定し
て要約音声を編成する方法も考えられる。

【００４９】この場合、編成した要約音声の総延長時間
が要約条件で設定した要約時間に対して過不足が生じた
場合には、強調状態にあると判定するための確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）の値を選択する閾値を変更すれば抽
出条件を変更することができる。この抽出条件変更方法
を採る場合には要約条件を満たす要約音声を編成するま
での処理を簡素化することができる利点が得られる。上
述では各音声小段落毎に求める強調確率Ｐｓ（ｅ）と平
静確率Ｐｓ（ｎ）を各フレーム毎に算出した強調状態と
なる確率の積及び平静状態となる確率の積で算出するも
のとして説明したが、他の方法として各フレーム毎に求
めた強調状態となる確率の平均値を求め、この平均値を
その音声小段落の強調確率Ｐｓ（ｅ）及び平静確率Ｐｓ
（ｎ）として用いることもできる。

【００５０】従って、この強調確率Ｐｓ（ｅ）及び平静
確率Ｐｓ（ｎ）の算出方法を採る場合には重み付けに用
いる重み付け係数Ｗはそのまま強調確率Ｐｓ（ｅ）又は
平静確率Ｐｓ（ｎ）に乗算すればよい。図２８を用いて
要約率を自由に設定することができる音声処理装置の実
施例を示す。この実施例では図２４に示した音声強調状
態要約装置の構成に要約条件入力部３１と、音声強調確
率テーブル３２と、強調小段落抽出部３３と、抽出条件
変更部３４と、要約区間仮判定部３５と、この要約区間
仮判定部３５の内部に要約音声の総延長時間を求める総
延長時間算出部３５Ａと、この総延長時間算出部３５Ａ
が算出した要約音声の総延長時間が要約条件入力部３１
で入力した要約時間の設定の範囲に入っているか否かを
判定する要約区間決定部３５Ｂと、要約条件に合致した
要約音声を保存し、再生する要約音声保存・再生部３５
Ｃを設けた構成とした点を特徴とするものである。

【００５１】入力音声は図２３で説明したように、フレ
ーム毎に音声特徴量が求められ、この音声特徴量に従っ
て強調確率計算部１６と平静確率計算部１７でフレーム
毎に強調確率と、平静確率とを算出し、これら強調確率
と平静確率を各フレームに付与したフレーム番号と共に
記憶部１２に格納する。更に、このフレーム列番号に音
声小段落判定部で判定した音声小段落列に付与した音声
小段落列番号が付記され、各フレーム及び音声小段落に
アドレスが付与される。この発明による音声処理装置で
は強調確率算出部１６と平静確率算出部１７は記憶部１
２に格納している各フレームの強調確率と平静確率を読
み出し、この強調確率及び平静確率から各音声小段落毎
に強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）とを求め、
これら強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）を音声
強調テーブル３２に格納する。

【００５２】音声強調テーブル３２には各種のコンテン
ツの音声波形の音声小段落毎に求めた強調確率と平静確
率とが格納され、いつでも利用者の要求に応じて要約が
実行できる体制が整えられている。利用者は要約条件入
力部３１に要約条件を入力する。ここで言う要約条件と
は要約したいコンテンツの名称と、そのコンテンツの全
長時間に対する要約率を指す。要約率としてはコンテン
ツの全長を１／１０に要約するか、或は時間で１０分に
要約するなどの入力方法が考えられる。ここで例えば１
／１０と入力した場合は要約時間算出部３１Ａはコンテ
ンツの全長時間を１／１０した時間を算出し、その算出
した要約時間を要約区間仮判定部３５の要約区間決定部
３５Ｂに送り込む。

【００５３】要約条件入力部３１に要約条件が入力され
たことを受けて制御部１９は要約音声の生成動作を開始
する。その開始の作業としては音声強調テーブル３２か
ら利用者が希望したコンテンツの強調確率と平静確率を
読み出す。読み出された強調確率と平静確率を強調小段
落抽出部３３に送り込み、強調状態にあると判定される
音声小段落番号を抽出する。強調状態にある音声区間を
抽出するための条件を変更する方法としては上述した強
調確率Ｐｓ（ｅ）又は平静確率Ｐｓ（ｎ）に確率比の逆
数となる重み付け係数Ｗを乗算しＷ・Ｐｓ（ｅ）＞Ｐｓ
（ｎ）の関係にある音声小段落を抽出し、音声小段落を
含む音声段落により要約音声を得る方法と、確率比Ｐｓ
（ｅ）／Ｐｓ（ｎ）を算出し、この確率比を降順に累算
して要約時間を得る方法とを用いることができる。

【００５４】抽出条件の初期値としては重み付けにより
抽出条件を変更する場合には重み付け係数ＷをＷ＝１と
して初期値とすることが考えられる。また、各音声小段
落毎に求めた強調確率Ｐｓ（ｅ）と平静確率Ｐｓ（ｎ）
の確率比Ｐｓ（ｅ）／Ｐｓ（ｎ）の値に応じて強調状態
と判定する場合は初期値としてその比の値が例えばＰｓ
（ｅ）／Ｐｓ（ｎ）≧１である場合を強調状態と判定す
ることが考えられる。この初期設定状態で強調状態と判
定された音声小段落番号と開始時刻、終了時刻を表わす
データを強調小段落抽出部３３から要約区間仮判定部３
５に送り込む。要約区間仮判定部３５では強調状態と判
定した強調小段落番号を含む音声段落を記憶部１２に格
納している音声段落列から検索し、抽出する。抽出した
音声段落列の総延長時間を総延長時間算出部３５Ａで算
出し、その総延長時間と要約条件で入力された要約時間
とを要約区間決定部３５Ｂで比較する。比較の結果が要
約条件を満たしていれば、その音声段落列を要約音声保
存・再生部３５Ｃで保存し、再生する。この再生動作は
強調小段落抽出部３３で強調状態と判定された音声小段
落の番号から音声段落を抽出し、その音声段落の開始時
刻と終了時刻の指定により各コンテンツの音声データ或
は映像データを読み出して要約音声及び要約映像データ
として送出する。

【００５５】要約区間決定部３５Ｂで要約条件を満たし
ていないと判定した場合は、要約区間決定部３５Ｂから
抽出条件変更部３４に抽出条件の変更指令を出力し、抽
出条件変更部３４に抽出条件の変更を行わせる。抽出条
件変更部３４は抽出条件の変更を行い、その抽出条件を
強調小段落抽出部３３に入力する。強調小段落抽出部３
３は抽出条件変更部３４から入力された抽出条件に従っ
て再び音声強調確率テーブル３２に格納されている各音
声小段落の強調確率と平静確率との比較判定を行う。

【００５６】強調小段落抽出部３３の抽出結果は再び要
約区間仮判定部３５に送り込まれ、強調状態と判定され
た音声小段落を含む音声段落の抽出を行わせる。この抽
出された音声段落の総延長時間を算出し、その算出結果
が要約条件を満たすか否かを要約区間決定部３５Ｂで行
う。この動作が要約条件を満たすまで繰り返され、要約
条件が満たされた音声段落列が要約音声及び要約映像デ
ータとして記憶部１２から読み出されユーザ端末に配信
される。以上により音声波形を音声小段落及び音声段落
に分離する方法及び各音声小段落毎に強調状態となる確
率及び平静状態となる確率を算出できること及び音声の
要約率を自由に変更して任意の長さの要約音声を得るこ
とができることが理解できよう。

【００５７】尚、上述では要約区間の開始時刻及び終了
時刻を要約区間と判定した音声段落列の開始時刻及び終
了時刻として取り出すことを説明したが、映像付のコン
テンツの場合は要約区間と判定した音声段落列の開始時
刻と終了時刻に接近した映像信号のカット点を例えば特
開平８−３２９２４号公報記載の手段で検出し、このカ
ット点（画面の切替わりに発生する信号を利用する）の
時刻で要約区間の開始時刻及び終了時刻を規定する方法
も考えられる。このように映像信号のカット点を要約区
間の開始時刻及び終了時刻に利用した場合は、要約区間
の切替わりが画像の切替わりに同期するため、視覚上で
視認性が高まり要約の理解度を向上できる利点が得られ
る。

【００５８】以下では上述した各方法を利用したこの発
明による要約情報提供方法、要約情報提供装置及びその
プログラムに関わる実施の形態を説明する。 ［実施例１］これより、実施例１として、たとえば、卒
業予定の学生の採用や、派遣社員の採用、アルバイト・
パート勤務採用などの人材発掘システムにこの発明によ
る要約情報提供方法を適用した実施例を述べる。図１
に、この発明の実施例１を示す。この発明による要約情
報提供装置は属性情報として応募者等の個人情報とその
映像付音声信号を入力する求職者登録部１００と、ネッ
トワーク２００と、データセンタ３００と、このデータ
センタ３００の出力側に設けられた出力部３０９と、採
用者発掘部４００と、課金部５００とによって構成され
る。求職者登録部１００で求職者は求職者であることを
登録する。登録データはネットワーク２００を経由し
て、データセンタ３００に送り込まれ、他の属性情報と
共にデータベースに蓄積される。

【００５９】採用者発掘部４００では希望属性情報とし
て採用条件情報を入力し、希望属性情報を満足する属性
情報をもつ応募者の映像付音声信号の要約部分をデータ
センタ３００から受信し、これを再生した映像乃至音声
を採用者が視聴することによって求職者を選択する手が
かりとする。課金部５００はデータセンタ３００におい
て採用者へのデータ提供、求職者からのデータ入力等の
処理に伴い課金処理を行う。例えば、データセンタから
各処理に応じた課金要求信号を受けて各利用者金融口座
における金融残高から各処理に対する対価相当分を控除
したり、データ管理者の金融口座における金融残高に利
用手数料相当分を加算する。

【００６０】図２は求職者登録部１００の構成の一例を
示す。求職者登録部１００は、個人情報登録部１０１、
映像撮影部１０２、保存記録部１０３、データセンタ送
信部１０４とから構成される。個人情報登録部１０１で
求職者個人の属性情報を入力する。入力に用いる端末は
パーソナルコンピュータ、情報を入出力可能な家電製
品、携帯電話のいずれでもよい。図３は、個人情報登録
画面の典型的な例である。たとえば、ステップＳＩ１０
１−１で求職者の名前を入力し、ステップＳＩ１０１−
２で年齢を入力し、ステップＳＩ１０１−３で住所を入
力し、ステップＳＩ１０１−４で電話番号を入力し、ス
テップＳＩ１０１−５で希望する職種を選択し、ステッ
プＳＩ１０１−６で希望就業日数／週を選択し、ステッ
プＳＩ１０１−７で就業形態を選択し、ステップＳＩ１
０１−８で希望年収を選択し、ステップＳＩ１０１−９
で学歴を入力し、ステップＳＩ１０１−１０で免許など
を入力する。前記ステップＳＩ１０１−１からステップ
ＳＩ１０１−１０は全て選択式でもよく、記述入力式で
もよい。

【００６１】図３で示した個人情報登録画面の登録内容
は、任意であり、その内容に関しては後記するデータセ
ンタ３００の運営者が設定してもよく、また採用者発掘
部４００が設定してもよい。また、全て求職者の自由な
表記にしてもよい。図４は、図２に示した映像撮影部１
０２では映像信号と音声信号を同時に撮影して求職者本
人のＰＲ画像として取得する。図４Ａは撮影機１０２−
１で、自己ＰＲを録画する様子を示す。撮影機１０２−
１は、市販のビデオカメラでも、パーソナルコンピュー
タや、携帯電話に付属した動画撮影可能なカメラでもよ
い。また、ディジタルで録画していても、アナログで録
画していてもよく、ディジタル化されている場合、圧縮
されているか否かはいずれでもよく、圧縮されていた場
合、その圧縮形式はいずれのものでもよい。

【００６２】図４Ｂは求職者が撮影機１０２−１に向っ
て自己ＰＲを行なっている様子を示す。自己ＰＲで使用
する項目は、たとえば、学歴、職歴などは、後記するデ
ータセンタ３００の運用者が設定してもよく、採用者が
設定してもよい。また、全て求職者の自由な表記にして
もよい。図５にデータセンタ３００の運用者、もしくは
採用者が設定した場合の自己ＰＲ用の項目を挙げる。た
とえば、求職者は各項目をＰＲする際、「私の名前は
…」のように項目名を発言するなどのルールを決めても
よく、また各項目毎に撮影するなどのルールを設定し
て、各項目のＰＲ開始時刻を、たとえば映像の切り替わ
りで示してもよく、あるいは、前記ルールを一切決めな
くてもよい。

【００６３】保存記録部１０３は、たとえば、パーソナ
ルコンピュータなどに撮像データをディジタル化してフ
ァイルとして保存する。この時、ディジタル化したファ
イルは圧縮されているか否かはいずれでもよく、圧縮す
る場合においても、いずれの圧縮形式でもよい。データ
センタ送信部１０４（図２）は、前記個人情報登録部１
０１で登録した個人情報と保存記録部１０３で保存した
自己ＰＲ映像を後記するデータセンタ３００へ送信す
る。送信方法としてはたとえば、ディジタル化された自
己ＰＲ映像ファイルをネットワーク２００を経由してデ
ータセンタ３００へ送信してもよい。ただし、データセ
ンタ３００で自己ＰＲビデオをディジタル化する場合、
前記保存記録部１０３におけるディジタル化して保存す
る手続きは不必要である。

【００６４】ネットワーク２００はインターネット、Ｌ
ＡＮ、電話回線、ＢＳ、ＣＳ、ＣＡＴＶのいずれでもよ
い。たとえば、インターネットプロバイダーなどのネッ
トワーク仲介者が運用したものでよい。図６はデータセ
ンタ３００の構成の一例を示す。データセンタ３００は
求職者データ入力部３０１、求職者個人情報データベー
ス３０２と、自己ＰＲ音声映像データベース３０３と、
採用条件入力部３０４と、検索部３０５と、自己ＰＲ音
声映像要約部３０６と、自己ＰＲ音声映像配信部３０７
と、採用者評価部３０８と、連絡部３０９とから構成さ
れる。

【００６５】求職者データ入力部３０１は、前記データ
センタ送信部１０４（図２）から送信された求職者の属
性情報と自己ＰＲ音声映像ファイルを入力し、求職者個
人情報データベース３０２と自己ＰＲ音声映像データベ
ース３０３に保存する。採用条件入力部３０４は、採用
者からの希望属性情報となる採用条件項目を入力する。
図７に、希望属性情報となる採用条件項目の例を示す。
たとえば、採用者は採用の条件として、学歴や業務経験
などを指定する。採用条件項目は、何らかのフォーマッ
トにしたがってたとえばパーソナルコンピュータで作成
してもよく、マウスなどの機器を用いて選択する方法で
あってもよい。入力はたとえば、インターネットのホー
ムページから入力するものでもよい。検索部３０５は求
職者個人情報データベース３０２から、採用条件入力部
３０４で採用者から入力された希望属性情報と一致する
属性情報を検索する。希望属性情報と一致する属性情報
がない場合、最も希望属性情報に近い属性情報を検索す
る。自己ＰＲ音声映像要約部３０６は検索部３０５で検
索した属性情報に該当する自己ＰＲビデオを要約する。

【００６６】図８に自己ＰＲ音声映像要約部３０６の一
例を示す。自己ＰＲ音声映像要約部３０６は要約条件入
力部３０６−１と、自己ＰＲ音声映像入力部３０６−２
と、映像・音声分離部３０６−３と、自己ＰＲ項目検出
部３０６−４と、カット点抽出部３０６−５と、音声認
識部３０６−６と、音声映像要約部３０６−８と、映像
編集部３０６−９とによって構成される。要約条件入力
部３０６−１は、たとえば、採用者が入力した希望属性
情報を採用者発掘部４００に相当する端末からネットワ
ーク２００を介して入力するか又はデータセンタ３００
の運用者が設定することができる。入力は例えばパーソ
ナルコンピュータ上の画面にて行うことができる。

【００６７】図９に要約条件入力のための画面につい
て、典型的な例を示す。要約条件としては一人あたりの
自己ＰＲ映像の視聴を、視聴時間で設定するか又は映像
のシーン数で設定するかを選択する。図９に示す例で
は、ステップＳＩ３０６−１−１を選択しており、左の
丸印がチェックされている。視聴時間を選択した場合、
ステップＳＩ３０６−１−２で、採用者の希望する視聴
時間を要約時間として入力して各求職者当たり略この視
聴時間に自己ＰＲ映像を要約することになる。図９で
は、３０秒に設定している。尚、視聴シーン数を選択し
た場合はステップＳＩ３０６−１−４で、採用者の希望
するシーン数を入力する。

【００６８】自己ＰＲ映像入力部３０６−２では自己Ｐ
Ｒ音声映像データベース３０３から検索部３０５で検索
された人材の自己ＰＲ映像を入力し、映像・音声分離部
３０６−３で映像から音声を分離する。ただし、元の自
己ＰＲ映像は音声付のまま保存しておき、分離した音声
をたとえば、ハードディスクやコンピュータのメモリ上
に保存しておく。後記する音声処理を施す場合は、映像
・音声分離部３０６−３で分離した音声を用いる。また
映像処理を施す場合は音声付の自己ＰＲ映像を用いる。

【００６９】自己ＰＲ項目検出部３０６−４では自己Ｐ
Ｒ項目を検出する。自己ＰＲ映像のＰＲ項目があらかじ
めデータセンタ３００の運用者や採用者が設定している
場合、前記のように、求職者がＰＲ項目毎に撮影し一旦
撮影機の録画を停止することでその前後のフレーム間で
の映像情報の差が著しくなり、映像にカット点が出現す
る。カット点抽出部３０６−５ではこのカット点を利用
して各ＰＲの開始時刻と終了時刻を得ることができる。
また、求職者がデータセンタ３００に登録する際に、Ｐ
Ｒ項目ごとに自己ＰＲ映像ファイルを作成しておいても
よい。また、各ＰＲ項目の開始にあたって、たとえば、
図５の７番目のＰＲ項目において求職者が「これからの
仕事で一番してみたいことは…」と発話することで、音
声認識部３０６−７で各ＰＲの開始時刻と終了時刻を得
ることができる。

【００７０】音声認識方法については、たとえば、日本
国特開平８−６５８８号などに示されている。音声映像
要約部３０６−８は、上述した強調状態判定手段により
発話の強調状態を検出し、聴取して意味の理解できる単
位としての音声段落を抽出し、強調を含む音声段落をつ
なぎ合わせて先に説明した方法により要約音声を生成す
る。これと共に、要約音声区間に対応する映像を切り出
して要約映像情報を得る。図１０は自己ＰＲ映像要約の
手段の模式図である。ステップＳＩ３０６−８−１で上
述した強調確率を時系列で求め、ステップＳＩ３０６−
８−２で音声段落を抽出する。ステップＳＩ３０６−８
−３で抽出した音声段落が強調を含む音声段落である場
合、対応するステップＳＩ３０６−８−４の自己ＰＲ映
像を、自己ＰＲ要約映像に用いる候補とする。要約条件
入力部３０６−１（図８）で設定された要約条件につい
て、たとえば、図９で示した自己ＰＲ視聴時間を一人当
り３０秒で再生する条件の場合の、自己ＰＲ映像要約方
法について、図１１に示す。以下にその実施例について
述べる。

【００７１】ステップＳＩ３０６−８−５で強調状態区
間を含む音声段落区間を抽出する。音声段落の各々の強
調確率からステップＳＩ３０６−８−６で、音声段落毎
に求められる強調確率もしくは強調確率の平静状態であ
る確率に対する確率比の降順に強調の順位を定める。ス
テップＳＩ３０６−８−７では自己ＰＲ視聴時間を例え
ば一人当り３０秒で作成するために、定められた強調の
順位ごとに音声段落毎の再生時間を累積し、与えられた
視聴時間（この場合３０秒）に最も近似するように音声
段落の数を決定する。図１１に示す例では、ステップＳ
Ｉ３０６−８−６で付与した強調の順位に従い、３つの
音声段落（可と判定した音声段落）をつなぎ合わせた場
合に、３０秒の自己ＰＲ要約映像となる例である。ステ
ップＳＩ３０６−８−８で、前記ステップＳＩ３０６−
８−７で可と判定した３つの音声段落について、再生順
序を決める。たとえば、ステップ３０６−８−８に示す
ように時系列に再生すればよく、また、前記ステップＳ
Ｉ３０６−８−６で付与した強調の順位にしたがって再
生してもよい。ステップＳＩ３０６−８−９で自己ＰＲ
要約映像を作成する。自己ＰＲ要約映像は、ステップＳ
Ｉ３０６−８−８で決定した再生順序に従って音声段落
をつなぎ合わせて生成される。

【００７２】自己ＰＲ音声映像配信部３０７（図６参
照）は自己ＰＲ映像要約部３０６で作成した自己ＰＲ要
約音声映像と個人情報を含む属性情報を採用者発掘部４
００へ送信する。採用者発掘部４００が自己ＰＲ音声映
像配信部３０７から受信した求職者の自己ＰＲ要約音声
映像を視聴した後、（求職者の映像を視聴して）採用者
の評価情報を入力し、データセンタ３００の採用者評価
受信部３０８に送信する。ここで得た採用者の評価を必
要に応じて求職者登録部１００である求職者端末に送信
する。

【００７３】図１３は採用者発掘部４００の動作を説明
するための流れ図を示す。ステップＳＩ４０２で採用者
が採用条件を入力する。たとえば、図７のような項目に
ついて条件を入力する。ステップＳＩ４０３で自己ＰＲ
映像要約条件を入力する。たとえば、図９のように入力
する。ステップＳＩ４０４で自己ＰＲ要約映像を視聴
し、ステップＳＩ４０５で再度自己ＰＲ要約映像を視聴
するか否かを示す情報を入力する。再度自己ＰＲ要約映
像を視聴する場合、ステップＳＩ４０６で前記ステップ
ＳＩ４０２の採用条件と同じであるかを示す情報を入力
し、同じでない場合、ステップＳＩ４０２の採用条件を
入力しなおす。ステップＳＩ４０２の採用条件と同じ場
合、ステップＳＩ４０７で自己ＰＲ要約条件は同じであ
るかを示す情報を入力し、同じでない場合ステップＳＩ
４０３の自己ＰＲ映像要約条件を入力しなおす。

【００７４】たとえば、３０秒の自己ＰＲ要約映像を視
聴し、求職者の採用に前向きに検討する場合などに、２
度目以降は６０秒の自己ＰＲ要約映像を視聴するなどの
利用法がある。ステップＳＩ４０５で再度自己ＰＲ要約
映像の視聴を希望しない場合、ステップＳＩ４０８で自
己ＰＲ映像を視聴するかを示す情報を入力し、要約でな
くもとの自己ＰＲ映像を視聴する場合、ステップＳＩ４
０９で自己ＰＲ映像を視聴し、ステップＳＩ４１０で再
度自己ＰＲ映像を視聴するかを示す情報を入力し、再度
視聴する場合は、ステップＳＩ４０９へ、視聴しない場
合は、ステップＳＩ４１１で求職者と面接するか否かを
示す情報を入力する。

【００７５】ステップＳＩ４０８で自己ＰＲ映像の視聴
を希望しない場合も同様にステップＳＩ４１１で求職者
と面接するか否かを示す情報を入力する。面接を希望す
る場合、ステップＳＩ４１２で求職者の端末に面接希望
を示す情報を送信する。ここで面接とは、たとえば、求
職者連絡部３０９（図６参照）から求職者に連絡し、場
所を設定して採用者と求職者が面接してもよく、また、
採用者から直接求職者へ連絡して面接場所を決定しても
よい。また、直接面接を行わず、インターネット電話な
どのネット家電装置を用いて面接を行ってもよい。

【００７６】ステップＳＩ４１１で求職者との面接を希
望しない場合、ステップＳＩ４１３で求職者を採用する
かを示す情報を入力する。採用を決定する場合もステッ
プＳＩ４１２で求職者の端末へ決定情報を送信して連絡
する。採用を決定しない場合、ステップＳＩ４１４で採
用を保留することを示す情報を入力する。後程検討する
か選択する。後ほど選択することを示す信号を入力した
場合、ステップＳＩ４１５で求職者を採用することを示
す情報を保持し、保留しないことを示す情報を入力した
場合、求職者端末に不採用を示す情報を送信する。ステ
ップＳＩ４１６で採用保留者以外、まだ自己ＰＲ要約映
像を一度も見ていない求職者の自己ＰＲ要約映像を視聴
するかを示す情報を入力する。ステップＳＩ４１２で求
職者の端末に面接希望を示す情報を送信した後同様にス
テップＳＩ４１６で求職者の自己ＰＲ要約映像を視聴す
るかを示す情報を入力する。また、ステップＳＩ４１５
で求職者を採用保留にした後も同様にステップＳＩ４１
６で自己ＰＲ要約映像を視聴するかを示す情報を入力す
る。

【００７７】別の求職者の視聴を希望する場合、ステッ
プＳＩ４０６を実行し、以降のステップを繰り返す。ス
テップＳＩ４１６で別の求職者の視聴を希望しない情報
を入力する場合、ステップＳＩ４１７で保留した求職者
の自己ＰＲ要約映像を視聴するかを示す情報を入力しス
テップＳＩ４０６の選択を行う。前記を繰り返すことに
より、採用者の希望する求職者を決定し、ステップＳＩ
４１８で終了する。図１４は課金部５００を構成するコ
ンピュータで実行される課金のための手順を示す。課金
手順は求職者登録料課金ステップＳＩ５０１と、利用者
登録料課金ステップＳＩ５０２と、自己ＰＲ要約映像視
聴料課金ステップＳＩ５０３と、自己ＰＲ映像視聴料課
金ステップＳＩ５０４と、仲介料課金ステップＳＩ５０
５とからなり、前記いずれか一つでも当てはまれば成立
する。

【００７８】求職者登録料部課金ステップＳＩ５０１で
は求職者が求職のためにデータセンタに登録する際に登
録料金を課金処理する。つまり、この課金処理は例えば
求職者金融口座における金融残高から登録料金相当分を
控除し、データ管理者の金融口座における金融残高に登
録処理手数料相当分を加算する手順で実行される。登録
料としては例えば年間登録料３０００円などと設定し、
その期間中求職者はデータセンタ３００に個人情報、自
己ＰＲ映像などを登録することができる。採用者登録料
課金ステップＳＩ５０２では採用者が採用のためにデー
タセンタに登録する料金を課金処理する。この課金処理
は、例えば採用者金融口座における金融残高から登録の
ための料金相当分を控除し、データ管理者の金融口座に
おける金融残高に登録処理手数料相当分を加算する手順
で実行される。

【００７９】この場合の登録料としては例えば、年間登
録料１００００円などと設定し、その期間中採用者はデ
ータセンタ３００に登録してある求職者情報と、求職者
の自己ＰＲ映像を視聴することができる。自己ＰＲ要約
映像視聴料課金ステップＳＩ５０３では採用者が視聴し
た求職者人数や、自己ＰＲ要約映像の視聴時間に応じて
課金処理する。この課金処理も、例えば採用者金融口座
における金融残高から視聴人数又は視聴時間に対応した
利用料金相当分を控除し、データ管理者の金融口座にお
ける金融残高に利用手数料相当分を加算する手順で実行
される。利用料金としては例えば、（１００円／求職
者）という料金を設定してもよい。あるいは、（１００
０円／１時間）と設定してもよい。また、求職者の自己
ＰＲ要約映像を採用者が視聴する毎にその視聴料金を例
えば（１００円／採用者）と設定し、求職者の金融口座
からその視聴料金相当分を控除してもよい。

【００８０】自己ＰＲ映像視聴料課金ステップＳＩ５０
４では採用者が自己ＰＲ映像を視聴した場合、採用者が
視聴した求職者人数や、自己ＰＲ映像の視聴時間に応じ
た利用料金相当分を採用者に課金処理する。この課金処
理は採用者の金融口座の残高データから利用料金相当分
データを控除し、その利用料金相当分データをデータ管
理者の金融口座の残高に加算する手順で実行する。自己
ＰＲ映像の利用料金としては例えば（１０００円／求職
者）と設定することができる。または（１０００円／１
時間）に設定してもよい。また、自己ＰＲ要約映像を採
用者が視聴する際に（１０００円／採用者）と設定し、
この場合には自己ＰＲ要約映像を視聴された求職者に視
聴した採用者の人数分の利用料金を課金してもよい。

【００８１】仲介料課金ステップＳＩ５０５では図１３
に示したステップＳＩ４１２の求職者へ連絡する場合に
課金し、たとえば、面接１回につき１０００円を採用者
に課金するなどする。あるいは、採用が決定する毎に１
００００円を採用者に課金する、または１００００円を
求職者への課金処理を行う形態であってもよい。この結
果から明らかな様に、従来の技術に比べて、音声要約技
術を用いることで、自己ＰＲ映像の要約が可能となる改
善があった。また、採用者の希望する時間やシーン数で
自己ＰＲ要約映像を視聴することが可能となり、採用者
の採用活動の稼動を軽減する改善があった。また、採用
者は希望する求職者の映像を任意に視聴することが可能
となり、求職者の映像を採用者に強く印象付けることが
可能となり、採用活動の効率化が出来る改善があった。
また、求職者は自己ＰＲ映像を採用者に視聴され、テキ
スト情報以外に自己アピールを行うことが可能となり、
テキスト情報に依存しない求職活動が出来る改善があっ
た。 ［実施例２］実施例１の応用としてこれより実施例２に
ついて図１５及び図１６を用いて説明する。

【００８２】図１５に示す要約条件入力部３０６−１
と、自己ＰＲ映像入力部３０６−２と、映像・音声分離
部３０６−３と、自己ＰＲ項目検出部３０６−４と、カ
ット点抽出部３０６−５と、音声認識部３０６−６と、
音声要約部３０６−８は図８に示したものに同じであ
る。この実施例２では音声要約部３０６−８の処理の後
に、音声キーワード抽出部３０６−９と、表情抽出部３
０６−１０と、映像編集部３０８−１１の処理を施す点
と、音声認識部３０６−６における音声認識処理の後に
テキスト要約部３０６−１２の処理を施す手順とした点
を特徴とするものである。

【００８３】音声キーワード抽出部３０６−９で実行さ
れる音声キーワード抽出ステップでは発話された言葉の
中から繰り返し強調されて発せられる単語らしさを示す
確率（キーワード尤度）を求める。キーワード抽出につ
いては、たとえば、「標準パターンの任意区間によるス
ポッティングのためのReference Interval-free連続DP
(RIFCDP)」（伊藤 慶明、木下 次郎、小島 浩、関
進、岡 隆一、信学技報、ＳＰ９５−３４、１９９５−
０６）などに示されている。表情抽出部３０６−１０で
実行される表情抽出方法については、たとえば特開平１
１−２３２４５６号公報などに示されている方法を利用
できる。無表情を基準とした時の、基本表情（怒り、嫌
悪、恐れ、悲しみ、幸福、驚き）らしさを示す確率（基
本表情尤度）の時系列を求める。

【００８４】映像編集部３０６−１１では音声要約部３
０６−８で得た強調状態と判定された音声段落区間情報
に加えて、キーワード抽出部３０６−９で得たキーワー
ド尤度が所定の第１の閾値以上の映像区間または基本表
情尤度が所定の第２の閾値以上の映像区間を要約区間と
して抽出し、この要約区間を自己ＰＲ要約映像としても
よい。図１６に実施例２の自己ＰＲ要約映像作成方法の
模式図を示す。ステップＳII３０６−１１−１は強調を
含む音声段落区間を、ステップＳII３０６−１１−２で
強調確率を、ステップＳII３０６−１−３はキーワード
尤度を、ステップＳII３０６−１１−４は基本表情尤度
をそれぞれ求めている。

【００８５】ステップＳII３０６−１１−２、ステップ
ＳII３０６−１１−３、ステップＳII３０６−１１−４
で求めた確率を、乗じて確率値を求め、この確率値に基
づいてステップＳII３０６−１１−１で求めた強調状態
と判定された音声段落区間から要約区間を更に抽出す
る。例えば、確率値が所定の閾値よりも大きい区間を要
約区間と決定し、順次つなぎ合わせて自己ＰＲ要約映像
を生成してもよい。確率値の乗算においては、前記３つ
の確率を各々異なる寄与率で重み付けしてもよい。たと
えば、強調確率の効果を大きく、基本表情尤度の効果を
小さくするなどして重み付けを行なってもよい。

【００８６】上述した様に、この実施例２によれば従来
の技術に比べて、キーワード尤度を用いることで、自己
ＰＲ要約映像に、求職者の言いまわし癖が含まれ、ま
た、求職に対する求職者のキーポイントを含む自己ＰＲ
要約映像を作成することが可能となる改善があった。ま
た、基本表情尤度を用いることで、映像情報にのみ含ま
れる求職者の表情を含んだ自己ＰＲ要約映像を作成する
ことが可能となり、採用者が求職者特有の表情を採用の
評価に加えることが可能となる改善があった。以上説明
したこの発明による要約情報提供方法はデータセンタ３
００を構成する計算機により本発明の要約情報提供プロ
グラムを実行して実現できる。ここで当該プログラムを
通信回線を介してダウンロードしたり、ＣＤ−ＲＯＭや
磁気ディスク等の記憶媒体からＣＰＵのような処理手段
にインストールして実行される。

【００８７】

【発明の効果】この結果から明らかな様に、従来の技術
に比べて、音声要約技術を用いることで、自己ＰＲ映像
の要約の自動化が可能となる効果がある。また、採用者
の希望する時間やシーン数で自己ＰＲ要約映像を視聴す
ることが可能となり、採用者の採用活動の稼動を軽減す
る効果がある。また、採用者は希望する求職者の映像を
任意に視聴することが可能となり、求職者の映像を採用
者に強く印象付けることが可能となり、採用活動の効率
化が行える効果がある。また、求職者は自己ＰＲ映像を
採用者に視聴され、テキスト情報以外に自己アピールを
行うことが可能となり、テキスト情報に依存しない求職
活動が出来る効果がある。

【００８８】また、実施例２で説明したキーワード尤度
を用いることで、自己ＰＲ要約映像に、求職者の言いま
わしや癖が含まれ、また、求職に対する求職者のキーポ
イントを含む自己ＰＲ要約映像を作成することが可能と
なる効果があった。また、基本表情尤度を用いること
で、映像情報にのみ含まれる求職者の表情を含んだ自己
ＰＲ要約映像を作成することが可能となり、採用者が求
職者特有の表情を採用の評価に加えることが可能となる
効果が得られる。

【図面の簡単な説明】

【図１】この発明による要約情報配信システムの基本構
成を説明するためのブロック図。

【図２】図１に示した求職者登録部の構成を説明するた
めのブロック図。

【図３】図２に示した求職者登録部で行なわれる個人情
報を登録する手順を説明するための流れ図。

【図４】図２に示した映像撮影部のデータ取得状況を説
明するための図。

【図５】図２に示した求職者が自己ＰＲ映像を撮影する
際の、ＰＲする項目の例を示す図。

【図６】図１に示したデータセンタの内部の構成を説明
するためのブロック図。

【図７】図６に示した採用条件入力部に採用条件を入力
する例を示す図。

【図８】図６に示した自己ＰＲ音声映像要約部の構成の
一例を説明するためのブロック図。

【図９】図８に示した要約条件入力部に要約条件を入力
する例を示す図。

【図１０】図８に示した音声映像要約部の動作を説明す
るための流れ図。

【図１１】図８に示した映像編集部の動作を説明するた
めの流れ図。

【図１２】図１１に示した自己ＰＲ要約音声映像情報
に、自己ＰＲ項目のテロップを入力する例を示す流れ
図。

【図１３】図１に示した採用者発掘部において採用者が
採用を決定するまでの手順の例を示す流れ図。

【図１４】図１に示した課金部において、課金の手順の
例を示す流れ図。

【図１５】この発明の実施例２を説明するための流れ
図。

【図１６】図１５に示した映像編集部において、自己Ｐ
Ｒ要約音声映像を生成する例を説明するための流れ図。

【図１７】先に提案した音声要約方法を説明するための
フローチャート。

【図１８】先に提案した音声段落の抽出方法を説明する
ためのフローチャート。

【図１９】音声段落と音声小段落の関係を説明するため
の図。

【図２０】図１７に示したステップＳ２における入力音
声小段落の発話状態を判定する方法の例を示すフローチ
ャート。

【図２１】先に提案した音声要約方法に用いられるコー
ドブックを作成する手順の例を示すフローチャート。

【図２２】この発明において用いられるコードブックの
記憶例を示す例。

【図２３】発話状態尤度計算を説明するための波形図。

【図２４】先に提案した音声強調状態判定装置及び音声
要約装置の一実施例を説明するためのブロック図。

【図２５】要約率を自由に変更することができる要約方
法を説明するためのフローチャート。

【図２６】音声の要約に用いる音声小段落の抽出動作と
各音声小段落の強調確率算出動作、音声小段落平静確率
抽出動作を説明するためのフローチャート。

【図２７】音声要約装置に用いる音声強調確率テーブル
の構成を説明するための図。

【図２８】要約率を自由に変更することができる音声要
約装置の一例を説明するためのブロック図。

【符号の説明】

１００ 求職者登録部 ２００ ネットワーク ３００ データセンタ ３０１ 求職者データ入力部 ３０２ 求職者個人情報データベース ３０３ 自己ＰＲ音声映像データベース ３０４ 採用条件入力部 ３０５ 検索部 ３０６ 自己ＰＲ音声映像要約部 ３０７ 自己ＰＲ音声映像配信部 ３０８ 採用者評価受信部 ３０９ 連絡部 ４００ 採用者発掘部 ５００ 課金部

フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ１０Ｌ 11/02 Ｇ１０Ｌ 3/00 ５２１Ｕ 15/00 Ｈ０４Ｎ 5/91 Ｎ 15/04 Ｇ１０Ｌ 3/00 ５５１Ｇ 15/06 ５１３Ｂ 15/10 ５３１Ｎ Ｈ０４Ｎ 5/91 ５５１Ａ ５１３Ａ (72)発明者 水野 理 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 桑野 秀豪 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 児島 治彦 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 5B075 ND12 ND14 NK06 NS01 UU08 5C053 FA14 JA01 JA30 LA01 5D015 CC18 FF00

Claims (5)

【特許請求の範囲】
1. 【請求項１】 項目別に映像信号と同時に収録された音
   声信号と該音声信号の属性情報とを対応付けて蓄積する
   データ蓄積手段と、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率とを対応して格納した
   符号帳とを用い、 希望属性情報を入力し、前記希望属性情報で示される条
   件を満足する属性情報と該属性情報に対応する項目別の
   映像信号と音声信号を前記データ蓄積手段から読み出
   し、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する強調状態での出現確率を求め、 前記強調状態での出現確率に基づいて強調状態となる確
   率を算出し、 前記強調状態となる確率が所定の確率よりも大きい音声
   信号区間を要約区間と判定し、 前記要約区間の映像信号と前記読み出された属性情報の
   少なくとも一部を出力することを特徴とする要約情報提
   供方法。
2. 【請求項２】 前記要約区間は、前記符号帳が少なくと
   も基本周波数又はピッチ周期、パワー、動的特徴量の時
   間変化特性、又はこれらのフレーム間差分を含む特徴量
   と強調状態での出現確率に対応して平静状態での出現確
   率が格納され、 前記音声信号をフレーム毎に分析した前記特徴量に対応
   する平静状態での出現確率を求め、 前記平静状態での出現確率に基づいて平静状態となる確
   率を算出し、 前記強調状態となる確率の前記平静状態となる確率に対
   する確率比を音声信号区間ごとに算出し、 前記確率比の降順に対応する音声信号区間の時間を累積
   して要約区間の時間の総和を算出し、 前記要約区間の時間の総和が所定の要約時間となる音声
   信号区間を要約区間と決定することを特徴とする請求項
   １記載の要約情報提供方法。
3. 【請求項３】 前記音声信号をフレームごとに無音区間
   か否か、有声区間か否か判定し、 所定フレーム数以上の無音区間で囲まれ、有声区間を含
   む部分を音声小段落と判定し、 音声小段落に含まれる有声区間の平均パワーが該音声小
   段落内の平均パワーの所定の定数倍より小さい音声小段
   落を末尾とする音声小段落群を音声段落と判定し、 前記音声信号区間は音声段落ごとに定められたものであ
   り、 前記要約時間を音声段落ごとに累積して求め、 前記強調状態の確率又は前記確率比の降順に音声段落ご
   とに前記要約区間の映像信号と音声信号を出力すること
   を特徴とする請求項１又は２の何れかに記載の要約情報
   提供方法。
4. 【請求項４】 項目別に映像信号と同時に収録された音
   声信号と、該音声信号の属性情報とを対応付けて蓄積す
   るデータ蓄積手段と、 少なくとも基本周波数又はピッチ周期、パワー、動的特
   徴量の時間変化特性、又はこれらのフレーム間差分を含
   む特徴量と強調状態での出現確率とを対応付けて格納し
   た符号帳とを用い、 希望属性情報を入力し、前記希望属性情報で示される条
   件を満足する属性情報と該属性情報に対応する項目別の
   映像信号と音声信号を前記データ蓄積手段から読み出
   し、前記音声信号をフレーム毎に分析した前記特徴量に
   対応する強調状態での出現確率を求め前記強調状態での
   出現確率に基づいて強調状態となる確率を算出する強調
   状態確率計算部と、 前記強調状態となる確率が所定の確率より大きい音声信
   号区間を要約区間と判定する要約区間決定部と、 前記要約区間の映像信号と前記読み出された属性情報の
   少なくとも一部を出力する出力部とを具備していること
   を特徴とする要約情報提供装置。
5. 【請求項５】 コンピュータが読取り可能な符号によっ
   て記述され、前記請求項１乃至４記載の要約情報提供方
   法の何れかをコンピュータ上で実行することを特徴とす
   る要約情報提供プログラム。