撮像装置
【課題】撮像した資料に含まれる文章を自動で拡大させることにより、使い勝手をよくした撮像装置を提供する。
【解決手段】撮像装置１０は、撮像した資料Ｄの第１画像を符号化して原画像を形成する。画像処理手段は、原画像に係る原画像データを読み込んで、原画像を多階調画像に変換し、閾値を設定する。該閾値で多階調画像を文字を表す文字画素と背景を表す背景画素とからなる２階調画像に変換する。文字画素を連結して基本領域を形成し、２階調画像上のノイズを除去してから、基本領域を拡張して複数の文字からなる文章を含んだ拡張領域を形成する。拡張領域と該拡張領域の周囲の背景をあわせて矩形状の文章記載領域を形成し、２階調画像上に形成された文章記載領域に係る情報を原画像にマッピングして、文章記載領域に対応する表示領域を原画像上に形成し、該表示領域を原画像から切り出して、モニタ画面２１の大きさにあわせて引き伸ばすようにした。
【解決手段】撮像装置１０は、撮像した資料Ｄの第１画像を符号化して原画像を形成する。画像処理手段は、原画像に係る原画像データを読み込んで、原画像を多階調画像に変換し、閾値を設定する。該閾値で多階調画像を文字を表す文字画素と背景を表す背景画素とからなる２階調画像に変換する。文字画素を連結して基本領域を形成し、２階調画像上のノイズを除去してから、基本領域を拡張して複数の文字からなる文章を含んだ拡張領域を形成する。拡張領域と該拡張領域の周囲の背景をあわせて矩形状の文章記載領域を形成し、２階調画像上に形成された文章記載領域に係る情報を原画像にマッピングして、文章記載領域に対応する表示領域を原画像上に形成し、該表示領域を原画像から切り出して、モニタ画面２１の大きさにあわせて引き伸ばすようにした。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に少なくとも文章が記載された書面を撮像する撮像装置に関する。
【背景技術】
【０００２】
公知の撮像装置は、被写体を撮像して画像を形成する撮像部と、該画像を電気的に変換して画像データを形成する画像処理部と、該画像データに係る画像信号をモニタ、プロジェクタ等の映像表示機器に出力する出力部とからなる。そして、撮像装置は、例えば、図１に示すような、資料提示装置１０Ａ或いは拡大読書器１０Ｂがある。資料提示装置１０Ａは、授業、プレゼンテーション、或いは講演会において、話者が発言と並行して、机上に戴置した資料を聴衆に対して提示するために使用されている。また、拡大読書器１０Ｂは、書面に記載されている文字を所定の倍率で拡大して弱視者の読書を補助するために使用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】引用なし
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の撮像装置は、撮像した資料に記載されている文章を状況に応じて拡大させる場合がある。その場合、拡大する対象の文章をカメラの撮影範囲内に移動させる操作、当該文章を適当な倍率で拡大する操作、及び拡大した文章にフォーカスをあわせる操作と複数の操作を要する。
そのため、上記のような文章を拡大する一連の操作を複数回に亘って繰り返すと、授業、プレゼンテーション、或いは講演会のような場においては、話者の進行と資料の提示のタイミングがズレる場合があるので、聴衆の集中力を削ぐおそれがある。また、拡大読書器の場合には、操作に気をとられて読書に集中できなくなるおそれがある。
【０００５】
そこで本発明が解決しようとする課題は、撮像した資料に含まれる文章を自動で拡大させることにより、使い勝手をよくした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の撮像装置は、複数の文字を連ねて所定の情報を表す文章が記載された資料を撮像する撮像手段と、
該撮像手段で形成された画像を符号化し、圧縮し、その他所定の画像処理を施して、モニタ画面又はこれに類する表示画面へ表示するために最適化された原画像を形成する画像処理手段と、
該原画像を構成する原画像信号を前記表示画面を備えた表示装置に向けて出力する出力手段とを有する撮像装置であって、
前記画像処理手段は、前記原画像から前記文章を抽出する文章抽出手段と、抽出した文章を拡大する文章拡大手段を有し、
前記文章抽出手段は、
白色から灰色を経て黒色まで明暗が段階的に異なる複数の階調からなるグレースケールにしたがって、前記原画像を変換して多階調画像を形成する多階調変換手段と、
前記灰色の濃度値のうち、所定の濃度値を閾値として設定する閾値設定手段と、
該閾値に基づいて、前記多階調画像を変換し、前記文字を構成する黒色の文字画素と、前記文字以外の背景を表す白色の背景画素とからなる２階調画像を形成する２階調変換手段と、
前記２階調画像の一の前記文字画素と、該文字画素の近傍に配されている他の文字画素とを連結して基本領域を区画形成する画素連結手段と、
前記文字画素の近傍に配されている前記背景画素を前記文字画素に変換して、前記基本領域を拡張して拡張領域を区画形成する領域拡張手段とを有し、
前記２階調画像に区画形成されている前記拡張領域に対応する表示領域を前記原画像から抽出し、
該表示領域を前記文書拡大手段で拡大して、
拡大した前記表示領域を構成する表示領域信号を前記出力手段で出力するようにしたことを特徴とする。
【０００７】
請求項２に記載の撮像装置は、請求項１に記載の発明において、前記文章拡大手段は、
前記２階調画像上の前記拡張領域の位置、大きさ、又は範囲に係る情報を取得する領域情報取得手段と、
前記表示画面の大きさに係る情報を取得し、当該表示画面の大きさと前記拡張領域の大きさとを照合して、前記拡張領域の拡大倍率を調整する表示画面判定手段と、
前記拡張領域、及び該拡張領域の周囲の前記背景からなる矩形状の前記文章記載領域を前記２階調画像に区画形成する文章記載領域形成手段と、
該文章記載領域に対応する前記表示領域を前記原画像から切り出す表示領域切り出し手段と、
切り出した前記表示領域を、前記表示画面の大きさにあわせて前記拡大倍率で引き伸ばす表示領域引き伸ばし手段とを有することを特徴とする。
【０００８】
請求項３に記載の撮像装置は、請求項１若しくは請求項２に記載の発明において、前記画像処理手段は、
前記２階調画像に区画形成されている複数の前記拡張領域にそれぞれ識別番号を付与する領域識別手段と、
該識別番号を指定可能な入力デバイスを備えた領域指定入力手段を有し、
前記入力デバイスで所定の拡張領域を少なくとも一つ指定したとき、
指定された前記拡張領域に対応する前記表示領域が、前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする。
【０００９】
請求項４に記載の撮像装置は、請求項１乃至請求項３の何れかに記載の発明において、領域指定入力手段は、指定した前記拡張領域の拡大倍率を個別に設定し、当該個別拡大倍率を前記指定拡張領域に対して適用する個別拡大パターンと、前記指定拡張領域の拡大倍率を所定の倍率に固定して設定し、当該固定拡大倍率を前記指定拡張領域に対して適用する固定拡大パターンとの２パターンを選択可能に備えた倍率適用選択手段を有し、
前記領域指定入力手段で複数の前記拡張領域を指定したとき、前記倍率適用選択手段で選択した一の拡大パターンにしたがって、指定された前記拡張領域に対応する前記表示領域が、それぞれ前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする。
【００１０】
請求項５に記載の撮像装置は、請求項１に記載の発明において、前記文章抽出手段は、前記背景画素の近傍に配されている前記文字画素を前記背景画素に変換して、前記２階調画像の背景内に点在する少なくとも一つの前記文字画素からなるノイズを除去するノイズ除去手段を有することを特徴とする。
【発明の効果】
【００１１】
請求項１に記載の撮像装置によれば、文章が記載された資料を撮像し、所定の画像処理を施して原画像を形成し、白色から灰色を経て黒色まで明暗の濃度値が段階的に変化する複数の階調からなるグレースケールにしたがって、フルカラーで表された原画像から、モノクロの多階調画像を形成するようにした。そして、グレースケールに係る灰色の濃度値のうち、所定の濃度値を閾値として設定するようにした。さらに、当該閾値にしたがって、多階調画像を、黒色の文字画素と白色の背景画素とからなる２階調画像に変換するようにした。２階調画像は、フルカラーの原画像と比べて情報量が少ないので、２階調画像に基づいて画像処理を行うことにより、処理速度を速くすることができる。
また、２階調画像を構成する一の文字画素と隣り合う他の文字画素を連結して基本領域を区画形成するようにした。そして、文字画素の近傍に配されている背景画素を文字画素に変換して、形成した基本領域を拡張した拡張領域を形成するようにした。これにより、基本領域で表される文字のみを単独で抽出するのではなく、拡張領域が包含する複数の文字をまとめて抽出することができる。
その結果、複数の文字を連ねて所定の情報を表している文章を、一文単位又は一段落単位といった所定の単位毎に抽出することができる。そして、２階調画像上の拡張領域の位置、大きさ、範囲等の情報を原画像へマッピングする写像処理を行うことによって、原画像上で、拡張領域に対応する位置にある文章を表示領域として抽出することができる。
そして、抽出した表示領域を文章拡大手段で自動的に拡大することにより、書類をカメラの撮像範囲内の好適な位置に移動させて、拡大させたい文章に狙いを定めて拡大し、さらにフォーカスをあわせる一連の操作を省略することができるので、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１２】
請求項２に記載の撮像装置によれば、拡張領域と該拡張領域の周囲の背景とからなる矩形状の文章記載領域を２階調画像上に区画形成し、該文章記載領域の位置、大きさ、範囲等の情報を原画像へマッピングする写像処理を行うことによって、原画像上で文章記載領域に対応する表示領域を抽出して、原画像から切り出し、表示画面の大きさにあわせて所定の拡大倍率で当該表示領域を引き伸ばすようにした。
通常、表示画面の多くは矩形状に形成されている。そこで、文章記載領域を矩形状に形成することにより、文章記載領域を表示画面の大きさにあわせて容易に拡大することができる。また例えば、段落を拡張領域に変換すると、該拡張領域の周縁は鋸歯状にギザギザとなるので、拡大する処理の際に基準点を決めることが困難である。対して、矩形状の文章記載領域は拡大する際の基準点を容易に設定することができるので、抽出して拡大する処理が容易にできる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１３】
請求項３に記載の撮像装置によれば、区画形成した拡張領域に識別番号を付与して、入力デバイスで少なくとも一つの拡張領域を指定可能にした。そして、所定の拡張領域を指定したとき、対応する原画像上の表示領域が抽出されて拡大されるようにした。原画像を形成する過程で資料の全体画像を形成することができ、拡張領域と対応する表示領域は原画像から抽出される。そのため、カメラ等で拡大させたい文章に照準をあわせる操作を省き、拡大させたい文章を指定することにより、資料の全体画像から素早く当該文章を拡大させることができる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１４】
請求項４に記載の撮像装置によれば、入力デバイスで複数の拡張領域を指定した場合、指定した拡張領域をそれぞれ個別に表示画面の大きさにあわせて倍率を変えて拡大する個別拡大パターンと、指定した拡張領域全体を同じ倍率で拡大する全体拡大パターンとを選択可能にした。
これにより、個別拡大パターンを選択した場合には、表示画面の範囲を最大限に活用することができる。また、全体拡大パターンを選択した場合には、指定した拡張領域のうち最大の拡張領域にあわせて拡大倍率が決定されるので、複数の指定拡張領域同士の相対的な大きさのバランスを保つことができる。そして、指定拡張領域に対応する表示領域を目的にあわせて最適に拡大することができるので、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１５】
請求項５に記載の撮像装置によれば、２階調画像の背景を構成する背景画素の近傍に配されている文字画素を背景画素に変換して、２階調画像の背景内に点在する少なくとも一つの文字画素からなるノイズ成分を除去するようにした。これにより、拡張領域を形成する画像処理を行ったとき、背景中のノイズ成分が拡張されることを防ぐことができるので、拡張領域に対応する表示領域の抽出精度を向上させることができる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
また、ノイズを除去する画像処理に伴って、背景と基本領域の境界にある文字画素が背景画素に変換される。これにより、基本領域に基づく文字の線幅を狭めて、文字の特徴を捉え易くすることができるので、抽出した表示領域に含まれている文章をＯＣＲによってテキストデータに変換することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施例に係る撮像装置の一例を示した斜視図である。
【図２】本実施例に係る撮像装置の構成の概略を示したブロック図である。
【図３】本実施例に係る撮像装置に設けた画像処理部の構成の概略を示したブロック図である。
【図４】本実施例に係る撮像装置が有する閾値設定手段で使用される濃度ヒストグラムを示した説明図である。
【図５】本実施例に係る撮像装置が有する画素連結手段で形成された基本領域を示す説明図である。
【図６】本実施例に係る撮像装置が有する領域拡張手段で行われる領域拡張処理を示す説明図である。
【図７】本実施例に係る撮像装置が有する領域拡張手段で複数回繰り返される領域拡張処理を示す説明図である。
【図８】本実施例に係る撮像装置が有する文章記載領域形成手段で形成された文章記載領域を示す説明図である。
【図９】本実施例に係る撮像装置が有する表示領域引き伸ばし手段で表示領域を引き伸ばした状態を示す説明図である。
【図１０】本実施例に係る撮像装置が有するノイズ除去手段で行われるノイズの除去を示した説明図である。
【図１１】本実施例に係る撮像装置が有する画像処理手段で行われる文章の抽出処理と拡大処理の方法を示すフローチャート図である。
【図１２】本実施例に係る撮像装置が有する多階調変換手段で変換される多階調画像の一例を示した説明図である。
【図１３】本実施例に係る撮像装置が有する文章記載領域形成手段で形成される文章記載領域の一例を示した説明図である。
【図１４】本実施例に係る撮像装置が有する表示領域引き伸ばし手段で表示領域を引き伸ばした状態の一例を示す説明図である。
【実施例１】
【００１７】
本願発明に係る撮像装置の実施例を添付した図面にしたがって説明する。図１は、本実施例に係る撮像装置の一例を示した斜視図である。図２は、本実施例に係る撮像装置の構成の概略を示したブロック図である。
【００１８】
本実施例に係る撮像装置１０は、例えば、資料撮像装置１０Ａ又は拡大読書器１０Ｂである。
図１（ａ）は、資料撮像装置１０Ａの一例を斜視図で示したものである。
資料撮像装置１０Ａは、撮像部１１と装置本体１２とからなる。
撮像部１１は、机上に戴置した資料Ｄを撮像して形成した画像を電気的に変換し、該該画像を構成する画像信号を装置本体１２へ送信する。
装置本体１２は画像処理部１３、メモリ１４、外部記録媒体１５を有している。画像処理部１３は、撮像部１１から送信された画像を符号化して原画像を形成する。そのほかに画像処理部１３は、例えば、原画像に係る原画像データの圧縮処理、フィルタリング、原画像から所定領域を抽出するような種々の画像処理を行うように形成されている。そして、メモリ１４及び外部記録媒体１５は、読み出し自在に原画像を構成する原画像データを記録するように形成されている。
また、装置本体１２は、出力端子１６ａを備えた出力部１６を有している。出力部１６は、原画像データを構成する原画像信号をモニタ２０へ出力するように形成されている。
モニタ２０は、入力された原画像信号を復号化して、モニタ画面２１で最適に表示可能な再生画像を形成する。
図１（ｂ）は、拡大読書器１０Ｂの一例を斜視図で示したものである。
拡大読書器１０Ｂは、撮像部１１と装置本体１２とモニタ２０とからなる。
撮像部１１は、該撮像部１１の下面に配されたカメラ（図示略）を備え、装置本体１２は、可動ステージ１２ａを備えている。撮像部１１は、可動ステージ１２ａ上に戴置された資料Ｄを撮像して形成した画像を電気的に変換し、該該画像を構成する画像信号を装置本体１２へ送信する。
装置本体１２は画像処理部１３、メモリ１４、外部記録媒体１５を有している。画像処理部１３は、撮像部１１から送信された画像を符号化して原画像を形成する。そのほかに画像処理部１３は、例えば、原画像に係る原画像データの圧縮処理、フィルタリング、原画像から所定領域を抽出するような種々の画像処理を行うように形成されている。そして、メモリ１４及び外部記録媒体１５は、読み出し自在に原画像を構成する原画像データを記録するように形成されている。
また、装置本体１２は、出力端子１６ａを備えた出力部１６を有している。出力部１６は、原画像データを構成する原画像信号をモニタ２０へ出力するように形成されている。
モニタ２０は、入力された原画像信号を復号化して、モニタ画面２１で最適に表示可能な再生画像を形成する。
上記のモニタ２０をプロジェクタとし、モニタ画面２１をスクリーンとして、装置本体１２から出力された原画像がプロジェクタからスクリーンへ投射されるようにしても良い。
【００１９】
図２は、上記の撮像装置１０Ａ，１０Ｂに共通する撮像装置１０の構成の概略をブロック図で示したものである。
撮像装置１０は、撮像部１１と、装置本体１２とからなる。撮像部１１はカメラ１１ａを備え、装置本体１２は画像処理部１３、メモリ１４、外部記録媒体１５、及び出力部１６を有している。
撮像部１１は、カメラで撮像した画像を電気的に変換して画像データを形成する撮像手段を有する。撮像手段で形成された画像データを構成する画像信号は、装置本体１２へ伝送される。
画像処理部１３は、エンコーダ１７、及びフィルタ１８を有している。
エンコーダ１７は、撮像部１１から送信された画像信号を符号化して原画像信号へ変換するように形成されている。
フィルタ１８は、エンコーダで変換した原画像信号に基づく原画像に所定の画像処理を施すように形成されている。所定の画像処理は、例えば、フルカラーの原画像をモノクロの多階調画像に変換する処理などである。フィルタ１８による画像処理、及び当該画像処理を実現するための画像処理手段について詳しくは後述する。
メモリ１４は、原画像信号に基づく原画像データ、及びフィルタ１８で変換した画像処理後の処理画像データを読み出し自在に一時的に記録し、外部記録媒体１５は、原画像データ及び画像処理後の処理画像データを読み出し自在に記録している。外部記録媒体１５は、例えばハードディスクドライブ、ＵＳＢメモリ、フラッシュカードメモリ、又はそれらに類する記録媒体を備えた装置である。
出力部１６は、出力端子１６ａを有している。該出力端子１６ａを介して、画像処理部１３から伝送された原画像データを構成する原画像信号、又はフィルタで変換した処理画像データを構成する処理画像信号が、モニタ２０へ出力される。
【００２０】
上記の構成を有する撮像装置１０の画像処理部１３が備えるフィルタ１８は、以下に示す画像処理手段３０を有する。当該画像処理手段３０を添付した図面にしたがって説明する。
【００２１】
画像処理手段３０は、図３に示すように、文章抽出手段３１と文章拡大手段３２を有する。
文章抽出手段３１は、多階調変換手段３３、閾値設定手段３４、２階調変換手段３５、画素連結手段３６、領域拡張手段３７を有している。これらの手段によって、文章抽出手段３１は、原画像データに含まれている資料Ｄに係る全体画像のうち、文章が表示されている表示領域を抽出するように形成されている。
文章拡大手段３２は、領域情報取得手段４１、表示画面判定手段４２、文章記載領域形成手段４３、表示領域切り出し手段４４、及び表示領域引き伸ばし手段４５を有し、領域指定入力手段４０は、倍率適用選択手段４０ａを有している。これらの手段によって、文章拡大手段３２は、文章抽出手段３１で抽出した表示領域をモニタ２０のモニタ画面２１の大きさにあわせて拡大するように形成されている。
また、画像処理手段３０は、領域識別手段３９と、領域指定入力手段４０を有している。
【００２２】
多階調変換手段３３は、フルカラーで形成された原画像をグレースケールにしたがってモノクロの多階調画像に変換するように形成されている。
ここで、グレースケールとは、白色及び黒色、並びに濃度値が段階的に設定された灰色からなり、画像を白から黒に亘る明暗で表現するために用いられる基準をいう。グレースケールに準拠して変換された画像は、白色、黒色、灰色の明暗に係る濃度の相違に基づいて表現された、いわゆるモノクロとなる。本実施例では白色及び黒色、並びに２５４段階に濃度値を段階的に変化させた灰色からなる８ビットの２５６階調のグレースケールが使用されている。しかし、これに限定されるものではなく、例えば４ビットの１６階調、又は１６ビットの６５５３６階調といった、他のグレースケールを使用しても良い。
このように、原画像データが有する連続した濃度値の情報を段階的に濃度値値が変化する多階調の濃度値へ所定の関数変換規則にしたがって変換する処理を行うことによって、フルカラーの原画像を、モノクロの多階調画像に変換することができる。多階調画像に変換することによって、フルカラーの画像では認識しづらい処理対象と背景との境界を鮮明にして、撮像した画像の解析・検査を容易にすることができ、画像処理の処理速度を向上させることができる。
なお、グレースケールにしたがって原画像を多階調画像へ変換した例を図１２に示す。
【００２３】
閾値設定手段３４は、図４に示すように、多階調変換手段で形成された多階調画像に基づいて、該多階調画像に含まれる画素の濃度値の分布を示した濃度ヒストグラムを形成し、当該濃度ヒストグラムに基づく判別分析法によって、文字を示す文字画素と対象以外の背景画素に振り分ける境界となる閾値Ｔを設定するように形成されている。
図４に示した濃度ヒストグラムは、横軸に濃度値ｆをとり、縦軸に画素数ｎをとって、画像から切り出す文字や図表等の対象物を表す濃色の濃度値を有する文字画素と、背景を表す淡色の濃度値を有する背景画素の分布を表示したものである。
ここで、判別分析法とは、文字画素に係る濃度分布と背景画素に係る濃度分布とが双峰性を示すとき、二つの山に挟まれた谷底に相当する濃度値を閾値Ｔとして設定し、双峰性を示さないとき、濃度ヒストグラムを文字画素に係る濃度分布に組する濃色系の濃度値群と、背景画素に係る濃度分布に組する淡色系の濃度値群の二群に振り分けて、該二群の分散が最大となる値を閾値Ｔとして設定する方法である。
なお、判別分析法は多階調画像全体を同一の閾値で２階調化する大局的な閾値設定法であるが、これに限定するものではなく、たとえば微分ヒストグラム法のような、多階調画像を細かく分割し、分割した多階調画像の局所的な性質を計測して閾値を設定する閾値設定法を用いて閾値を設定しても良い。
【００２４】
２階調変換手段３５は、多階調画像を構成する画素を、閾値Ｔによって黒色の文字画素か、若しくは白色の背景画素へ振り分けて、多階調画像を２階調画像へ変換するように形成されている。
【００２５】
画素連結手段３６は、図５（ａ）に示した、２階調画像の文字画素のうち、一の文字画素と隣り合う他の文字画素とをひとまとまりの塊とみなして連結し、図５（ｂ）に示すように、複数の文字画素が連なる基本領域を形成する。本実施例においては、一の文字画素の周囲８方向に文字画素が配されている場合に、隣り合う文字画素を互いに連結するように形成されている。
このように文字画素を連結すると、まず２階調画像上の文字を基本領域として検出することができる。しかしながら、文字間には背景画素が配されていることから、当該基本領域をそのまま分割すると一文字ずつバラバラの状態で分割されてしまう。そのため、以下に示すように隣り合う基本領域を接触させることによって、文字間の背景画素を文字画素に変換して一文を検出可能にする。
【００２６】
領域拡張手段３７は、図６に示すように、画素連結手段３６で形成した基本領域を拡張するように形成されている。本実施例においては、一の背景画素の周囲８方向の何れかに文字画素が配されている場合、当該背景画素を文字画素に変換する処理が行われる。これにより、図６（ａ）の矢印で示すように、基本領域を拡張して、図６（ｂ）に示すように拡張領域を形成することができる。この拡張変換処理を複数回繰り返すと、図７に示すように、隣り合う基本領域を互いに接触させて文字間の背景を潰すことができる。これにより、複数の文字を包含する拡張領域が形成される。その結果、複数の文字を連ねて所定の情報を表す文章が拡張領域として形成される。拡張領域変換処理の繰返し回数を任意に設定することによって、拡張領域に含まれる文章は、一文単位、一段落単位、一ページ単位のように所定の単位毎に抽出することができる。
【００２７】
２階調画像上に区画形成された拡張領域を示す、例えば、該拡張領域の基点の位置座標、大きさ又は範囲を示す画素数等の拡張領域に関する情報は、メモリ１４又は外部記録媒体１５に読み出し自在に記録される。当該拡張領域情報を原画像上へ展開し、又は照合させることによって、拡張領域に対応する原画像上の表示領域を抽出することができ、該表示領域に包含されている文章を抽出することができる。
【００２８】
領域識別手段３９は、上記の拡張領域に関する拡張領域情報に識別番号を追記して、拡張領域に識別番号を付与するように形成されている。
領域指定入力手段４０は、拡張領域に付された識別番号を指定するための入力デバイスを有している。入力デバイスは、例えば、リモコン、テンキー、マウス、トラックパッド、タブレット、キーボードといったものである。本実施例においては、リモコンが使用されている。
【００２９】
領域情報取得手段４１は、領域指定入力手段４０で指定した指定拡張領域に関する拡張領域情報をメモリ１４又は外部記録媒体１５から読み出して取得するように形成されている。
表示画面判定手段４２は、撮像装置１０に接続されているモニタ２０のモニタ画面２１の大きさに係る情報をモニタ２０から取得し、当該モニタ画面２１の大きさを判定するように形成されている。
拡張領域情報と、モニタ画面２１の大きさに関する情報を照合させることにより、拡張領域の拡大倍率を調整し、拡大倍率に係る倍率情報が形成される。
【００３０】
文章記載領域形成手段４３は、２階調画像上で指定拡張領域と、該指定拡張領域の周囲の背景とをあわせて、図８に示すように、矩形状の文章記載領域を形成する。拡張領域は文字間の背景を潰して一文を検出可能に形成するので、該拡張領域に周縁は複雑に折れ曲がった形状を呈している。しかし、文章記載領域を形成することによって、拡張領域を矩形状の範囲内に収めることができるので、文章の検出を容易にすると共に、検出した文章を見やすくすることができる。
そして、上記の拡張領域の倍率情報と、文章記載領域の大きさとが照合される。これにより、文字記載領域を拡大する倍率が調整される。具体的には、図９に示すように、文章記載領域の大きさ、範囲を示す縦横のサイズのうち、長辺がモニタ画面２１の長辺に適合するように倍率が調整される。これにより、文字記載領域内の文字の縦横比を変えずに、該文字記載領域を拡大させることができる。
【００３１】
表示領域切り出し手段４４は、拡張領域を包含する文章記載領域に関する情報を原画像上に展開し、照合して、文章記載領域を原画像へマッピングする写像処理を行うように形成されている。これにより、文章記載領域に覆われる原画像上の文章を表示領域として切り出すことができる。切り出された表示領域は、メモリ１４又は外部記録媒体１５に記録される。なお、写像処理とは、文章記載領域が区画形成された２階調画像を原画像へ重ね合わる処理、又は文章記載領域の位置座標に係る情報を、原画像に係る原画像データへ照合する処理、その他これらの処理に類する処理をいう。
なお、文章記載領域を原画像上へマッピングした例を図１３に示す。
【００３２】
表示領域引き伸ばし手段４５は、切り出した表示領域を文章記載領域の倍率情報にしたがって引き伸ばすように形成されている。
そして、引き伸ばされた表示領域に係る表示領域画像信号は、エンコーダ１７で再符号化されて出力部１６へ伝送され、モニタ２０へ出力される。
【００３３】
また、領域指定入力手段４０は、倍率適用選択手段４０ａを有する。
倍率適用選択手段４０ａは、領域指定入力手段４０で拡張領域を指定したときに起動するように形成されている。
倍率適用選択手段４０ａは、指定拡張領域の拡大倍率を個別に設定し、設定した個別拡大倍率を指定拡張領域へ適用する個別拡大パターンと、指定拡張領域の拡大倍率を所定の倍率に固定し、当該固定拡大倍率を指定拡張領域へ適用する固定拡大パターンの２パターンを選択可能に備えている。
そして、領域指定入力手段４０で複数の拡張領域を同時に指定したとき、倍率適用選択手段４０ａで選択された一の拡大パターンにしたがって、表示領域引き伸ばし手段４５は、指定された指定拡張領域に対応する原画像上の複数の表示領域をそれぞれ所定の拡大倍率で拡大する。
すなわち、個別拡大パターンを選択した場合には、モニタ画面２１の大きさにあわせて表示領域がそれぞれ個別に拡大される。これにより、モニタ画面２１の大きさを表示領域毎に最大限利用することができる。
固定拡大パターンを選択した場合には、矩形状の文章記載領域のうち、最も大きな文章記載領域の長辺にあわせて拡大倍率が設定される。そして、設定された拡大倍率にしたがって、当該文章記載領域に対応する全ての表示領域が拡大される。これにより、指定した複数の表示領域に含まれているそれぞれの文字の大きさのバランスを崩さずに拡大させることができる。
【００３４】
また、文章抽出手段３１は、図３に示すようにノイズ除去手段４６を有する。
ノイズ除去手段４６は、図１０に示すように、２階調画像の背景を示す背景画素の近傍にある文字画素を背景画素に変換するように形成されている。この２階調画像に含まれている文字画素の面積を縮小する縮小変換処理を、複数回繰り返すことによって、背景内に点在する少なくとも一つの文字画素からなるノイズが除去される。
また、上記のノイズを除去する過程に伴って、基本領域の面積も縮小する。これにより、基本領域で表される文字の輪郭を鮮明にして文字の特徴を捉え易くすることができる。
【００３５】
上記の構成を有する撮像装置１０は、以下の処理ステップによって、撮像した資料画像から文章が表示されている表示領域を抽出している。添付した図面にしたがって説明する。
【００３６】
図１１に資料画像から文章が表示されている表示領域を自動的に拡大する処理に係るフローチャートを示す。
ステップＳ１００は本実施例に係る画像処理を開始する処理を行うステップである。
ステップＳ１０５は、資料Ｄの全体画像が含まれた原画像に係る原画像データをフィルタ１８の画像処理手段３０へ入力する処理を行うステップである。
ステップＳ１１０は、多階調変換手段３３で、原画像データから、色彩に係る情報を破棄すると共に、原画像データが有する色の明暗を示す濃度値に係る情報をグレースケールで多階調変換し、フルカラーの原画像からモノクロの多階調画像を形成する処理を行うステップである。多階調変換処理が施された画像の例を図１２に示す。
ステップＳ１１５は、閾値設定手段３４で、形成された多階調画像に基づいて図４に示す濃度ヒストグラムを形成し、判別分析法にしたがって閾値Ｔを設定する処理を行うステップである。
ステップＳ１２０は、２階調変換手段３５で、閾値Ｔを多階調画像に適用して２階調画像を形成する処理を行うステップである。当該ステップＳ１２０において、資料に含まれている文字及び図表といった抽出対象は黒色の文字画素に変換され、抽出対象を除く背景は、白色の背景画素に変換される。
【００３７】
ステップＳ１２５は、ステップＳ１２０で形成された文字画素を画素連結手段３６にしたがって連結し、ひとまとまりの基本領域を形成する処理を行うステップである。
ステップＳ１３０は、ノイズ除去手段４６で、２階調画像の背景内に点在する少なくとも一つの文字画素を背景画素に変換してノイズ成分を除去する処理を行うステップである。ステップＳ１３０の段階においてノイズ成分を除去しておくことにより、ノイズ成分を構成する文字画素を拡張し、誤って抽出することを防ぐことができる。
ステップＳ１３５は、２階調画像の背景中に点在する文字画素によるノイズ成分が無くなるまで、ステップＳ１３０に示したノイズ除去手段４６を複数回繰り返すための判定をする処理を行うステップである。
【００３８】
ステップＳ１４０は、領域拡張手段３７で基本領域の周囲の背景画素を文字画素に変換して、当該基本領域を拡張する拡張変換処理を行うステップである。
ステップＳ１４５は、領域拡張手段３７を図７に示すように所定回数繰り返すための判定処理を行うステップである。ステップＳ１４０とステップＳ１４５の領域拡張処理を繰り返すことによって、基本領域間に配されている背景画素が文字画素へ変換され、基本領域が連結した拡張領域が形成される。
ステップＳ１５０は、隣り合う基本領域が接触したとき、形成された拡張領域を確定する処理を行うステップである。当該ステップＳ１５０において、２階調画像上における拡張領域に係る情報、例えば、位置座標、基準点、大きさ、又は範囲等が形成され、該拡張領域に係る情報は、メモリ１４又は外部記録媒体１５へ記録される。
ステップＳ１５５は、拡張領域に係る情報を取得する処理を行うステップである。
ステップＳ１６０は、取得した拡張領域に係る情報に領域識別手段３９で識別番号に係る情報を追記するラベリング処理を行うステップである。これにより、２階調画像上に形成された少なくとも一つの拡張領域を識別可能にすることができる。
ステップＳ１６５は、ラベリングした拡張領域に係る情報を原画像データへマッピングする写像処理を行うステップである。これにより拡張領域に対応する表示領域を原画像から抽出可能なスタンバイ状態に移行することができる。
ステップＳ１７０は、ステップＳ１６０でラベリングした拡張領域に対応する表示領域を原画像上で識別番号と共にモニタ画面２１でプレビュー表示する処理を行うステップである。これにより、拡大させたい表示領域を指定可能なスタンバイ状態に移行することができる。
ステップＳ１７５は、拡張領域の識別番号を領域指定入力手段４０で指定したか否か判定する処理を行うステップである。拡張領域が指定されない場合には、ステップＳ２０５へ移行して、画像処理を終了する。このとき、拡張領域に対応する表示領域に係る情報は読み出し自在にメモリ１４又は外部記録媒体１５に記録される。一方、拡張領域を指定した場合にはステップＳ１８０へ移行する。
【００３９】
ステップＳ１８０は、領域指定入力手段４０に係る入力デバイスであるリモコンによって指定した拡張領域に係る情報に基づいて、モニタ画面２１の大きさにあわせて、拡大倍率を設定する処理を行うステップである。
ステップＳ１８５は、文章記載領域形成手段４３で拡張領域と、該拡張領域の周囲の背景をあわせた矩形状の文章記載領域を２階調画像上で形成する処理を行うステップである。矩形状のモニタ画面２１の形状にあわせて文章記載領域を矩形状に設定することにより、ギザギザな輪郭の拡張領域と比べて容易に拡大させることができるようになる。
ステップＳ１９０は、２階調画像上に形成した文章記載領域に係る情報、例えば、位置座標、基準点、縦と横の画素数等が、原画像データへマッピングされる写像処理を行うステップである。これにより、２階調画像上の文章記載領域に対応する表示領域を原画像上に形成することができる。
ステップＳ１９５は、表示領域切り出し手段４４で、文章記載領域と対応する原画像上の表示領域を原画像から切り出す処理を行うステップである。当該ステップＳ１９５に係る画像処理の結果、表示領域に含まれた文章を、一文単位、一段落単位といった所定の単位毎に資料から自動的に抽出することができる。
ステップＳ２００は、表示領域引き伸ばし手段４５で、切り出した表示領域に対してステップＳ１８０で設定した拡大倍率を適用して引き伸ばす処理を行うステップである。そして、引き伸ばされた表示領域に係る表示領域画像信号は、出力部へ出力され、ステップＳ２０５で本実施例に係る画像処理は終了する。
【００４０】
本実施例に係る画像処理の結果を図１２乃至図１４に示す。まず図１２に示すように、フルカラーの原画像で示された資料全体の画像をグレースケールにしたがって多階調画像へ変換する処理が行われる。該多階調画像に基づいて、画像処理部１３は、基本領域を拡張して拡張領域を形成すると共に図表をマスキングして、さらに拡張領域と該拡張領域の周囲の背景をあわせて、図１３の網掛けで示した矩形状の文章記載領域を形成する画像処理を行う。文章記載領域には、拡張領域で抽出した文章が含まれている。そして、文章記載領域に対応する表示領域が原画像上に展開される。該表示領域を切り出す画像処理の結果、資料に記載された文章を自動的に抽出することができる。抽出した表示領域は図１４に示すように拡大される。
これにより、撮像した資料に記載されている文章を拡大させる必要が生じたとき、撮像した資料内の文章に照準を合わせて拡大し、焦点を合わせる操作を省くことができ、狙った文章を迅速に拡大させることができる。
【００４１】
上記の撮像装置による、資料全体の画像から文章が表示された表示領域を抽出し、当該表示領域を自動的に拡大する方法は、以下に示すように応用することができる。
例えば、資料Ｄの全体画像と、文章が表示された表示領域は、メモリ１４或いは外部記憶媒体１５に読み出し自在に記憶されている。そのため、拡大させたい表示領域が、図１に示した資料提示装置１０Ａ、又は拡大読書器１０Ｂのカメラの撮像範囲の中心に移動したとき、該表示領域を自動的に読み出してモニタ画面２１へ拡大再生するように設定することができる。
このようにすれば、使用者がリモコンで拡大させることを所望する表示領域を手動で指定する操作を省くことができる。そのため、より迅速に文章の拡大を行うことができるので、撮像装置１０の使い勝手をよくすることができる。
また、２階調画像上に形成した矩形状の文章記載領域と対応する表示領域が資料Ｄの全体画像を含む原画像上に展開されている。そのため、当該表示領域を塗りつぶすことによって、原画像上の文章を矩形状に覆い隠すマスク処理を行うことができる。
このようにすれば、例えば、クイズの答えを隠しておき、答えあわせのときに表示領域を透明化させて、答えを表示する使い方、又はプレゼンテーションの場において、話の進行状況に沿って順次表示領域を透明化させると共に、該表示領域にスポットを当てるように画面一杯に拡大する使い方等をすることができる。
【００４２】
本実施例に係る撮像装置１０によれば、画像処理部１３によって、資料Ｄの全体画像から文章が表示された表示領域を抽出し、該表示領域を自動的に拡大するようにした。
これにより、当該表示領域をモニタ画面２１で表示するとき、当該表示領域の位置がモニタ画面２１の範囲内に収まるように資料を移動させる操作、又は当該表示領域を拡大させたときのフォーカスをあわせる操作のように、従来手動で行っていた操作を自動化することができる。
そのため、資料提示装置１０Ａが使用されるプレゼンテーションのような場では、資料の提示をスムーズに行うことができ、拡大読書器１０Ｂを使用する場合には、操作に気をとられることなく集中して読書することができる。
また、撮像した資料Ｄ内の文章が表示された表示領域を抽出して、メモリ１４又は外部記録媒体１５へ読み出し自在に記録するようにしたので、モニタ画面２１において、資料Ｄの全体画像と表示領域との切り替えを素早く行うことができる。そのため、資料Ｄに記載されている図表を提示した後に、当該図表の説明文を拡大して提示すといった操作を迅速に行うことができる。
【符号の説明】
【００４３】
Ｄ…資料、Ｔ…閾値、ｆ…濃度値、ｎ…累積画素数、
１０…撮像装置、１０Ａ…資料提示装置、１０Ｂ…拡大読書器、
１１…撮像部、１２…装置本体、１３…画像処理部、１４…メモリ、１５…外部記録媒体、１６…出力部、１６ａ…出力端子、
１７…エンコーダ、１８…フィルタ、
２０…モニタ、２１…モニタ画面
３０…画像処理手段、３１…文章抽出手段、３２…文章拡大手段、
３３…多階調変換手段、３４…閾値設定手段、３５…２階調変換手段、３６…画素連結手段、３７…領域拡張手段、
３９…領域識別手段、４０…領域指定入力手段、４０ａ…倍率適用選択手段、
４１…領域情報取得手段、４２…表示画面判定手段、４３…文章記載領域形成手段、４４…表示領域切り出し手段、４５…表示領域引き伸ばし手段、
４６…ノイズ除去手段。
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に少なくとも文章が記載された書面を撮像する撮像装置に関する。
【背景技術】
【０００２】
公知の撮像装置は、被写体を撮像して画像を形成する撮像部と、該画像を電気的に変換して画像データを形成する画像処理部と、該画像データに係る画像信号をモニタ、プロジェクタ等の映像表示機器に出力する出力部とからなる。そして、撮像装置は、例えば、図１に示すような、資料提示装置１０Ａ或いは拡大読書器１０Ｂがある。資料提示装置１０Ａは、授業、プレゼンテーション、或いは講演会において、話者が発言と並行して、机上に戴置した資料を聴衆に対して提示するために使用されている。また、拡大読書器１０Ｂは、書面に記載されている文字を所定の倍率で拡大して弱視者の読書を補助するために使用されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】引用なし
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の撮像装置は、撮像した資料に記載されている文章を状況に応じて拡大させる場合がある。その場合、拡大する対象の文章をカメラの撮影範囲内に移動させる操作、当該文章を適当な倍率で拡大する操作、及び拡大した文章にフォーカスをあわせる操作と複数の操作を要する。
そのため、上記のような文章を拡大する一連の操作を複数回に亘って繰り返すと、授業、プレゼンテーション、或いは講演会のような場においては、話者の進行と資料の提示のタイミングがズレる場合があるので、聴衆の集中力を削ぐおそれがある。また、拡大読書器の場合には、操作に気をとられて読書に集中できなくなるおそれがある。
【０００５】
そこで本発明が解決しようとする課題は、撮像した資料に含まれる文章を自動で拡大させることにより、使い勝手をよくした撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の撮像装置は、複数の文字を連ねて所定の情報を表す文章が記載された資料を撮像する撮像手段と、
該撮像手段で形成された画像を符号化し、圧縮し、その他所定の画像処理を施して、モニタ画面又はこれに類する表示画面へ表示するために最適化された原画像を形成する画像処理手段と、
該原画像を構成する原画像信号を前記表示画面を備えた表示装置に向けて出力する出力手段とを有する撮像装置であって、
前記画像処理手段は、前記原画像から前記文章を抽出する文章抽出手段と、抽出した文章を拡大する文章拡大手段を有し、
前記文章抽出手段は、
白色から灰色を経て黒色まで明暗が段階的に異なる複数の階調からなるグレースケールにしたがって、前記原画像を変換して多階調画像を形成する多階調変換手段と、
前記灰色の濃度値のうち、所定の濃度値を閾値として設定する閾値設定手段と、
該閾値に基づいて、前記多階調画像を変換し、前記文字を構成する黒色の文字画素と、前記文字以外の背景を表す白色の背景画素とからなる２階調画像を形成する２階調変換手段と、
前記２階調画像の一の前記文字画素と、該文字画素の近傍に配されている他の文字画素とを連結して基本領域を区画形成する画素連結手段と、
前記文字画素の近傍に配されている前記背景画素を前記文字画素に変換して、前記基本領域を拡張して拡張領域を区画形成する領域拡張手段とを有し、
前記２階調画像に区画形成されている前記拡張領域に対応する表示領域を前記原画像から抽出し、
該表示領域を前記文書拡大手段で拡大して、
拡大した前記表示領域を構成する表示領域信号を前記出力手段で出力するようにしたことを特徴とする。
【０００７】
請求項２に記載の撮像装置は、請求項１に記載の発明において、前記文章拡大手段は、
前記２階調画像上の前記拡張領域の位置、大きさ、又は範囲に係る情報を取得する領域情報取得手段と、
前記表示画面の大きさに係る情報を取得し、当該表示画面の大きさと前記拡張領域の大きさとを照合して、前記拡張領域の拡大倍率を調整する表示画面判定手段と、
前記拡張領域、及び該拡張領域の周囲の前記背景からなる矩形状の前記文章記載領域を前記２階調画像に区画形成する文章記載領域形成手段と、
該文章記載領域に対応する前記表示領域を前記原画像から切り出す表示領域切り出し手段と、
切り出した前記表示領域を、前記表示画面の大きさにあわせて前記拡大倍率で引き伸ばす表示領域引き伸ばし手段とを有することを特徴とする。
【０００８】
請求項３に記載の撮像装置は、請求項１若しくは請求項２に記載の発明において、前記画像処理手段は、
前記２階調画像に区画形成されている複数の前記拡張領域にそれぞれ識別番号を付与する領域識別手段と、
該識別番号を指定可能な入力デバイスを備えた領域指定入力手段を有し、
前記入力デバイスで所定の拡張領域を少なくとも一つ指定したとき、
指定された前記拡張領域に対応する前記表示領域が、前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする。
【０００９】
請求項４に記載の撮像装置は、請求項１乃至請求項３の何れかに記載の発明において、領域指定入力手段は、指定した前記拡張領域の拡大倍率を個別に設定し、当該個別拡大倍率を前記指定拡張領域に対して適用する個別拡大パターンと、前記指定拡張領域の拡大倍率を所定の倍率に固定して設定し、当該固定拡大倍率を前記指定拡張領域に対して適用する固定拡大パターンとの２パターンを選択可能に備えた倍率適用選択手段を有し、
前記領域指定入力手段で複数の前記拡張領域を指定したとき、前記倍率適用選択手段で選択した一の拡大パターンにしたがって、指定された前記拡張領域に対応する前記表示領域が、それぞれ前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする。
【００１０】
請求項５に記載の撮像装置は、請求項１に記載の発明において、前記文章抽出手段は、前記背景画素の近傍に配されている前記文字画素を前記背景画素に変換して、前記２階調画像の背景内に点在する少なくとも一つの前記文字画素からなるノイズを除去するノイズ除去手段を有することを特徴とする。
【発明の効果】
【００１１】
請求項１に記載の撮像装置によれば、文章が記載された資料を撮像し、所定の画像処理を施して原画像を形成し、白色から灰色を経て黒色まで明暗の濃度値が段階的に変化する複数の階調からなるグレースケールにしたがって、フルカラーで表された原画像から、モノクロの多階調画像を形成するようにした。そして、グレースケールに係る灰色の濃度値のうち、所定の濃度値を閾値として設定するようにした。さらに、当該閾値にしたがって、多階調画像を、黒色の文字画素と白色の背景画素とからなる２階調画像に変換するようにした。２階調画像は、フルカラーの原画像と比べて情報量が少ないので、２階調画像に基づいて画像処理を行うことにより、処理速度を速くすることができる。
また、２階調画像を構成する一の文字画素と隣り合う他の文字画素を連結して基本領域を区画形成するようにした。そして、文字画素の近傍に配されている背景画素を文字画素に変換して、形成した基本領域を拡張した拡張領域を形成するようにした。これにより、基本領域で表される文字のみを単独で抽出するのではなく、拡張領域が包含する複数の文字をまとめて抽出することができる。
その結果、複数の文字を連ねて所定の情報を表している文章を、一文単位又は一段落単位といった所定の単位毎に抽出することができる。そして、２階調画像上の拡張領域の位置、大きさ、範囲等の情報を原画像へマッピングする写像処理を行うことによって、原画像上で、拡張領域に対応する位置にある文章を表示領域として抽出することができる。
そして、抽出した表示領域を文章拡大手段で自動的に拡大することにより、書類をカメラの撮像範囲内の好適な位置に移動させて、拡大させたい文章に狙いを定めて拡大し、さらにフォーカスをあわせる一連の操作を省略することができるので、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１２】
請求項２に記載の撮像装置によれば、拡張領域と該拡張領域の周囲の背景とからなる矩形状の文章記載領域を２階調画像上に区画形成し、該文章記載領域の位置、大きさ、範囲等の情報を原画像へマッピングする写像処理を行うことによって、原画像上で文章記載領域に対応する表示領域を抽出して、原画像から切り出し、表示画面の大きさにあわせて所定の拡大倍率で当該表示領域を引き伸ばすようにした。
通常、表示画面の多くは矩形状に形成されている。そこで、文章記載領域を矩形状に形成することにより、文章記載領域を表示画面の大きさにあわせて容易に拡大することができる。また例えば、段落を拡張領域に変換すると、該拡張領域の周縁は鋸歯状にギザギザとなるので、拡大する処理の際に基準点を決めることが困難である。対して、矩形状の文章記載領域は拡大する際の基準点を容易に設定することができるので、抽出して拡大する処理が容易にできる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１３】
請求項３に記載の撮像装置によれば、区画形成した拡張領域に識別番号を付与して、入力デバイスで少なくとも一つの拡張領域を指定可能にした。そして、所定の拡張領域を指定したとき、対応する原画像上の表示領域が抽出されて拡大されるようにした。原画像を形成する過程で資料の全体画像を形成することができ、拡張領域と対応する表示領域は原画像から抽出される。そのため、カメラ等で拡大させたい文章に照準をあわせる操作を省き、拡大させたい文章を指定することにより、資料の全体画像から素早く当該文章を拡大させることができる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１４】
請求項４に記載の撮像装置によれば、入力デバイスで複数の拡張領域を指定した場合、指定した拡張領域をそれぞれ個別に表示画面の大きさにあわせて倍率を変えて拡大する個別拡大パターンと、指定した拡張領域全体を同じ倍率で拡大する全体拡大パターンとを選択可能にした。
これにより、個別拡大パターンを選択した場合には、表示画面の範囲を最大限に活用することができる。また、全体拡大パターンを選択した場合には、指定した拡張領域のうち最大の拡張領域にあわせて拡大倍率が決定されるので、複数の指定拡張領域同士の相対的な大きさのバランスを保つことができる。そして、指定拡張領域に対応する表示領域を目的にあわせて最適に拡大することができるので、本発明は、使い勝手をよくした撮像装置を提供することができる。
【００１５】
請求項５に記載の撮像装置によれば、２階調画像の背景を構成する背景画素の近傍に配されている文字画素を背景画素に変換して、２階調画像の背景内に点在する少なくとも一つの文字画素からなるノイズ成分を除去するようにした。これにより、拡張領域を形成する画像処理を行ったとき、背景中のノイズ成分が拡張されることを防ぐことができるので、拡張領域に対応する表示領域の抽出精度を向上させることができる。そのため、本発明は、使い勝手をよくした撮像装置を提供することができる。
また、ノイズを除去する画像処理に伴って、背景と基本領域の境界にある文字画素が背景画素に変換される。これにより、基本領域に基づく文字の線幅を狭めて、文字の特徴を捉え易くすることができるので、抽出した表示領域に含まれている文章をＯＣＲによってテキストデータに変換することができる。
【図面の簡単な説明】
【００１６】
【図１】本実施例に係る撮像装置の一例を示した斜視図である。
【図２】本実施例に係る撮像装置の構成の概略を示したブロック図である。
【図３】本実施例に係る撮像装置に設けた画像処理部の構成の概略を示したブロック図である。
【図４】本実施例に係る撮像装置が有する閾値設定手段で使用される濃度ヒストグラムを示した説明図である。
【図５】本実施例に係る撮像装置が有する画素連結手段で形成された基本領域を示す説明図である。
【図６】本実施例に係る撮像装置が有する領域拡張手段で行われる領域拡張処理を示す説明図である。
【図７】本実施例に係る撮像装置が有する領域拡張手段で複数回繰り返される領域拡張処理を示す説明図である。
【図８】本実施例に係る撮像装置が有する文章記載領域形成手段で形成された文章記載領域を示す説明図である。
【図９】本実施例に係る撮像装置が有する表示領域引き伸ばし手段で表示領域を引き伸ばした状態を示す説明図である。
【図１０】本実施例に係る撮像装置が有するノイズ除去手段で行われるノイズの除去を示した説明図である。
【図１１】本実施例に係る撮像装置が有する画像処理手段で行われる文章の抽出処理と拡大処理の方法を示すフローチャート図である。
【図１２】本実施例に係る撮像装置が有する多階調変換手段で変換される多階調画像の一例を示した説明図である。
【図１３】本実施例に係る撮像装置が有する文章記載領域形成手段で形成される文章記載領域の一例を示した説明図である。
【図１４】本実施例に係る撮像装置が有する表示領域引き伸ばし手段で表示領域を引き伸ばした状態の一例を示す説明図である。
【実施例１】
【００１７】
本願発明に係る撮像装置の実施例を添付した図面にしたがって説明する。図１は、本実施例に係る撮像装置の一例を示した斜視図である。図２は、本実施例に係る撮像装置の構成の概略を示したブロック図である。
【００１８】
本実施例に係る撮像装置１０は、例えば、資料撮像装置１０Ａ又は拡大読書器１０Ｂである。
図１（ａ）は、資料撮像装置１０Ａの一例を斜視図で示したものである。
資料撮像装置１０Ａは、撮像部１１と装置本体１２とからなる。
撮像部１１は、机上に戴置した資料Ｄを撮像して形成した画像を電気的に変換し、該該画像を構成する画像信号を装置本体１２へ送信する。
装置本体１２は画像処理部１３、メモリ１４、外部記録媒体１５を有している。画像処理部１３は、撮像部１１から送信された画像を符号化して原画像を形成する。そのほかに画像処理部１３は、例えば、原画像に係る原画像データの圧縮処理、フィルタリング、原画像から所定領域を抽出するような種々の画像処理を行うように形成されている。そして、メモリ１４及び外部記録媒体１５は、読み出し自在に原画像を構成する原画像データを記録するように形成されている。
また、装置本体１２は、出力端子１６ａを備えた出力部１６を有している。出力部１６は、原画像データを構成する原画像信号をモニタ２０へ出力するように形成されている。
モニタ２０は、入力された原画像信号を復号化して、モニタ画面２１で最適に表示可能な再生画像を形成する。
図１（ｂ）は、拡大読書器１０Ｂの一例を斜視図で示したものである。
拡大読書器１０Ｂは、撮像部１１と装置本体１２とモニタ２０とからなる。
撮像部１１は、該撮像部１１の下面に配されたカメラ（図示略）を備え、装置本体１２は、可動ステージ１２ａを備えている。撮像部１１は、可動ステージ１２ａ上に戴置された資料Ｄを撮像して形成した画像を電気的に変換し、該該画像を構成する画像信号を装置本体１２へ送信する。
装置本体１２は画像処理部１３、メモリ１４、外部記録媒体１５を有している。画像処理部１３は、撮像部１１から送信された画像を符号化して原画像を形成する。そのほかに画像処理部１３は、例えば、原画像に係る原画像データの圧縮処理、フィルタリング、原画像から所定領域を抽出するような種々の画像処理を行うように形成されている。そして、メモリ１４及び外部記録媒体１５は、読み出し自在に原画像を構成する原画像データを記録するように形成されている。
また、装置本体１２は、出力端子１６ａを備えた出力部１６を有している。出力部１６は、原画像データを構成する原画像信号をモニタ２０へ出力するように形成されている。
モニタ２０は、入力された原画像信号を復号化して、モニタ画面２１で最適に表示可能な再生画像を形成する。
上記のモニタ２０をプロジェクタとし、モニタ画面２１をスクリーンとして、装置本体１２から出力された原画像がプロジェクタからスクリーンへ投射されるようにしても良い。
【００１９】
図２は、上記の撮像装置１０Ａ，１０Ｂに共通する撮像装置１０の構成の概略をブロック図で示したものである。
撮像装置１０は、撮像部１１と、装置本体１２とからなる。撮像部１１はカメラ１１ａを備え、装置本体１２は画像処理部１３、メモリ１４、外部記録媒体１５、及び出力部１６を有している。
撮像部１１は、カメラで撮像した画像を電気的に変換して画像データを形成する撮像手段を有する。撮像手段で形成された画像データを構成する画像信号は、装置本体１２へ伝送される。
画像処理部１３は、エンコーダ１７、及びフィルタ１８を有している。
エンコーダ１７は、撮像部１１から送信された画像信号を符号化して原画像信号へ変換するように形成されている。
フィルタ１８は、エンコーダで変換した原画像信号に基づく原画像に所定の画像処理を施すように形成されている。所定の画像処理は、例えば、フルカラーの原画像をモノクロの多階調画像に変換する処理などである。フィルタ１８による画像処理、及び当該画像処理を実現するための画像処理手段について詳しくは後述する。
メモリ１４は、原画像信号に基づく原画像データ、及びフィルタ１８で変換した画像処理後の処理画像データを読み出し自在に一時的に記録し、外部記録媒体１５は、原画像データ及び画像処理後の処理画像データを読み出し自在に記録している。外部記録媒体１５は、例えばハードディスクドライブ、ＵＳＢメモリ、フラッシュカードメモリ、又はそれらに類する記録媒体を備えた装置である。
出力部１６は、出力端子１６ａを有している。該出力端子１６ａを介して、画像処理部１３から伝送された原画像データを構成する原画像信号、又はフィルタで変換した処理画像データを構成する処理画像信号が、モニタ２０へ出力される。
【００２０】
上記の構成を有する撮像装置１０の画像処理部１３が備えるフィルタ１８は、以下に示す画像処理手段３０を有する。当該画像処理手段３０を添付した図面にしたがって説明する。
【００２１】
画像処理手段３０は、図３に示すように、文章抽出手段３１と文章拡大手段３２を有する。
文章抽出手段３１は、多階調変換手段３３、閾値設定手段３４、２階調変換手段３５、画素連結手段３６、領域拡張手段３７を有している。これらの手段によって、文章抽出手段３１は、原画像データに含まれている資料Ｄに係る全体画像のうち、文章が表示されている表示領域を抽出するように形成されている。
文章拡大手段３２は、領域情報取得手段４１、表示画面判定手段４２、文章記載領域形成手段４３、表示領域切り出し手段４４、及び表示領域引き伸ばし手段４５を有し、領域指定入力手段４０は、倍率適用選択手段４０ａを有している。これらの手段によって、文章拡大手段３２は、文章抽出手段３１で抽出した表示領域をモニタ２０のモニタ画面２１の大きさにあわせて拡大するように形成されている。
また、画像処理手段３０は、領域識別手段３９と、領域指定入力手段４０を有している。
【００２２】
多階調変換手段３３は、フルカラーで形成された原画像をグレースケールにしたがってモノクロの多階調画像に変換するように形成されている。
ここで、グレースケールとは、白色及び黒色、並びに濃度値が段階的に設定された灰色からなり、画像を白から黒に亘る明暗で表現するために用いられる基準をいう。グレースケールに準拠して変換された画像は、白色、黒色、灰色の明暗に係る濃度の相違に基づいて表現された、いわゆるモノクロとなる。本実施例では白色及び黒色、並びに２５４段階に濃度値を段階的に変化させた灰色からなる８ビットの２５６階調のグレースケールが使用されている。しかし、これに限定されるものではなく、例えば４ビットの１６階調、又は１６ビットの６５５３６階調といった、他のグレースケールを使用しても良い。
このように、原画像データが有する連続した濃度値の情報を段階的に濃度値値が変化する多階調の濃度値へ所定の関数変換規則にしたがって変換する処理を行うことによって、フルカラーの原画像を、モノクロの多階調画像に変換することができる。多階調画像に変換することによって、フルカラーの画像では認識しづらい処理対象と背景との境界を鮮明にして、撮像した画像の解析・検査を容易にすることができ、画像処理の処理速度を向上させることができる。
なお、グレースケールにしたがって原画像を多階調画像へ変換した例を図１２に示す。
【００２３】
閾値設定手段３４は、図４に示すように、多階調変換手段で形成された多階調画像に基づいて、該多階調画像に含まれる画素の濃度値の分布を示した濃度ヒストグラムを形成し、当該濃度ヒストグラムに基づく判別分析法によって、文字を示す文字画素と対象以外の背景画素に振り分ける境界となる閾値Ｔを設定するように形成されている。
図４に示した濃度ヒストグラムは、横軸に濃度値ｆをとり、縦軸に画素数ｎをとって、画像から切り出す文字や図表等の対象物を表す濃色の濃度値を有する文字画素と、背景を表す淡色の濃度値を有する背景画素の分布を表示したものである。
ここで、判別分析法とは、文字画素に係る濃度分布と背景画素に係る濃度分布とが双峰性を示すとき、二つの山に挟まれた谷底に相当する濃度値を閾値Ｔとして設定し、双峰性を示さないとき、濃度ヒストグラムを文字画素に係る濃度分布に組する濃色系の濃度値群と、背景画素に係る濃度分布に組する淡色系の濃度値群の二群に振り分けて、該二群の分散が最大となる値を閾値Ｔとして設定する方法である。
なお、判別分析法は多階調画像全体を同一の閾値で２階調化する大局的な閾値設定法であるが、これに限定するものではなく、たとえば微分ヒストグラム法のような、多階調画像を細かく分割し、分割した多階調画像の局所的な性質を計測して閾値を設定する閾値設定法を用いて閾値を設定しても良い。
【００２４】
２階調変換手段３５は、多階調画像を構成する画素を、閾値Ｔによって黒色の文字画素か、若しくは白色の背景画素へ振り分けて、多階調画像を２階調画像へ変換するように形成されている。
【００２５】
画素連結手段３６は、図５（ａ）に示した、２階調画像の文字画素のうち、一の文字画素と隣り合う他の文字画素とをひとまとまりの塊とみなして連結し、図５（ｂ）に示すように、複数の文字画素が連なる基本領域を形成する。本実施例においては、一の文字画素の周囲８方向に文字画素が配されている場合に、隣り合う文字画素を互いに連結するように形成されている。
このように文字画素を連結すると、まず２階調画像上の文字を基本領域として検出することができる。しかしながら、文字間には背景画素が配されていることから、当該基本領域をそのまま分割すると一文字ずつバラバラの状態で分割されてしまう。そのため、以下に示すように隣り合う基本領域を接触させることによって、文字間の背景画素を文字画素に変換して一文を検出可能にする。
【００２６】
領域拡張手段３７は、図６に示すように、画素連結手段３６で形成した基本領域を拡張するように形成されている。本実施例においては、一の背景画素の周囲８方向の何れかに文字画素が配されている場合、当該背景画素を文字画素に変換する処理が行われる。これにより、図６（ａ）の矢印で示すように、基本領域を拡張して、図６（ｂ）に示すように拡張領域を形成することができる。この拡張変換処理を複数回繰り返すと、図７に示すように、隣り合う基本領域を互いに接触させて文字間の背景を潰すことができる。これにより、複数の文字を包含する拡張領域が形成される。その結果、複数の文字を連ねて所定の情報を表す文章が拡張領域として形成される。拡張領域変換処理の繰返し回数を任意に設定することによって、拡張領域に含まれる文章は、一文単位、一段落単位、一ページ単位のように所定の単位毎に抽出することができる。
【００２７】
２階調画像上に区画形成された拡張領域を示す、例えば、該拡張領域の基点の位置座標、大きさ又は範囲を示す画素数等の拡張領域に関する情報は、メモリ１４又は外部記録媒体１５に読み出し自在に記録される。当該拡張領域情報を原画像上へ展開し、又は照合させることによって、拡張領域に対応する原画像上の表示領域を抽出することができ、該表示領域に包含されている文章を抽出することができる。
【００２８】
領域識別手段３９は、上記の拡張領域に関する拡張領域情報に識別番号を追記して、拡張領域に識別番号を付与するように形成されている。
領域指定入力手段４０は、拡張領域に付された識別番号を指定するための入力デバイスを有している。入力デバイスは、例えば、リモコン、テンキー、マウス、トラックパッド、タブレット、キーボードといったものである。本実施例においては、リモコンが使用されている。
【００２９】
領域情報取得手段４１は、領域指定入力手段４０で指定した指定拡張領域に関する拡張領域情報をメモリ１４又は外部記録媒体１５から読み出して取得するように形成されている。
表示画面判定手段４２は、撮像装置１０に接続されているモニタ２０のモニタ画面２１の大きさに係る情報をモニタ２０から取得し、当該モニタ画面２１の大きさを判定するように形成されている。
拡張領域情報と、モニタ画面２１の大きさに関する情報を照合させることにより、拡張領域の拡大倍率を調整し、拡大倍率に係る倍率情報が形成される。
【００３０】
文章記載領域形成手段４３は、２階調画像上で指定拡張領域と、該指定拡張領域の周囲の背景とをあわせて、図８に示すように、矩形状の文章記載領域を形成する。拡張領域は文字間の背景を潰して一文を検出可能に形成するので、該拡張領域に周縁は複雑に折れ曲がった形状を呈している。しかし、文章記載領域を形成することによって、拡張領域を矩形状の範囲内に収めることができるので、文章の検出を容易にすると共に、検出した文章を見やすくすることができる。
そして、上記の拡張領域の倍率情報と、文章記載領域の大きさとが照合される。これにより、文字記載領域を拡大する倍率が調整される。具体的には、図９に示すように、文章記載領域の大きさ、範囲を示す縦横のサイズのうち、長辺がモニタ画面２１の長辺に適合するように倍率が調整される。これにより、文字記載領域内の文字の縦横比を変えずに、該文字記載領域を拡大させることができる。
【００３１】
表示領域切り出し手段４４は、拡張領域を包含する文章記載領域に関する情報を原画像上に展開し、照合して、文章記載領域を原画像へマッピングする写像処理を行うように形成されている。これにより、文章記載領域に覆われる原画像上の文章を表示領域として切り出すことができる。切り出された表示領域は、メモリ１４又は外部記録媒体１５に記録される。なお、写像処理とは、文章記載領域が区画形成された２階調画像を原画像へ重ね合わる処理、又は文章記載領域の位置座標に係る情報を、原画像に係る原画像データへ照合する処理、その他これらの処理に類する処理をいう。
なお、文章記載領域を原画像上へマッピングした例を図１３に示す。
【００３２】
表示領域引き伸ばし手段４５は、切り出した表示領域を文章記載領域の倍率情報にしたがって引き伸ばすように形成されている。
そして、引き伸ばされた表示領域に係る表示領域画像信号は、エンコーダ１７で再符号化されて出力部１６へ伝送され、モニタ２０へ出力される。
【００３３】
また、領域指定入力手段４０は、倍率適用選択手段４０ａを有する。
倍率適用選択手段４０ａは、領域指定入力手段４０で拡張領域を指定したときに起動するように形成されている。
倍率適用選択手段４０ａは、指定拡張領域の拡大倍率を個別に設定し、設定した個別拡大倍率を指定拡張領域へ適用する個別拡大パターンと、指定拡張領域の拡大倍率を所定の倍率に固定し、当該固定拡大倍率を指定拡張領域へ適用する固定拡大パターンの２パターンを選択可能に備えている。
そして、領域指定入力手段４０で複数の拡張領域を同時に指定したとき、倍率適用選択手段４０ａで選択された一の拡大パターンにしたがって、表示領域引き伸ばし手段４５は、指定された指定拡張領域に対応する原画像上の複数の表示領域をそれぞれ所定の拡大倍率で拡大する。
すなわち、個別拡大パターンを選択した場合には、モニタ画面２１の大きさにあわせて表示領域がそれぞれ個別に拡大される。これにより、モニタ画面２１の大きさを表示領域毎に最大限利用することができる。
固定拡大パターンを選択した場合には、矩形状の文章記載領域のうち、最も大きな文章記載領域の長辺にあわせて拡大倍率が設定される。そして、設定された拡大倍率にしたがって、当該文章記載領域に対応する全ての表示領域が拡大される。これにより、指定した複数の表示領域に含まれているそれぞれの文字の大きさのバランスを崩さずに拡大させることができる。
【００３４】
また、文章抽出手段３１は、図３に示すようにノイズ除去手段４６を有する。
ノイズ除去手段４６は、図１０に示すように、２階調画像の背景を示す背景画素の近傍にある文字画素を背景画素に変換するように形成されている。この２階調画像に含まれている文字画素の面積を縮小する縮小変換処理を、複数回繰り返すことによって、背景内に点在する少なくとも一つの文字画素からなるノイズが除去される。
また、上記のノイズを除去する過程に伴って、基本領域の面積も縮小する。これにより、基本領域で表される文字の輪郭を鮮明にして文字の特徴を捉え易くすることができる。
【００３５】
上記の構成を有する撮像装置１０は、以下の処理ステップによって、撮像した資料画像から文章が表示されている表示領域を抽出している。添付した図面にしたがって説明する。
【００３６】
図１１に資料画像から文章が表示されている表示領域を自動的に拡大する処理に係るフローチャートを示す。
ステップＳ１００は本実施例に係る画像処理を開始する処理を行うステップである。
ステップＳ１０５は、資料Ｄの全体画像が含まれた原画像に係る原画像データをフィルタ１８の画像処理手段３０へ入力する処理を行うステップである。
ステップＳ１１０は、多階調変換手段３３で、原画像データから、色彩に係る情報を破棄すると共に、原画像データが有する色の明暗を示す濃度値に係る情報をグレースケールで多階調変換し、フルカラーの原画像からモノクロの多階調画像を形成する処理を行うステップである。多階調変換処理が施された画像の例を図１２に示す。
ステップＳ１１５は、閾値設定手段３４で、形成された多階調画像に基づいて図４に示す濃度ヒストグラムを形成し、判別分析法にしたがって閾値Ｔを設定する処理を行うステップである。
ステップＳ１２０は、２階調変換手段３５で、閾値Ｔを多階調画像に適用して２階調画像を形成する処理を行うステップである。当該ステップＳ１２０において、資料に含まれている文字及び図表といった抽出対象は黒色の文字画素に変換され、抽出対象を除く背景は、白色の背景画素に変換される。
【００３７】
ステップＳ１２５は、ステップＳ１２０で形成された文字画素を画素連結手段３６にしたがって連結し、ひとまとまりの基本領域を形成する処理を行うステップである。
ステップＳ１３０は、ノイズ除去手段４６で、２階調画像の背景内に点在する少なくとも一つの文字画素を背景画素に変換してノイズ成分を除去する処理を行うステップである。ステップＳ１３０の段階においてノイズ成分を除去しておくことにより、ノイズ成分を構成する文字画素を拡張し、誤って抽出することを防ぐことができる。
ステップＳ１３５は、２階調画像の背景中に点在する文字画素によるノイズ成分が無くなるまで、ステップＳ１３０に示したノイズ除去手段４６を複数回繰り返すための判定をする処理を行うステップである。
【００３８】
ステップＳ１４０は、領域拡張手段３７で基本領域の周囲の背景画素を文字画素に変換して、当該基本領域を拡張する拡張変換処理を行うステップである。
ステップＳ１４５は、領域拡張手段３７を図７に示すように所定回数繰り返すための判定処理を行うステップである。ステップＳ１４０とステップＳ１４５の領域拡張処理を繰り返すことによって、基本領域間に配されている背景画素が文字画素へ変換され、基本領域が連結した拡張領域が形成される。
ステップＳ１５０は、隣り合う基本領域が接触したとき、形成された拡張領域を確定する処理を行うステップである。当該ステップＳ１５０において、２階調画像上における拡張領域に係る情報、例えば、位置座標、基準点、大きさ、又は範囲等が形成され、該拡張領域に係る情報は、メモリ１４又は外部記録媒体１５へ記録される。
ステップＳ１５５は、拡張領域に係る情報を取得する処理を行うステップである。
ステップＳ１６０は、取得した拡張領域に係る情報に領域識別手段３９で識別番号に係る情報を追記するラベリング処理を行うステップである。これにより、２階調画像上に形成された少なくとも一つの拡張領域を識別可能にすることができる。
ステップＳ１６５は、ラベリングした拡張領域に係る情報を原画像データへマッピングする写像処理を行うステップである。これにより拡張領域に対応する表示領域を原画像から抽出可能なスタンバイ状態に移行することができる。
ステップＳ１７０は、ステップＳ１６０でラベリングした拡張領域に対応する表示領域を原画像上で識別番号と共にモニタ画面２１でプレビュー表示する処理を行うステップである。これにより、拡大させたい表示領域を指定可能なスタンバイ状態に移行することができる。
ステップＳ１７５は、拡張領域の識別番号を領域指定入力手段４０で指定したか否か判定する処理を行うステップである。拡張領域が指定されない場合には、ステップＳ２０５へ移行して、画像処理を終了する。このとき、拡張領域に対応する表示領域に係る情報は読み出し自在にメモリ１４又は外部記録媒体１５に記録される。一方、拡張領域を指定した場合にはステップＳ１８０へ移行する。
【００３９】
ステップＳ１８０は、領域指定入力手段４０に係る入力デバイスであるリモコンによって指定した拡張領域に係る情報に基づいて、モニタ画面２１の大きさにあわせて、拡大倍率を設定する処理を行うステップである。
ステップＳ１８５は、文章記載領域形成手段４３で拡張領域と、該拡張領域の周囲の背景をあわせた矩形状の文章記載領域を２階調画像上で形成する処理を行うステップである。矩形状のモニタ画面２１の形状にあわせて文章記載領域を矩形状に設定することにより、ギザギザな輪郭の拡張領域と比べて容易に拡大させることができるようになる。
ステップＳ１９０は、２階調画像上に形成した文章記載領域に係る情報、例えば、位置座標、基準点、縦と横の画素数等が、原画像データへマッピングされる写像処理を行うステップである。これにより、２階調画像上の文章記載領域に対応する表示領域を原画像上に形成することができる。
ステップＳ１９５は、表示領域切り出し手段４４で、文章記載領域と対応する原画像上の表示領域を原画像から切り出す処理を行うステップである。当該ステップＳ１９５に係る画像処理の結果、表示領域に含まれた文章を、一文単位、一段落単位といった所定の単位毎に資料から自動的に抽出することができる。
ステップＳ２００は、表示領域引き伸ばし手段４５で、切り出した表示領域に対してステップＳ１８０で設定した拡大倍率を適用して引き伸ばす処理を行うステップである。そして、引き伸ばされた表示領域に係る表示領域画像信号は、出力部へ出力され、ステップＳ２０５で本実施例に係る画像処理は終了する。
【００４０】
本実施例に係る画像処理の結果を図１２乃至図１４に示す。まず図１２に示すように、フルカラーの原画像で示された資料全体の画像をグレースケールにしたがって多階調画像へ変換する処理が行われる。該多階調画像に基づいて、画像処理部１３は、基本領域を拡張して拡張領域を形成すると共に図表をマスキングして、さらに拡張領域と該拡張領域の周囲の背景をあわせて、図１３の網掛けで示した矩形状の文章記載領域を形成する画像処理を行う。文章記載領域には、拡張領域で抽出した文章が含まれている。そして、文章記載領域に対応する表示領域が原画像上に展開される。該表示領域を切り出す画像処理の結果、資料に記載された文章を自動的に抽出することができる。抽出した表示領域は図１４に示すように拡大される。
これにより、撮像した資料に記載されている文章を拡大させる必要が生じたとき、撮像した資料内の文章に照準を合わせて拡大し、焦点を合わせる操作を省くことができ、狙った文章を迅速に拡大させることができる。
【００４１】
上記の撮像装置による、資料全体の画像から文章が表示された表示領域を抽出し、当該表示領域を自動的に拡大する方法は、以下に示すように応用することができる。
例えば、資料Ｄの全体画像と、文章が表示された表示領域は、メモリ１４或いは外部記憶媒体１５に読み出し自在に記憶されている。そのため、拡大させたい表示領域が、図１に示した資料提示装置１０Ａ、又は拡大読書器１０Ｂのカメラの撮像範囲の中心に移動したとき、該表示領域を自動的に読み出してモニタ画面２１へ拡大再生するように設定することができる。
このようにすれば、使用者がリモコンで拡大させることを所望する表示領域を手動で指定する操作を省くことができる。そのため、より迅速に文章の拡大を行うことができるので、撮像装置１０の使い勝手をよくすることができる。
また、２階調画像上に形成した矩形状の文章記載領域と対応する表示領域が資料Ｄの全体画像を含む原画像上に展開されている。そのため、当該表示領域を塗りつぶすことによって、原画像上の文章を矩形状に覆い隠すマスク処理を行うことができる。
このようにすれば、例えば、クイズの答えを隠しておき、答えあわせのときに表示領域を透明化させて、答えを表示する使い方、又はプレゼンテーションの場において、話の進行状況に沿って順次表示領域を透明化させると共に、該表示領域にスポットを当てるように画面一杯に拡大する使い方等をすることができる。
【００４２】
本実施例に係る撮像装置１０によれば、画像処理部１３によって、資料Ｄの全体画像から文章が表示された表示領域を抽出し、該表示領域を自動的に拡大するようにした。
これにより、当該表示領域をモニタ画面２１で表示するとき、当該表示領域の位置がモニタ画面２１の範囲内に収まるように資料を移動させる操作、又は当該表示領域を拡大させたときのフォーカスをあわせる操作のように、従来手動で行っていた操作を自動化することができる。
そのため、資料提示装置１０Ａが使用されるプレゼンテーションのような場では、資料の提示をスムーズに行うことができ、拡大読書器１０Ｂを使用する場合には、操作に気をとられることなく集中して読書することができる。
また、撮像した資料Ｄ内の文章が表示された表示領域を抽出して、メモリ１４又は外部記録媒体１５へ読み出し自在に記録するようにしたので、モニタ画面２１において、資料Ｄの全体画像と表示領域との切り替えを素早く行うことができる。そのため、資料Ｄに記載されている図表を提示した後に、当該図表の説明文を拡大して提示すといった操作を迅速に行うことができる。
【符号の説明】
【００４３】
Ｄ…資料、Ｔ…閾値、ｆ…濃度値、ｎ…累積画素数、
１０…撮像装置、１０Ａ…資料提示装置、１０Ｂ…拡大読書器、
１１…撮像部、１２…装置本体、１３…画像処理部、１４…メモリ、１５…外部記録媒体、１６…出力部、１６ａ…出力端子、
１７…エンコーダ、１８…フィルタ、
２０…モニタ、２１…モニタ画面
３０…画像処理手段、３１…文章抽出手段、３２…文章拡大手段、
３３…多階調変換手段、３４…閾値設定手段、３５…２階調変換手段、３６…画素連結手段、３７…領域拡張手段、
３９…領域識別手段、４０…領域指定入力手段、４０ａ…倍率適用選択手段、
４１…領域情報取得手段、４２…表示画面判定手段、４３…文章記載領域形成手段、４４…表示領域切り出し手段、４５…表示領域引き伸ばし手段、
４６…ノイズ除去手段。
【特許請求の範囲】
【請求項１】
複数の文字を連ねて所定の情報を表す文章が記載された資料を撮像する撮像手段と、
該撮像手段で形成された画像を符号化し、圧縮し、その他所定の画像処理を施して、モニタ画面又はこれに類する表示画面へ表示するために最適化された原画像を形成する画像処理手段と、
該原画像を構成する原画像信号を前記表示画面を備えた表示装置に向けて出力する出力手段とを有する撮像装置であって、
前記画像処理手段は、前記原画像から前記文章を抽出する文章抽出手段と、抽出した文章を拡大する文章拡大手段を有し、
前記文章抽出手段は、
白色から灰色を経て黒色まで明暗が段階的に異なる複数の階調からなるグレースケールにしたがって、前記原画像を変換して多階調画像を形成する多階調変換手段と、
前記灰色の濃度値のうち、所定の濃度値を閾値として設定する閾値設定手段と、
該閾値に基づいて、前記多階調画像を変換し、前記文字を構成する黒色の文字画素と、前記文字以外の背景を表す白色の背景画素とからなる２階調画像を形成する２階調変換手段と、
前記２階調画像の一の前記文字画素と、該文字画素の近傍に配されている他の文字画素とを連結して基本領域を区画形成する画素連結手段と、
前記文字画素の近傍に配されている前記背景画素を前記文字画素に変換して、前記基本領域を拡張して拡張領域を区画形成する領域拡張手段とを有し、
前記２階調画像に区画形成されている前記拡張領域に対応する表示領域を前記原画像から抽出し、
該表示領域を前記文書拡大手段で拡大して、
拡大した前記表示領域を構成する表示領域信号を前記出力手段で出力するようにしたことを特徴とする撮像装置。
【請求項２】
前記文章拡大手段は、
前記２階調画像上の前記拡張領域の位置、大きさ、又は範囲に係る情報を取得する領域情報取得手段と、
前記表示画面の大きさに係る情報を取得し、当該表示画面の大きさと前記拡張領域の大きさとを照合して、前記拡張領域の拡大倍率を調整する表示画面判定手段と、
前記拡張領域、及び該拡張領域の周囲の前記背景からなる矩形状の前記文章記載領域を前記２階調画像に区画形成する文章記載領域形成手段と、
該文章記載領域に対応する前記表示領域を前記原画像から切り出す表示領域切り出し手段と、
切り出した前記表示領域を、前記表示画面の大きさにあわせて前記拡大倍率で引き伸ばす表示領域引き伸ばし手段とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、
前記２階調画像に区画形成されている複数の前記拡張領域にそれぞれ識別番号を付与する領域識別手段と、
該識別番号を指定可能な入力デバイスを備えた領域指定入力手段を有し、
前記入力デバイスで所定の拡張領域を少なくとも一つ指定したとき、
指定された前記拡張領域に対応する前記表示領域が、前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする請求項１若しくは請求項２に記載の撮像装置。
【請求項４】
領域指定入力手段は、指定した前記拡張領域の拡大倍率を個別に設定し、当該個別拡大倍率を前記指定拡張領域に対して適用する個別拡大パターンと、前記指定拡張領域の拡大倍率を所定の倍率に固定して設定し、当該固定拡大倍率を前記指定拡張領域に対して適用する固定拡大パターンとの２パターンを選択可能に備えた倍率適用選択手段を有し、
前記領域指定入力手段で複数の前記拡張領域を指定したとき、前記倍率適用選択手段で選択した一の拡大パターンにしたがって、指定された前記拡張領域に対応する前記表示領域が、それぞれ前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする請求項１乃至請求項３の何れかに記載の撮像装置。
【請求項５】
前記文章抽出手段は、前記背景画素の近傍に配されている前記文字画素を前記背景画素に変換して、前記２階調画像の背景内に点在する少なくとも一つの前記文字画素からなるノイズを除去するノイズ除去手段を有することを特徴とする請求項１に記載の撮像装置。
【請求項１】
複数の文字を連ねて所定の情報を表す文章が記載された資料を撮像する撮像手段と、
該撮像手段で形成された画像を符号化し、圧縮し、その他所定の画像処理を施して、モニタ画面又はこれに類する表示画面へ表示するために最適化された原画像を形成する画像処理手段と、
該原画像を構成する原画像信号を前記表示画面を備えた表示装置に向けて出力する出力手段とを有する撮像装置であって、
前記画像処理手段は、前記原画像から前記文章を抽出する文章抽出手段と、抽出した文章を拡大する文章拡大手段を有し、
前記文章抽出手段は、
白色から灰色を経て黒色まで明暗が段階的に異なる複数の階調からなるグレースケールにしたがって、前記原画像を変換して多階調画像を形成する多階調変換手段と、
前記灰色の濃度値のうち、所定の濃度値を閾値として設定する閾値設定手段と、
該閾値に基づいて、前記多階調画像を変換し、前記文字を構成する黒色の文字画素と、前記文字以外の背景を表す白色の背景画素とからなる２階調画像を形成する２階調変換手段と、
前記２階調画像の一の前記文字画素と、該文字画素の近傍に配されている他の文字画素とを連結して基本領域を区画形成する画素連結手段と、
前記文字画素の近傍に配されている前記背景画素を前記文字画素に変換して、前記基本領域を拡張して拡張領域を区画形成する領域拡張手段とを有し、
前記２階調画像に区画形成されている前記拡張領域に対応する表示領域を前記原画像から抽出し、
該表示領域を前記文書拡大手段で拡大して、
拡大した前記表示領域を構成する表示領域信号を前記出力手段で出力するようにしたことを特徴とする撮像装置。
【請求項２】
前記文章拡大手段は、
前記２階調画像上の前記拡張領域の位置、大きさ、又は範囲に係る情報を取得する領域情報取得手段と、
前記表示画面の大きさに係る情報を取得し、当該表示画面の大きさと前記拡張領域の大きさとを照合して、前記拡張領域の拡大倍率を調整する表示画面判定手段と、
前記拡張領域、及び該拡張領域の周囲の前記背景からなる矩形状の前記文章記載領域を前記２階調画像に区画形成する文章記載領域形成手段と、
該文章記載領域に対応する前記表示領域を前記原画像から切り出す表示領域切り出し手段と、
切り出した前記表示領域を、前記表示画面の大きさにあわせて前記拡大倍率で引き伸ばす表示領域引き伸ばし手段とを有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記画像処理手段は、
前記２階調画像に区画形成されている複数の前記拡張領域にそれぞれ識別番号を付与する領域識別手段と、
該識別番号を指定可能な入力デバイスを備えた領域指定入力手段を有し、
前記入力デバイスで所定の拡張領域を少なくとも一つ指定したとき、
指定された前記拡張領域に対応する前記表示領域が、前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする請求項１若しくは請求項２に記載の撮像装置。
【請求項４】
領域指定入力手段は、指定した前記拡張領域の拡大倍率を個別に設定し、当該個別拡大倍率を前記指定拡張領域に対して適用する個別拡大パターンと、前記指定拡張領域の拡大倍率を所定の倍率に固定して設定し、当該固定拡大倍率を前記指定拡張領域に対して適用する固定拡大パターンとの２パターンを選択可能に備えた倍率適用選択手段を有し、
前記領域指定入力手段で複数の前記拡張領域を指定したとき、前記倍率適用選択手段で選択した一の拡大パターンにしたがって、指定された前記拡張領域に対応する前記表示領域が、それぞれ前記文章抽出手段で抽出され、前記文章拡大手段で拡大されるようにしたことを特徴とする請求項１乃至請求項３の何れかに記載の撮像装置。
【請求項５】
前記文章抽出手段は、前記背景画素の近傍に配されている前記文字画素を前記背景画素に変換して、前記２階調画像の背景内に点在する少なくとも一つの前記文字画素からなるノイズを除去するノイズ除去手段を有することを特徴とする請求項１に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−２４４４３９（Ｐ２０１２−２４４４３９Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１１２９４６（Ｐ２０１１−１１２９４６）
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（００００００４２４）株式会社エルモ社 (104)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月２０日（２０１１．５．２０）
【出願人】（００００００４２４）株式会社エルモ社 (104)
【Ｆターム（参考）】
[ Back to top ]