私たち鳥研（愛知工業大学・鳥居研究室）は、体に障がいのある方や高齢者のための支援アプリを開発しています。
私たちの研究は方法論ではなく、情報の可視化技術を実際の対象に適応させること、特に、障がい者のための、携帯情報端末用アプリケーションを開発し、どのように活用されるかを調べ、問題点をみつけて、今後の展望としてさらなる応用を目指していくものであります。
■ バージョン 4.0 の修正について (2017.9.13)
iOS 11にOSをアップデートされるユーザーの方は、 最新バージョン「ねぇ、きいて。」4.0をインストールしてください。
■ バージョン 3.6 の修正について (2013.11.14)
iOS 7にOSをアップデートしたユーザーの方に、「ねぇ、きいて。」に「音声録音にて音声が保存されない」という不具合が発生していましたが、11月14日 バージョンアップされました。ご迷惑をおかけして申し訳ありませんでした。
■ バージョン 3.4 の新機能 (2012.8.22)
オリジナルページの容量が大幅アップしました。21ページまで登録できます。
最もよく使う「はい」「いいえ」「手伝って」をトップページに配置し、即答が簡単に出来てさらに便利になりました。【この３つにはバイブ機能をつき、よりわかりやすくなりました】
ユーザの方から報告されていたクラッシュの原因である動画を外しました。また同時に、プログラムを整理し直し、容量を軽量化しました。
起動時に出る「ねぇ、きいて」を、高音が苦手な子どもさんのために高音質を取り除き、音量を下げました。
2011年4月にリリースしてから現在までに、計14回目のバージョンアップになります。
【iPhone /App Version Number: 1.0】 April 23, 2011On sale 【iPhone /App Version Number: 1.1】 May 4, 2011 Correct the slow reacting buttons and category buttons / Relocate the information button / Add explanations / Change the voice / Make it return to the top page when restarts 【iPhone /App Version Number: 2.0】 May 18, 2011 Set up "Make" page to create original icons / Set up the functions to make new pictures / Set up the record mode and input the data of letters / Use animation for icons of categories 【iPhone /App Version Number: 2.1】 May 24, 2011 Correct the bug in "Make" mode / Correct the order of create original icons / Set the number of the letter to 16 【iPhone /App Version Number: 3.0】 June 2, 2011 Increase Original Page to 6 / Make it possible to use existing symbols and customize icons freely / Put new symbols on "Fun" page / Divide "I wan to go" category in 2 pages 【iPhone /App Version Number: 3.1】 Jun 22, 2011 Increase Original Page 6 to 10 / Set the time of the delete button 3 seconds / Change the size of icons 【iPhone /AppVersionNumber:3.11】 July 22, 2011 Correct the bug of the delete button / Correct the error to show unexpected icons 【iPhone /AppVersionNumber:3.2】 - .September 11, 2012 Responding to iOS 5.0 【iPhone /AppVersionNumber:3.21】 November 10,2011 Add Stamp Mode (Task Schedule) 【iPhone /AppVersionNumber:3.22】 December 15,2011 Delete the treble 【iPhone /AppVersionNumber:3.23】 January 12,2012 Add "Yes" "No" "Please" button with vibrate on the top page 【iPhone /AppVersionNumber:3.24】 March 22,2012 Delete the movie on Stamp Mode which occupies a lot of memory 【iPhone /AppVersionNumber:3.25】 June 11,2012 Correct the bug of hiding the title input area 【iPhone /AppVersionNumber:3.26】 August 5,2012 Correct the bug which causes the error when create a icon on Make page 【iPhone /AppVersionNumber:3.3】 September 16,2012 Increase the number of Original Page 10 to 21
■ 音声が出ない場合の対処法（大学に寄せられる よくある質問）
音声が出ないという問い合わせが寄せられます。iPad・iPhoneでの対処法です。順に試してみてください。
① 右側面上部のサイドスイッチがON（上）になっていることを確認してください。
②「設定アイコン」（歯車の模様）から→「一般」→「サウンド」と進みます。
③ 【着信音と通知音】のレベルを最大に上げてください。「ボタンで変更」もONにします。
■iPad・iPhoneの動きが悪い時
① 再起動をしましょう。上部のスリープボタンを、赤い「電源オフ」スライダが表示されるまで数秒間押し続けて
「電源オフ」スライダをスライドしオフの状態にします。
② 再起動は、スリープボタンを押したまま、Appleロゴが表示されるまで待ちます。
■マルチタスクメモリの解放方法
マルチタスクのバックグラウンドでアプリがメモリを保持したまま、待機状態が続いていることがあります。
① ホームボタンをダブルクリックして起動しているアプリケーションを表示させます。
② アイコンを長タップすると、アプリケーションのアイコンの左上に「-」が表示され、それをタップすることでアプリケーションの一覧からアイコンが消えメモリを解放することができます。
■ 開発にあたって
近年、コミュニケーションエイドとして携帯電話や携帯ゲーム機が、多くの注目を集めています。
なかでも、携帯電話とPDAを融合させた携帯端末スマートフォンへの関心が高まっています。
こうした携帯端末は、メール機能やカメラ機能だけでなく、アプリケーション（以下アプリ）をインストールすることで様々な使い方ができ、カスタマイズも可能であることが大きな魅力の一つでしょう。
現在、こうしたスマートフォンや携帯ゲーム機を利用したコミュニケーションに障がいのある方を主な対象とするコミュニケーションエイドとしてのアプリが、既にいくつか発売されています。
価格は1500円から35000円程度と幅があり、それぞれに専用のシンボルや機能が多数用意されています。しかし、様々な機能が増えている反面、複雑すぎて使いづらく現場では十分に生かしきれていないというのが現状です。
そこで、私たち鳥研（愛知工業大学・鳥居研究室）は、言語障がいのある方がより簡単により気軽に伝える楽しさと伝わる喜びを味わえるような新しいアプリの開発に着手しました。
そうして開発されたこの「ねぇ、きいて。」は自閉症や言語障がいのある方のコミュニケーションを助ける、安価で使いやすいAAC（補助代替コミュニケーション）ソフトウェアです。本アプリをiPhoneやiPod、iPad、またはアンドロイドを搭載するスマートフォンにインストールするだけで、言語に頼らず、誰でも簡単に楽しくコミュニケーションをすることができます。
■ 目 的
本アプリは、誰でも簡単に言語に頼らないコミュニケーションができることを重点として、開発されています。
自閉症の方や失語症の方などコミュニケーションに困難のある方、重度な知的障がいのある方の支援だけでなく、小さなお子さまの言語教育にも役立つ内容となっています。このアプリを通じ、多くの方が伝わる喜びを感じることでコミュニケーションへの意欲を高めることができればと願っています。
■ 事例（特別支援学校からの報告）
【事例報告】療育手帳A判定（知能指数が35以下），発語なし，小5男児M君の場合
〈4月「ねぇ、きいて。」との出会い〉2011.4.26
初めて「ねぇ、きいて。」をiPadで初めて触る．「ねぇ、きいて。」を起動した状態でM君に渡す．すぐに「タッチすると画面がかわる」ことを理解する．また，音声がでる画面があることも理解した．
〈5月「ねぇ、きいて。」を給食時に使用〉2011.5.17
「いただきます」を伝える．携帯性のよいiPodを中心に使用するようになる．給食時に，「いただきます」「減らして」「おかわり」などの言葉を伝えられる．一度手本を見せるだけで，すぐに操作できた．
〈5月下旬〉2011.5.24
「きらいなもの」を伝える．あらかじめ献立の写真をオリジナルシンボルとして作成しておいた．写真をみて「きらいなもの」を伝えている．この段階では，相手への注意喚起はしていない．
〈6月上旬〉2011.6.9
起動も素早くなりほかのアプリも使えるようになった．ToDoアプリで食べたメニューを消していき，「ねぇ、きいて。」で「減らして」を伝えている．相手への注意喚起（相手の肩や腕をとんとんとたたく）を行うようになった．
〈9月中旬〉2011.9.14
操作にもすっかり慣れ，オリジナルのシンボル追加ができるようになっている．気になる下校の手段（スクールバスか保護者迎えかなど）を自分で写真ライブラリの中から取り込みシンボルを追加している．給食を食べながらそれを確認している.
■ 発語の意欲を促す機器
〈11月中旬〉2011.11.10
スケジュールアプリで，手順を確認しながら作業を行う．「ねぇ、きいて。」以外のアプリも使えるようになった．
指示を受けて行動し，聞かれたらYesかNoか答えるだけだったM君．これまでにも，PECS(Picture Exchange Communication System)の導入を試みたこともあったが，支援者の継続的な訓練体制をとることができず，PECSのフェイズⅡの段階（導入段階）に留まっていた．
「ねぇ、きいて。」では，特別な訓練システムの必要もなしに，操作とコミュニケーションの機能を自ら短時間に理解することができた．「伝わる」実感を味わううちに，たとえ要求が即座に満たされなくても，相手に共感してもらうことで安心したり，「○○まで待って」といったやりとり（交渉）をしたりすることができるようになってきた．
〈2012年2月中旬〉⑦ 2012.2.8
M君が「ねぇ、きいて。」を使う回数がめっきり減った．
「いただきます」や「へらして」などの簡単な要求は身振りで伝え， 身振りでは伝わりにくいことは携帯しているiPodの写真ライブラリから選んだり，限られた単語ではあるが，メモ機能を使って文字を打ったりするようになった．
その場に応じて合理的な手段を選んでいる．さらに，相手への注意喚起のために「あー」などの声を発するようになってきた．
このようにM君が，自分から伝えようとする行動を起こすようになったのは大きな進歩だと感じている.
このように発語のなかった子どもたちが、このアプリを使うことで、楽しみながら「伝える楽しさ」「つたわる喜び」を覚え、自ら発語を始めました。
「ねぇ、きいて。」は、コミュニケーション支援アプリではなく、発語の意欲を促す機器といえるでしょう。
■ より簡単に
自閉症やその他のコミュニケーション障がいのある方にコミュニケーションを自発するように教えるための拡大/代替コミュニケーショントレーニング、PECS（絵カード交換式コミュニケーションシステム）の開発者であるAndy B.＆L.Frost B.,PhDは、「子ども達に対するコミュニ ケーション指導は、欲しいものをどのようにして要求するかを教えることから始める方が役立つ」と述べています。
伝えたい気持ちを強く持つのは何かを要求する場面であり、自らが発した要求が満たされることで伝わる喜びを実感することができるからです。
そこで、今回のアプリ開発では、「…したい」「…ほしい」といった基本的な要求を容易に伝えられることを念頭において制作に取り組みました。使用場面を「要求」に絞ることで、より的確にスピーディーに自分の意思を伝えることができます。
その結果、機能が最小限に押さえられ、より簡単な操作が可能になったのです。ワンタッチで要求が伝えられる簡便さは、他のコミュニケーションアプリには見られない利点です。
■ より楽しく
本アプリは、自閉症の方や失語症の方などコミュニケーションに困難のある方以外に、小さなお子さまの言語教育にも役立つ内容となっています。
子どもたちは、ジョークや音真似が大好きです。「タッチすると音が出る」という因果関係の学習にもなり、機器への関心を高めることができます。「お笑い」や「効果音」など、今までにないユニークなコンテンツを盛り込むことで、子どもの興味を自然に機器へと誘導することができ、興味を持ったところから、触ってみよう、使ってみようという意欲が湧く仕組みになっているのも本アプリの特徴の一つです。
さらに、こうしたカテゴリが周りの人とのコミュニケーションやかかわりのきっかけとなる可能性も高く、そこから他者とのつながりが深まることが期待できます。
■ よりわかりやすく
本アプリは、特別支援学校で実際に自閉症などコミュニケーションに障がいのある子ども達と接してきた教員の協力によって開発を進めました。
そのため、現場に立つ者にしか分からない多くの工夫を凝らしてあります。
例えば、カテゴリやシンボルを実生活に関係の深い内容のみに絞ることにより、障がいのある方でも容易に選択することができるようにしました。
また、日常会話の基礎となる二語文で構成されていますので、伝える側、受取手側双方にとってわかりやすい内容になっています。
すべてのイラストは幅広い年齢層に受け入れられるように、わかりやすく親しみやすいデザインを採用しています。明るくハッキリとした色遣いにこだわり、アピール力と識別しやすさを実現しました。
その他、屋外や人の多い場所など聞き取りにくい環境でも明確に伝わるよう、音量を大きく、クリアに加工しました。
■ もっと自由に、広がる思い
「ねぇ、きいて。」には日常生活の様々なシーンに対応する約１２０個のアイコンがあらかじめ備わっていますが、使う人の状況によってはより多種のアイコンが必要な場合も考えられます。
ただ、アイコンの数ばかりを増やしても、実際に使用する機会がないものが多ければ、かえって選択に時間がかかり操作しづらくなる可能性があります。
そのような時に役立つのが、スマートフォン内蔵のカメラやマイクを利用したオリジナルアイコン作成機能を備えた「ふやす」ページです。
この「ふやす」ページでは、自分で撮った写真やネット上で見つけたイラスト、音声を使って、オリジナルアイコンを簡単に作ることができます。
例えば、お気に入りの場所や人物、毎日の決まった行動など、使用者の実生活に沿ったオリジナルアイコンがあれば、コミュニケーションの幅が大きく広がることは間違いありません。
このオリジナルアイコンを使って、簡単な操作性はそのまま、より素早く効果的に意思を伝え合うことができるでしょう。
オリジナルページ（４個×１０ページ）には、カメラ機能を使って作成したアイコンや既存のシンボルを自由に配置してカスタマイズすることができます。
【オリジナルページのつくり方】
◦ オリジナルの組み合わせを10ページ、自由にカスタマイズできます
・トップページ下の「オリジナル」をタップ→「オリジナルページ」へ移動
↓
・『オリジナルページ』の好きなページ(１～10）をタップしページ移動
↓
・右上の「つくる」をタップして［新しいアイコンを作る］か［既存のシンボルを読み込む］を選択
◉ 新しいシンボルを作る
・青の「アイコンを選ぶボタン」をタップ →読み込み元を選ぶ
※読み込み元を、写真アルバム・カメラ・保存された写真から選択
※ピンチ（２本指で操作）で移動と拡大縮小して位置調整し「選択」
↓
・赤いマイクボタンをタップして点滅中音声を録音（最大10秒間）
再度タップして停止します
※緑色のプレイボタンで確認ができます
↓
・タイトルになる文字（全角８文字・半角16文字まで）を入力
↓
・右上の「ほぞん」ボタンをタップ でアイコン完成！
↓
・『オリジナルページ』のアイコンをタップして再生
↓
・「つたえるページ」でアイコンをタップすると繰り返し音声が出ます
◉ 既存のシンボルを読み込む
・カテゴリの中から欲しいシンボルを選びタップする
↓
『オリジナルページ』にアイコンが追加されます
◆ アイコンの削除…削除したいアイコンを長押し
↓
削除してよいか？で「はい」を選択して削除できます
■ ２種類のモードから選べます
本アプリには、２種類のモードがあります。
[サポーターモード]は、障がいのある方をサポートする支援者（サポーター）から、コミュニケーションをスタートするためのモードです。
[使用者セルフモード]は、障がいをお持ちの方本人（使用者）が、自ら他者に要求を伝えるためのモードです。
使う人の状態や状況に応じて、２つのモードを使い分けることで、より効果的なコミュニケーションが期待できます。
【サポーターモード（支援者が使用者に提示する）】
重度の知的障がいのある方にとっては、
二者択一でも難しい場合があります。まして、多数の選択肢
（伝えたい内容）の中から自分が必要とするものを
見分けて選ぶことは、大きな困難を伴います。
この[サポーターモード]では、あらかじめ支援者（サポーター）が
使用者（障がいのある方）の実態と状況に合ったシンボルをいくつかピックアップ
して相手に提示するところからコミュニケーションをスタートさせます。
・使用者は、サポーターから提示されたシンボルの中から、自らの
要求に合った内容を選ぶことができます。
・使用者が要求に合うシンボルにタッチすると二語文(シンボル名と述語)
の音声が発せられます。
・ピックアップするシンボルの数を１から４個に限定することで、
選択しやすくなっています。
＜例：使用者が、「何かを食べたい」状況の場合＞
サポーターが１２個のカテゴリの中から「たべたい」を選択
↓
シンボルの中から、使用者が食べたいであろうものを予測して
「ごはん」「パン」「味噌汁」「ラーメン」を選択し、使用者に提示
↓
サポーターによって選ばれたシンボルの中から
使用者が「ごはん」を選択し、画面にタップ
↓
「ごはん、たべたい」という二語文が音声として発せられる
【使用者セルフモード】
使用者が操作方法を学習したら、[セルフモード]で使用者本人が
カテゴリやシンボルを使って直接要求を伝えられます。
気持ちを伝えようとすることでコミュニケーションの楽しさを味わい
さらなる意思疎通に発展していくことでしょう。
・このモードでは、障害のある方でも簡単に操作できるよう、反応する
部分を広く取るなど随所に工夫を凝らしました。
＜例：使用者が「ごはんを食べたい」という意志を伝える場合＞
使用者が１２個のカテゴリの中から「たべたい」を選択。
↓
実際に食べたいもののシンボル＝「ごはん」にタップ
↓
「ごはん、たべたい」という二語文が音声として発せられる
■ Powwow Talk! (Let'sTalk! 日本版）
言葉に頼らないコミュニケーションツールを必要とするのは、言語障がいのある方だけではありません。
例えば海外旅行に出掛けたとき、現地の人とコミュニケーションができず困った経験は、多くの方がされていることでしょう。
そんなときに、自分の意志を簡単に相手に伝えることができる英語版のコミュニケーションツールがあれば、世界はもっと広がるはずです。
そこで私たちは「ねぇ、きいて。」のノウハウを生かし、英語バージョン"Powwow Talk!"を開発しました。
