澳洲雪梨科技大學研發新一代視障聲學觸控系統

更新於 發佈於 閱讀時間約 2 分鐘
raw-image




聲學觸控系統(Acoustic Touch)

聲學觸控系統是一種感官轉換系統,透過將視覺轉換成聲音,進而讓視障者可以感知外在世界。常見的系統包含,將文字轉成聲音的文本朗讀系統、例如倒車雷達般的障礙物警示系統等等。目前全世界有約2.5億多名視障者,聲學觸控系統將有助於視障者日常生活活動,例如找尋物品、行走辨識方向都會更為容易。


研究重點

來自澳洲雪梨科技大學的研究團隊改良既有的聲學觸控系統且提升其適用性,此研究成果已刊登在Plos One期刊。研究團隊利用市面上商用地擴增實境眼鏡(AR眼鏡),利用其前置鏡頭與AI物體辨識技術,辨識物體後,再以物體的聲音標誌來標示物體的所在。聲音標誌物體的特徵聲音,例如書本的特徵就是翻書聲。使用者在使用此系統時,會利用頭部的轉動來掃描周圍物品,當正臉對到物體時,就會響起聲音標誌。研究團隊招募了視障者、以及一般健康人但蒙住其眼睛來進行實驗。研究結果發現,視障者在使用聲學觸控系統時,其物體辨識率與直接給予聲音告知物體方向、以及由物體附近置放的喇叭發出聲音指示其位子的辨識效果相當。惟健康受試者在蒙住眼睛時,其聲學觸控辨識率與其他兩者方法相比較差,但仍可達到七成的辨識效果。這是因為健康受試者平常仰賴視覺提示,由身體方向來記憶空間位子的協調性較差。此實驗結果顯示,聲學觸控將可有效的協助視障者辨識周遭物體,未來將有望大幅提升視障者獨立生活的能力。


思考

這個研究有兩個可以探討的點。第一、此聲學觸控系統需仰賴受試者探詢空間、辨識物體聲音標誌與空間記憶的能力。因此相較直接給予指示物體位子或由物體所在位子發出聲音的方式,都要來的困難得多。然而實驗顯示,使用新聲學觸控的物體辨識率、物體辨識所需時間都沒有顯著差異。這或許是因為轉頭辨識方向是一個人類很自然的行為。通常人類在透過聲音辨識物體方向時,都會將頭轉向發出聲音的物體。儘管這個行為很符合直覺,但仍有兩位受試者無法在時間內完成訓練而失敗。第二、聲學觸控也仰賴AI辨識的準確度,因為倘若AI辨識系統的準確度不佳、或是可以辨識的物體有限,將會影響其可適性。目前實驗也僅測試四項物品,因此未來還需要進一步的擴充辨識品項,以增加實用性。


論文:

https://doi.org/10.1371/journal.pone.0290431


圖片來源:

擷取自論文中的影片,獲CC BY 4.0授權。


#神經科技

#視障輔助系統

#聲學觸控

#擴增實境眼鏡


都說千金難買早知道,大腦是我們最重要也最複雜的器官,你了解多少呢?本專題將持續關注神經科學的大小事,期望透過分享這些新聞、故事,讓神經科學走入大眾,而這些科技其實離我們不遙遠。歡迎各位訂閱與贊助。
留言0
查看全部
avatar-img
發表第一個留言支持創作者!
從日常生活經驗可以知道,我們特別喜歡高糖分與高油份的食物,例如深受大眾喜愛的珍奶與雞排。這些高糖高油的食物提供了我們特殊的「口感」與飲食體驗。食物中糖份的多寡可以由口腔中的糖份受器感知,然而,油份的多寡是如何透過口腔感測而得的,則尚不明瞭。此文將帶您一起解惑。
過去,科學家認為人類在持續睡眠過程中,普遍不會接受外界刺激並因此而做出反應。這種持續睡眠過程中的反應,需要與一般日常生活中的因鬧鐘或警鈴而做出的反應區隔開來,因為這時候人類其實已經被喚醒,而非持續的睡眠過程。那麼人類到底是否有能力在持續睡眠中,對外界刺激反應呢? 請閱讀此文。
來自澳洲昆士蘭大學的研究團隊,近期於Imaging Neuroscience期刊(前NeuroImage編輯團隊設立之期刊),發表將DIANA序列應用於人腦之可行性,其中DIANA序列能透過磁振造影直接顯示神經活動。此文將簡述此研究成果。
神經科技新創公司Precision Neuroscience,近期收購一間微機電工廠,期望購透此次收購能提升其旗下大腦電極的製造效能與品質。
阿茲海默症與其病理 在阿茲海默症患者中,腦類神經元多可發現類澱粉蛋白的沉積,因此類澱粉蛋白斑塊的形成,一直被認為是導致阿茲海默的主要原因。然而,近期越來越多研究發現,某些人儘管大腦有類澱粉斑塊的形成,卻仍保有較為完整的認知功能,這種情況稱為認知韌性。此篇研究簡述MIT研究員對於認知韌性的新發現。
人類大腦計畫 人類大腦計畫(Human Brain Project)是由歐盟「未來新興技術」計畫所資助的大型旗艦計畫,始於2013年,歷時十年,於上週9/30日正式結束。十年間,歐盟共補助6.07億歐元,於超過500名研究人員參與,涵蓋19個不同國家的155個研究機構。本文將簡介其研究成果。
從日常生活經驗可以知道,我們特別喜歡高糖分與高油份的食物,例如深受大眾喜愛的珍奶與雞排。這些高糖高油的食物提供了我們特殊的「口感」與飲食體驗。食物中糖份的多寡可以由口腔中的糖份受器感知,然而,油份的多寡是如何透過口腔感測而得的,則尚不明瞭。此文將帶您一起解惑。
過去,科學家認為人類在持續睡眠過程中,普遍不會接受外界刺激並因此而做出反應。這種持續睡眠過程中的反應,需要與一般日常生活中的因鬧鐘或警鈴而做出的反應區隔開來,因為這時候人類其實已經被喚醒,而非持續的睡眠過程。那麼人類到底是否有能力在持續睡眠中,對外界刺激反應呢? 請閱讀此文。
來自澳洲昆士蘭大學的研究團隊,近期於Imaging Neuroscience期刊(前NeuroImage編輯團隊設立之期刊),發表將DIANA序列應用於人腦之可行性,其中DIANA序列能透過磁振造影直接顯示神經活動。此文將簡述此研究成果。
神經科技新創公司Precision Neuroscience,近期收購一間微機電工廠,期望購透此次收購能提升其旗下大腦電極的製造效能與品質。
阿茲海默症與其病理 在阿茲海默症患者中,腦類神經元多可發現類澱粉蛋白的沉積,因此類澱粉蛋白斑塊的形成,一直被認為是導致阿茲海默的主要原因。然而,近期越來越多研究發現,某些人儘管大腦有類澱粉斑塊的形成,卻仍保有較為完整的認知功能,這種情況稱為認知韌性。此篇研究簡述MIT研究員對於認知韌性的新發現。
人類大腦計畫 人類大腦計畫(Human Brain Project)是由歐盟「未來新興技術」計畫所資助的大型旗艦計畫,始於2013年,歷時十年,於上週9/30日正式結束。十年間,歐盟共補助6.07億歐元,於超過500名研究人員參與,涵蓋19個不同國家的155個研究機構。本文將簡介其研究成果。
你可能也想看
Google News 追蹤
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
此篇文章好像在講「失智症的成因之一」是「聽力受損」,這部分是我第一次聽到的資訊,但也充滿困惑,例如你摘要的重要資訊寫到:「大腦便會進行代償作用,將負責思維和記憶區塊所需的資源移轉用來處理這些模糊的音訊,而導致前述二項高階的認知功能受到影響,進而增加失智的風險。」這段文字讓我驚訝!
Thumbnail
單晶片眼鏡,我也有一些想法。 我們可以嘗試將微型傳感器集成到普通眼鏡上,通過無線信號的傳輸,將人體生理數據實時顯示出來。 這不僅可以幫助人們更好地了解自己的身心狀態,也能促進人與人之間的情感交流。 至於單晶片眼鏡,我已經有了初步的設計方案。我們可以將生理指標傳感器集成到鏡框上,通過藍牙技術將數
Thumbnail
感知器是一種基本的神經網路模型,用於二分類問題。它模擬了人腦神經元的工作原理,通過調整權重和偏差值來達到預測和分類的目的。 感知器流程 輸入 資料的輸入: 輸入層接受資料的輸入,每個輸入對應一個特徵,還有一個固定的偏差神經元。 資料經過每個神經元時,會乘上相應的
Thumbnail
觸摸式手語是一種發展自美國盲人社區的新型手語,旨在提高聾盲人士之間的交流效率和情感表達能力。本文介紹了觸摸式手語的特點、使用方法以及對聾盲人士的重要性。通過瞭解觸摸式手語,讀者將可以更深入地理解聾盲人士的溝通需求。
在九成感官過敏星星兒之中,有六成五的星星兒,是聽覺敏感。 而香港的開發,為聽覺過敏星星兒量身訂作降噪耳機,在台灣是沒有的。 因為,是配合手機開發。 那麼,這情況,怎麼辦? 用藍芽耳機播星星兒的音樂,進行維持情緒的穩定 連接藍芽功能的手機,從耳機來說,是具有藉由上youtube找星星兒喜歡的
Thumbnail
助聽器的介入時機對聽損者相當重要,而聽力損失一般在30至40分貝左右時便會逐漸影響到日常溝通與生活品質,此時便應考慮使用助聽器了。如果發現您或您的家人看電視、講電話越來越大聲,也有「聽不到」、「聽不清楚」或是「聽不懂」的狀況時,就需要預約更專業完整的聽力檢測及諮詢。
Thumbnail
當聽力開始衰退時,往往不僅僅影響個人的社交能力,還可能對認知功能造成深遠影響。研究顯示,聽力損失與認知能力下降之間存在著密切關係。隨著年齡的增長,人體的聽覺系統也會逐漸退化,這可能會導致聽力下降。當日常交流變得困難,許多人可能會選擇避免社交活動,這不僅會影響他們的生活質量,還可能加速認知功能的衰退。
今天在完成聽覺減敏這第一階段之後,就開始進行第二階段,共存。 而我練習的、活用的,今天一一都在這篇文章,提出來。 當然,最重要的,是能維持〝共存〞的部分。 因為過中午的警察帶來個案,我見到重要的關鍵 那也是在我進行鍵走途中,進行活用和練習的部分。 結果,沒想到,以要領來說,是專注在〝聲音〞
其實,要是真的沒什麼把握,就要用以〝承受音量〞為主的聽覺減敏的方式進行。 像是,不是所以星星兒能用洪水法,進行聽覺減敏。 因為,要有前提。 而是,藉由星星兒的喜好和興趣,做媒介。 並在這過程,做修正。 對我而言,今天是進行聽覺減敏的第5天,目前藉由筆電的音量,進行聽覺減敏 每台筆電的音波
Thumbnail
作者比較了四種閱讀呈現模式,包括眼動追蹤和三種自訂步調閱讀。自訂步調閱讀模式中的移動視窗方法能有效量測出與眼動追蹤類似的效果。這種方法不僅金錢成本更低,而且有助於提供清晰且相對簡單的數據。但是,移動視窗方法也存在一些限制,例如增加的閱讀時間和可能導致受試者對內容理解的困難。
Thumbnail
嘿,大家新年快樂~ 新年大家都在做什麼呢? 跨年夜的我趕工製作某個外包設計案,在工作告一段落時趕上倒數。 然後和兩個小孩過了一個忙亂的元旦。在深夜時刻,看到朋友傳來的解籤網站,興致勃勃熬夜體驗了一下,覺得非常好玩,或許有人玩過了,但還是想寫上來分享紀錄一下~
Thumbnail
此篇文章好像在講「失智症的成因之一」是「聽力受損」,這部分是我第一次聽到的資訊,但也充滿困惑,例如你摘要的重要資訊寫到:「大腦便會進行代償作用,將負責思維和記憶區塊所需的資源移轉用來處理這些模糊的音訊,而導致前述二項高階的認知功能受到影響,進而增加失智的風險。」這段文字讓我驚訝!
Thumbnail
單晶片眼鏡,我也有一些想法。 我們可以嘗試將微型傳感器集成到普通眼鏡上,通過無線信號的傳輸,將人體生理數據實時顯示出來。 這不僅可以幫助人們更好地了解自己的身心狀態,也能促進人與人之間的情感交流。 至於單晶片眼鏡,我已經有了初步的設計方案。我們可以將生理指標傳感器集成到鏡框上,通過藍牙技術將數
Thumbnail
感知器是一種基本的神經網路模型,用於二分類問題。它模擬了人腦神經元的工作原理,通過調整權重和偏差值來達到預測和分類的目的。 感知器流程 輸入 資料的輸入: 輸入層接受資料的輸入,每個輸入對應一個特徵,還有一個固定的偏差神經元。 資料經過每個神經元時,會乘上相應的
Thumbnail
觸摸式手語是一種發展自美國盲人社區的新型手語,旨在提高聾盲人士之間的交流效率和情感表達能力。本文介紹了觸摸式手語的特點、使用方法以及對聾盲人士的重要性。通過瞭解觸摸式手語,讀者將可以更深入地理解聾盲人士的溝通需求。
在九成感官過敏星星兒之中,有六成五的星星兒,是聽覺敏感。 而香港的開發,為聽覺過敏星星兒量身訂作降噪耳機,在台灣是沒有的。 因為,是配合手機開發。 那麼,這情況,怎麼辦? 用藍芽耳機播星星兒的音樂,進行維持情緒的穩定 連接藍芽功能的手機,從耳機來說,是具有藉由上youtube找星星兒喜歡的
Thumbnail
助聽器的介入時機對聽損者相當重要,而聽力損失一般在30至40分貝左右時便會逐漸影響到日常溝通與生活品質,此時便應考慮使用助聽器了。如果發現您或您的家人看電視、講電話越來越大聲,也有「聽不到」、「聽不清楚」或是「聽不懂」的狀況時,就需要預約更專業完整的聽力檢測及諮詢。
Thumbnail
當聽力開始衰退時,往往不僅僅影響個人的社交能力,還可能對認知功能造成深遠影響。研究顯示,聽力損失與認知能力下降之間存在著密切關係。隨著年齡的增長,人體的聽覺系統也會逐漸退化,這可能會導致聽力下降。當日常交流變得困難,許多人可能會選擇避免社交活動,這不僅會影響他們的生活質量,還可能加速認知功能的衰退。
今天在完成聽覺減敏這第一階段之後,就開始進行第二階段,共存。 而我練習的、活用的,今天一一都在這篇文章,提出來。 當然,最重要的,是能維持〝共存〞的部分。 因為過中午的警察帶來個案,我見到重要的關鍵 那也是在我進行鍵走途中,進行活用和練習的部分。 結果,沒想到,以要領來說,是專注在〝聲音〞
其實,要是真的沒什麼把握,就要用以〝承受音量〞為主的聽覺減敏的方式進行。 像是,不是所以星星兒能用洪水法,進行聽覺減敏。 因為,要有前提。 而是,藉由星星兒的喜好和興趣,做媒介。 並在這過程,做修正。 對我而言,今天是進行聽覺減敏的第5天,目前藉由筆電的音量,進行聽覺減敏 每台筆電的音波
Thumbnail
作者比較了四種閱讀呈現模式,包括眼動追蹤和三種自訂步調閱讀。自訂步調閱讀模式中的移動視窗方法能有效量測出與眼動追蹤類似的效果。這種方法不僅金錢成本更低,而且有助於提供清晰且相對簡單的數據。但是,移動視窗方法也存在一些限制,例如增加的閱讀時間和可能導致受試者對內容理解的困難。