Sprachbedienung und Sprachausgabe für FHEM?

[muellthos]

Hallo Gemeinde,

ich hab ein "Geriatrie Projekt": Meine 84jährige Mutter, die inzwischen allein im Haus wohnt, ist nicht mehr richtig mobil. Treppen gehen ist gar nicht mehr, und alles andere äußerst mühsam und schmerzhaft. Also musste eine Möglichkeit her, die Haustür fern zu bedienen. Da kam ich auf die Keymatic und damit auf FHEM. Läuft so weit alles gut, und mein Homematic Park erweitert sich langsam: Lichter schalten usw. 

Ich möchte nun ein Gerät haben, welches folgendes ermöglichen soll: 

• Telefonieren, insbesondere Notruftelefon zu Arzt und (andere Funktion ) zu den Nachbarn
• Türklingel mitbekommen und Keymatic steuern
• Homematic Devices steuern  
  

dabei soll das Gerät so klein wie möglich sein, damit man es ständig dabei haben kann.

Da ich Android Fan bin, wollte ich zuerst ein Tablet besorgen. Das klappt aber nicht, da es so groß und schwer ist, dass man es sich nicht ständig um den Hals hängt. Außerdem ist das Sehvermögen auch nicht mehr so gut, es müsste dann schon mindestens ein 10 Zoll gerät sein. Andererseits: Hören und Sprechen geht noch ganz gut, deshalb ist mir die Idee gekommen, das ganze mit Sprachbedienung und Sprachausgabe zu realisieren. Beides biete die Android- Plattform ja (Spracherkennung / Sprachbedienung bei Voice Search und Voice Command, Sprachausgabe mit Pico TTS), also sollte so ein Projekt möglich sein. Leider bin ich kein Programmierer, meine letzten Versuche liege so 25 bis 30 Jahre zurück, waren wenig erfolgreich, und über K&R Standard C bin ich nie hinausgekommen.

Frage an alle:

Was meint ihr, ist so ein Projekt mit vertretbarem Aufwand (also in der Freizeit) realisierbar? Vielleicht hat der eine oder andere schon mal in dieser Richtung experimentiert und kann hier Erfahrungen einbringen? Vielleicht kann man da was machen, ohne tief in die Android App- Entwicklung einsteigen zu müssen.

Auf Feedback freut sich

muellthos

    

[Rudolf Koenig]

> das ganze mit Sprachbedienung und Sprachausgabe zu realisieren.

Ich habe mal versucht FHEMWEB durch die Android Spracherkennung zu steuern:

- die Erkennung war nach etwas Uebung etwa 50% genau. Manche Woerter werden
sofort, manche gar nicht erkannt. Workaround: Alternativen suchen, die gut
funktionieren.

- zum Aktivieren der spracheingabe muss man erst ins Eingabefeld, danach auf
das Mikrofon klicken, das fand ich doof, und fuer jemand, der nicht gut sieht
bzw. kleine Tasten nicht immer trifft ein K.O. Ist das bei iOS anders/besser?

- ich habe keine Moeglichkeit gefunden, "Enter" zu druecken, und damit die
Daten an fhem zu schicken: die Zauber-Wirkung ist weg. Das vorherige Problem
koennte man durch geschicktes vorbereiten loesen.

Wenn ich diese Probleme nicht gehabt haette, dann haette ich noch etwas
gebastelt, um "tischlampe einschalten" nach "set tischlampe einschalten" zu
wandeln ("set" wird von Android jeweils anders interpretiert), und dabei alias
noch beachtet. "einschalten" kann man jetzt schon durch eventMap nach "on"
mappen.

Weitere Spiele wie "fuer 10 minuten fenster auf" / "schlafzimmer waermer" usw.
waeren nur noch Bastelarbeit.

In Deinem Fall muesste das System das verstandene zusaetzlich wiederholen, und
auf Bestaetigung warten.

Sonst waere das ein Feature-Request an die Android/iOS Frontend-Entwickler.
Ich frage mich auch, ob die App narrensicher genug gestartet werden kann. Am
stilvollsten waere das natuerlich auch durch Spracheingabe:

Computer:

[Eric Scheibler]

Hallo muellthos,

eventuell ist ein iPhone geeignet, um deine Anforderungen zu erfüllen.
Das iPhone hat einen Screenreader namens VoiceOver dabei. VoiceOver
liest bei Berührung das jeweilige Objekt vor. Infos dazu u.a. unter
https://www.apple.com/de/accessibility/iphone/vision.html

Für die Steuerung der FHEM Komponenten gibt es im App Store ein
Programm namens Fhemobile (http://fhemwiki.de/wiki/Fhemobile). Damit
sollte es möglich sein, die einzelnen Fhem Komponenten anzusteuern.
Ich habe derzeit leider keine Möglichkeit, die App zu testen,
insbesondere darauf, ob sie mit VoiceOver zusammenarbeitet. Eventuell
hat das hier schon mal wer ausprobiert und kann dazu etwas beisteuern.

Gesetzt dem Falle, es würde funktionieren, hast du eine Möglichkeit,
z.B. die Tür mit einem Klick zu öffnen. Spracheingabe ist hier nicht
so ohne weiteres zu realisieren aber ich denke, dass Klicken könnte
auch für deine Mutter durchführbar sein, je nach dem wie die App
gestaltet wurde. Das Wählen von Telefonnummern oder Kontakteinträgen
via Sprache funktioniert auf dem neuen iPhone hingegen dank Siri sehr
gut.
Man könnte sich auch noch ein paar Vereinfachungen überlegen:
beispielsweise könnte das iPhone beim Druck auf den Einschalter direkt
die Fhemobile App starten.

Das ganze ist natürlich auch eine Kostenfrage, so ein iPhone ist ja
nicht billig...
Bei Interesse kann ich in den nächsten Tagen die Fhemobile App mal
ausprobieren und dann berichten, ob sich das eignet.

Grüße
Eric

[Kevin Heidrich]

Moin..

unter iOS ist das so lange nicht möglich, bis Apple die API für Siri
offen legt. Das ist derzeit noch nicht der Fall. Die Geschichte mit
VoiceOver "erzählt" dir nur ganz spezielle Dinge (die nur Apple nutzen
kann) und die Oberfläche (solange man die von iOS zur Verfügung
gestellten GUI Elemente nutzt).

Aber vllt. wird Siri ja diesen Sommer offen gelegt, und dann kanns
losgehen. :)

Gruß
Kevin

[muellthos]

Was ich bisher herausgefunden habe, was man ohne zu programmieren machen kann:

• Mit der App Tasker (kostet um die 5 €) 
• kann  Sprache via Googles Speech Recognition Service in Text, der in einer Variablen zurückgegeben wird, umsetzen lassen
• kann man einen String als Variable übergeben, die dann per TTS ausgegeben wird
• kann man Web seiten abrufen (aka. http get Header erzeugen...), das habbe ich allerdings noch nicht selbst probiert
• Mit der App "Notify my Android" und dem dazugehörigen Dienst kann man Notifikationen an sein Gerät schicken, die beliebigen Text (bis 1000 Zeichen lang) enfhalten können. Vergleichbares unter Apple ist "Prowl" bzw. "Growl", wenn im LAN).

Was fehlt, ist das Zwischenstück:

String auswerten, um den gewünschten Schaltvorgang herauszufinden, wenn nicht bestimmbar, noch mal fragen, entsprechendes Kommando an FHEM senden, Bestätigung zurückgeben und auf dem gerät Sprachausgeabe machen.

muellthos

[Matthias]

Hi,

unter Android scheint es sogar recht simpel zu sein Voice Recognition in die eigene App einzubauen (http://developer.android.com/resources/articles/speech-input.html). Damit könnte man tatsächlich mit einem Klick (in der App) die Abfrage starten und über Text To Speech vor dem Schalten noch einmal vorlesen. Wenn also jemand Lust hat das einzubauen ... vielleicht sucht ja jemand mal ein Uni Projekt für Android?

Matthias

[Prof. Dr. Peter A. Henning]

Auch wenn das mit der Spracheingabe bei guten Systemen einigermaßen klappt, scheint mir das für den angestrebten Zweck, nämlich AAL (ambience assisted living) für ältere Menschen nicht geeignet. Denn gerade ältere Menschen sind oft heiser, oder ihnen versagt die Stimme. Untersuchungen meines Teams zeigen auch, dass sie sich manchmal nicht an die richtigen Sprachbefehle erinnern. Wissenschaftlich untermauert also: Eher keine Sprachsteuerung komplexer Systeme - und dazu ist FHEM zu rechnen.

Ich denke, dass in diesem Falle ein Anhänger, der um den Hals getragen wird und mit höchstens 8 Fernbedienungstasten versehen ist, die bessere Lösung wäre.

Diese Erfahrung hat beispielsweise auch dazu geführt, dass Hausnotrufe als sogenannte "Funkfinger" einen guten Ruf haben.

LG

pah

    

[muellthos]

Hallo 

@Prof. AH: Das mag ja im Allgemeinen stimmen, für meinen konkreten Fall halte ich Sprache dennoch das Beste. Eine Oberfläche
 mit 8 Tasten kann ich  / man vielleicht alternativ auch noch realisieren.

Gestern habe ich mich noch mal eine halbe Stunde mit Tasker beschäftigt. Herausgekommen ist eine "proof of concept

" MikroApp, ein Echo: 10 Sekunden Sprache aufnehmen, von Google erkennen lassen. Ergebnis wird von Tasker als text in einer Variable %Voice zurückgegeben. Diese lasse ich mir dann per Text To Speech wieder ausgeben. Funktioniert recht gut, und die Ganauigkeit wächtst, zumindest gefühlt, mit jedem Versuch. 

Weiterhin kann ich mit Tasker auch Webseiten aufrufen, es stehen die Funktionen HTTP Get und HTTP Put zur Verfügung. Damit kann ich also FHEM ansprechen. So weit also ganz erfolgversprechend. Mal sehen, wie ich über Ostern Zeit habe, um weiter zu experimentieren. Ich werde über die Ergebnisse berichten.

muellthos   

Am Dienstag, 3. April 2012 14:15:46 UTC+2 schrieb muellthos:

[UliM]

Hi,
@muellthos: hast Du eine Sprachsteuerung hinbekommen?
Fände das schon spannend...
Gruß, Uli

[muellthos]

Hallo Uli,

wie alles, was recht einfach aussieht,... 

Ich habe für mich was gebastelt, da aber meine Zahl der Komponenten, die ich schalten muss, recht übersichtlich ist (2), geht es auch gut. das ist aber lange noch nicht "ready for primr time" und übersteigt die Möglichkeiten der beiden Werkzeuge, die ich bisher getestet habe, nämlich Tasker und  App-inventor ( http://beta.appinventor.mit.edu/ ). Da meine "richtigen" Programmiererfahrungen aber ca. 25 Jahre zurück liegen und nie über C und Assembler herausgekommen sind, traue ich mir keine "ausgewachsene Java for Android Entwicklung" zu. Sollte ich dennoch Ergebnisse erzielen, werde ich diese natürlich gern mitteilen...

muellthos

[Prof. Dr. Peter A. Henning]

Nun, das war vorhersehbar - ich habe nicht ohne Grund geschrieben, dass dies nur "einigermaßen" klappt.

Vielleicht einfach mal auf diejenigen hören, die daran forschen ?

LG

pah

[Jan-Hinrich Fessel]

Geben Sie Kontext, Sire.

Oder wenigstens Metadaten ;-)

Grüße
Oskar

> --
> To unsubscribe from this group, send email to
> fhem-users+...@googlegroups.com