Yamawine’s blog

ホームオートメーション奮闘記

AIとHA

最近SNSとかでHome Assistant(HA)の記事を追っていると「AI使ってXXをするintegration作ってGithubに上げました。良かったら使ってみてね」みたいな投稿が増えたような気がします。これはつまり流行りのVibe CodingでHAのintegrationを作ると言う話で、コーディングはAIに「XXするのを作って」とお願いするだけでできてしまう訳です。

で、これは私の気の迷いかと思ったのですが、一応ChatGPTに「最近のvibe codingでHAのintegrationが急に増えてきていると感じるんだけど、これは正しいかな?」と聞いてみました。するとどうやらこれは私の気の迷いではないと言う答えが返ってきました。ちょっと気になる回答だったので、以下、抜粋してみます。

うん、その感覚はかなり正しいと思う。しかも、単にHome Assistant(HA)のユーザーや開発者が増えているというだけではなく、Vibe Codingによって、これまでIntegrationを作らなかった人たちまで開発に参加し始めているという変化が起きているように見える。

さらに、

面白いのは、HAのIntegration開発がVibe Codingと非常に相性の良い分野だということ。以前ならPython、HAのIntegration API、非同期処理、Config Flowなどを理解していないと、なかなか手を出せなかった領域だね。今は、やりたいことを自然言語で説明し、AIにコードを書かせ、エラーを見せながら修正するという開発スタイルが現実的になっている。

とのこと。確かに私が最初に作ったintegrationは、

yamawine.hatenablog.com

なんですが、この時はintegrationってなに?状態に始まって、訳が分からず試行錯誤で作った極小さなintegrationでした(いまだにconfig flowを作り込んでいないのでした)。でも、今回のダッシュボードプロジェクトでESP32上のLVGLを使ってダッシュボードを作ったことにしても、短時間で作ることができたのはまさにAI様様なのでした。何をどのように表示するか、と言う部分での試行錯誤の時間が大半でした。逆に、AIを使って短時間に作ることができたおかげで試行錯誤が可能だったと言う見方もできます。

最近のHA integrationの開発スピードが上がってきていることは数字にも表れているようです。ChatGPT調べでは、Home Assistant Communityの "Share your Projects" に投稿されたIntegration開発プロジェクトを調べた非公式の調査(2025年と2026年の第一四半期での比較)では、2025年が20件、2026年が33件(うちAI利用を表明したものは5件)だそうです。

さらに、GitHub自身の2025年の調査でも、Home Assistantはコントリビューター数の伸びが非常に大きいOSSプロジェクトの一つとして紹介されている。年間21,000人のコントリビューターという規模だ。

github.blog

さらにChatGPTは今後のことを以下のように予測します。

Vibe CodingによるIntegrationの増加には、二つの側面があると思う。
1. 今まで存在しなかったニッチなIntegrationが増える
2. Integrationの品質のばらつきも大きくなる

これらの点に関してはHACS(今はMarketplace)と言う枠組みからして今までもそうだったと思うのですが、まあ、AIにより開発のハードルが下がったのですから、今後そのような傾向がますます顕著にはなるのは間違い無いでしょう。そして最後はこう締めくくります。

そして、ちょっと面白いと思うのは、これからは「プログラムを書ける人」よりも「何を作れば便利になるかを知っている人」が強くなる可能性があるということ。HAは、そういう変化が特に顕著に現れるプラットフォームだと思うよ。

この最後のコメントは別にHAに限った話ではなく、他の多くのプログラムにも当てはまることだと思います。

何はともあれ、プログラミングが容易になったおかげでHAがますます便利(あるいは複雑怪奇?)になるのは喜ばしいことです。昔々、いや実はほんの数年前まで、プログラミングが「特殊な最先端技能」であった頃を遠い目で思い起こす私なのでした。

鳥の鳴き声を認識するBirdNet-Goのその後

以前の記事でも簡単に紹介したBirdNet-Goですが、最近になって新しい発見(?)がありました。

yamawine.hatenablog.com

この数日、夜になると近くの池から「ピュー、ピュー」というような鳴き声がするのです。普段は聞いたことがない声ですが、夜なので姿は全くわかりません。最初は、鳥かどうかもわからなかったのですが、鳴き声が素早く頻繁に場所を変えるので、陸上動物ではない、ならば鳥だろうということで久しぶりに以前インストールしたBirdNet-Goを見に行ったら「ヒドリガモ」という鳥だというのです。BirdNet-Goではその根拠となった鳴き声の録音があり、それを再生しても、ネットで調べてもヒドリガモの特徴ある鳴き声に間違いありません。

実はBirdNet-Go、HomeAssistant(HA)に入れてはいたんですが、様子見ということもあり、ほとんど単独のアプリに近い状態で、それで何かHAのオートメーションを起動するとかは全くしていなかったのです。スズメ(家の周りには大量にいるのですが、なぜかBirdNet-Goはスズメとはなかなか認識してくれない)、カラス、キジバト、など分かりきった鳥しか認識されません。逆に、コノハズク(フクロウ科)がいるとか言ってくるのですが、その根拠となった録音からは全く信用できなかったりするのでした。なのでアンインストールしようかと思っていたほどです。

よく考えると当たり前なのですが、鳴かない鳥はBirdNet-Goでは認識しようがありません。この池にはサギの類や鵜も来たりしているのですが、それらは滅多に(?)鳴きません(そもそも鳴くんだろうか?)のでBirdNet-Goはお手上げなわけです。逆に今回のように夜で姿が見えなくてもその存在を教えてくれるというのはありがたかったりします。

BirdNet-Goには(BirdNet-Go的に)新種の鳥を見つけると知らせてくれる機能があります。これを使ってHAのオートメーションを組めば、新種の鳥の発見をTTS経由で声でで知らせることができるのですが、どうも誤認識も多いので、そこまでするのは躊躇してしまうのでした。

 

何はともあれ、こういう些細なことでも新しい発見があると、それだけでほんの少しハッピーな気分になれたのでした。

 

ダッシュボードプロジェクト:ESP32で日本語を表示させる

さてさてこのプロジェクトを始める時に任意の日本語をESP32ディスプレイに表示する方法を考えなければならないことに気がついていました。一方、表示から文字を極力減らすこともレイアウト設計の目標としていました。確かに最終的なレイアウトから文字はほとんど無くすことに成功(?)したのですが、まだ続きがあって、例えば煙探知機が火災の可能性を検知したときに「火災警報」だけのページを表示したり、あるいは緊急地震速報を

github.com

検知した時は「緊急地震速報」という文字だけのページを表示したりすることも考えています。これらの緊急度の高いものはアイコンではなく、それ専用のページを表示して、一目でそれと分かるようにします。「火災警報」や「緊急地震速報」だけなら、そういうテキストの画像をあらかじめ作っておいて、それを表示させれば良いのですが、火災の場合はどの部屋、地震速報の場合はどこで、という表示もさせたいのです。部屋の名前ならともかく、震源の地名となると事前に全ての地名の画像を用意することもできず、結局、任意の日本語表示ができないと困るのです。

予め用意したJPEG画像
作った hass-text-jpeg インテグレーションで作成

色々と調べると、ESPHome(LVGL)はCJKフォントをサポートしてる、とあるじゃないですか!でも、実際に試すと全く使えませんでした。ESPHomeに直接文句を言って(失礼!)直してもらうことも考えたのですが、CJKフォントは1,000文字程度しかサポートしてないので、全ての地名を正しく表示できるとは限りません。いっとき、Google FontをFontConverterで変換し、それをESP32に取り込んで試してみましたが、結局はメモリ容量の制約から任意の漢字を表示させることはできず、諦めてしまいました。

話は脱線するのですが、FontConverterで日本語のフォント(サブ)セットを作ることができます。この出力結果はC言語のファイルなんです!一体Cのファイルをどうするんだろうと思ったら、ChatGPT曰く、そのままESP32のYAMLファイルにincludeすればいいよ、と言われてびっくり。よく考えたらESPHomeはYAMLから最終的にC(++)のソースファイルを生成してるので include すればちゃんとコンパイルできるのでした。

という訳で、日本語フォントは諦めて、HA側で日本語テキストをJPEG画像に変換し、それをESP32ディスプレイに送る方式を考えました。以前、E-Inkディスプレイを検討してた時に、HAのダッシュボードの画面をイメージ画像に変換するPuppetというソフトを試したことがありますが、いま改めて探してみるとPuppetはなくなっているようです。さらに色々と調べると、界隈ではPillow(PIL)と呼ばれるPythonライブラリがよく使われているようです。で、Pillowを使ったHome Assistantのインテグレーションはないかと探して、いくつか試したのですが、出来上がった文字画像が綺麗でなかったりと、結局、私の要望に合致するものを見つけることはできませんでした。ないのならば自分で作ろうということでChatGPTにお願いしてHAのインテグレーションとして作ってもらいました。

github.com

これで私が目標とするダッシュボードの部品はほぼ揃いました。もう大方出来上がってはいるので、残るは見栄えを良くするための細かな調整です。

このダッシュボード、お気づきの方もいらっしゃるかと思いますが、お決まりのカレンダーとか天気の情報が抜けています。これは意図的なもので、実は、別途、E-Inkディスプレイを購入し、そっちに表示しようと考えているのです。結局 E-Inkディスプレイには未練タラタラなんでした。なんでカレンダーや天気なのかと言うと、これらの情報の更新頻度が低い(1日に数回)ので画面の更新速度が遅いE-Inkディスプレイに向いていると考えたからです。先に作った日本語をJPEG画像にするインテグレーションはこっちのディスプレイにも使えると期待してます。

E-Inkディスプレイを選んだもう一つの理由は、設置予定の場所は電源が取れないのです。今までさんざんバッテリーレスと言っていたのですが、この設置場所が色々な理由からベスポジなんです。それに電源コードがないという利点も見逃せません。E-Inkのバッテリーは大概がパウチされた小さいものです。いざとなればより安全と思われるモバイルバッテリーに交換しても良い訳です。こうするとより大きな容量にもできて、充電の頻度も下げることができます。最近、色々と新しいE-Inkデイスプレイが出てきているので、ワッチを続け、コスパが良いものが出てくれば購入しようと考えています。

ダッシュボードプロジェクト:2001年宇宙の旅

皆さんは映画「2001年宇宙の旅」をご存知でしょうか?SF映画史に残る大傑作です。映画の中でHAL9000というAIが人間に対して反乱を起こし、冬眠していた乗組員を○すシーンがあります。今時のアクション映画とは全く異なり、ゾンビが襲ったり、光線銃(古!)でやっつけたりという派手なアクションは全くなく、冬眠している人間のバイタルモニターの画面だけでキューブリック監督はその行為を表現するのです。この映画には素晴らしいシーンが沢山ありますが、このシーンも私のお気に入り、というか、初めて観た時はものすごい恐怖を感じたのでした。

おっと、話はHome Assistantのダッシュボードの話でしたね。前回の記事で、もっと斬新なものをということで、散々苦労して作った風やら雨などのアニメーションはバッサリ切り捨てて、再度、まっさらな状態から始めようと思った次第。

で、余白が大事、と言ってましたけど、余白って言っても液晶モニターの画面ですから、真っ黒とか真っ白、あるいは白黒以外の単色で余白を埋めるというのは、当初の目的であった「リビングの目立つところに目立たない表示」に全くそぐわないわけです。またまた高級フレンチの例えで恐縮ですが、大きなお皿に料理がこぢんまりと真ん中に置かれ、その周囲(余白)はソースがアートっぽくあったりします。そう、余白は余白で、本来の目的とは違って、全体の雰囲気を出すためのものなのです(これ、私の独断と偏見です。私、アートとかデザインとかの知識は皆無なのです)。

普段(何も起きていない時)の画面表示

で、話は「2001年..」に戻って、あのバイタルモニターの画面のアイデアを拝借しようと思いつきました。アイコンが画面の左端に並んでいるのですが、もし何かが起きたらこのアイコンが軌跡を伴って右に移動するのです。こうすることで、余白が大きくとれて、お気に入りの写真などをこのダッシュボードの背景にしてもアイコンはそれほど邪魔にはなりません。けれども何かが起きると遠目にもすぐにわかります。

この画面ですが、一番上は日時、次の段は気温、雨、風、などの状態を示すアイコン群。そして異常を示すアイコンが左端に並び、一番下の段は操作をするためのボタンが並びます。で、何か起きた時は、該当するアイコンの透明度が下がると同時に、右に移動を開始します。アイコンが右端に到達するとまた左端に戻って、というアニメーションを繰り返します。

イベントが起きたことを知らせるアイコンのアニメーション
(外気温が2つあるのですが、上の温度は体感気温です)

アイコンが移動する時(残念ながら私はこのHatenaBlogで動画を貼る方法を知らないのですが)アイコンがジャンプしたり、回転したり、大きくなったりなどなどのイフェクトを指定することもできます。また、アイコン移動の速度や軌跡の長さ/太さ/色なども指定できるので、重要度によって使い分けることができます。

天気のアイコンと左端に並ぶアイコンは何が違うのでしょうか。実は、これ、私も随分と悩んだのでした。雨のアイコンも左端に並べて、雨が降ってきたら移動するアニメーションを始めても良いのです。けれども、雨が降っていても、人間はそれを止めることはできません。一方、左端に並ぶアイコンは、なんらかのイベントを表現し、人間に何かアクションを起こさせるためのものです。例えば、CO2濃度が高いのならば窓を開けて換気する、といった具合です。この違いって、結局、このダッシュボードを作って見て初めて理解しました。

また一番下のボタンで監視カメラの動画を見たり、温度や湿度の時系列グラフを表示させたりもできます。で、操作はたった5つだけ!ついつい、あれもこれも、とやりたくなるのですが、それなりに使う頻度が高くて、本当にあると便利なものに絞りに絞りました。

これを実現するにあたり、2つのコンポーネントを開発しました。一つはこのアイコンのアニメーションで、"Icon Sweep"と名付けました。もう一つはESP32のディスプレイで動画を表示したり、HAから静止画像を送って表示させたり、HAのエンティティの時系列グラフを表示させたりする"ESP Presentation"です。前者はESPHome/LVGLだけからなるコンポーネントで、後者はESPHome/LVGLとそれに対応するHAインテグレーションで構成されてます。今、まだ出来立てホヤホヤなので、コードの整理とかテストとかが終わり次第、両者ともGithubにあげる予定でいます。

ということで、今回はダッシュボードデザインが決定した、というお話でした。

ダッシュボードプロジェクト:画面レイアウトの設計-その2

Home Assistant(HA)ダッシュボード開発プロジェクトの画面設計の第2弾です。前回の記事で余白が大事ということだったので、とにかく余白を作ろうと考えて、この最初のダッシュボードデザイン案をベースに改良を重ねました。ここで、雨、雷、大雨、風のアイコンは全て気象に関するものです。だったら、これらのアイコンの代わりにアニメーションで表示すると、より分かりやすく、これらのアイコンも不要になり、余白が生まれる、のではないか、ということで試してみました。

天気関連アイコンをやめてアニメーションにしたデザイン

雨は線分で表現し、強い雨の時は線を太く長くして、落下速度も上げました。この写真からは見難いのですが、風は木の葉のアイコンを回転させながら動かします。雨と同様、風が強い時には木の葉がより回転し、飛んでいく速度も上がります。雷のアニメーションが一番困ったのですが、色々と試して結局余白の上の方をピカピカさせることで表現しました。これらのアニメーションはChatGPTにお願いして全部LVGLで作りました。

雷の表現

さらに文字をなくすため、温湿度の表示でLiving、Outdoorとあったものをやめて、Livingの温度と湿度に関しては家のアイコンの中に入れました。また、火災警報アイコンは、それ自体本当に緊急事態なので、別なページに画面いっぱいに表示することとしました。これで火事のアイコンもなくすことができます。

監視カメラの動画ですが、動くようになりました。1画面で10fpsはいけます。2画面表示で8fpsくらいでしょうか。これ程度であれば必要十分です。これらの画像は別なページに2画面同時に表示させることにして、カメラのボタンを画面に左上に一つだけにしました。

監視カメラの映像(暗くなったので赤外線画像)

またHomeTilesで気に入ったエンティティのヒストリーグラフも表示できるようになりました。HomeTilesでは一つのエンティティしかグラフ表示できないのですが、理論上はいくつでも表示できるようにしました。

ヒストリーグラフ

で、作ってからしばらく観察したのですが、うーん、どうも今ひとつです。例えば、雨の場合、ザーザー降りの場合はもっと線分を数を増やして、落下速度も上げたいのですが、そうすると動きがカクカクになってしまうのです。風の表現の木の葉の動きも同様です。頑張ったアニメーションなんですが、総じてチープ感を拭えません。ひょっとしたらChatGPTが作成したコードの効率が悪いのかもしれませんが、私はLVGLを初めて触ったのでどこが問題なのかさっぱり分かりません。
もう一つの問題は、雨も風も強い日なんてそうそうあるわけではないことです。結局、余白を活用するために作ったこれらのアニメーションが活躍する場面がそれほどない、ということです。そして、最後のダメ出しは、画面中央から下はやっぱりアイコンが並びますので、斬新さにかけます。

ということで、雨風雷のアニメーションはボツになりそうです。でもカメラ動画とヒストリーグラフは使えそうです。ということで、もっと斬新なダッシュボードにすべくさらなる改良を続けたいと思います。

ダッシュボードプロジェクト:新しいディスプレイがやってきた!

ESP32のディスプレイですが、タッチが効かなくなって返品し、新しいのが届きました。早速、これまでに作ったファームを入れて試したところ、あれれれ?全く動きません。

このディスプレイ、H/Wバージョンがちょこちょこ上がっているようで、前に届いたものと新しく届いたものではバージョンが違うのでした。もちろん返品したものよりも新しいものが届いたのです。この懸念は新しいものを買うときに気にはなっていたのですが、買うときにバージョンを指定することはできないので、他にどうしようもありませんでした。細かいバージョンアップはH/Wに問題があった可能性もありますし。

結局、前のものと同様、ESPHomeのファームを動かすためにChatGPTと奮闘することになりました。またか!という感じです。前回活躍してくれたHomeTilesでも今回のバージョンには対応していませんでした。色々と奮闘しても動くようになりません。またまた剛を煮やして、自分でググると、ESPControlというものが見つかりました。

jtenniswood.github.io

これ、HomeTilesとほぼ同じで、ESP32のディスプレイ上に簡単にHome Assistant(HA)のダッシュボードを作ることができます。HomeTilesとの違いは、

  • 画面を縦長にできる
  • 動画やentityのヒストリーを表示させることはできない
  • 私が新しく買ったESP32ディスプレイにも対応している

という点です。特に新しいディスプレイに対応している点は今回非常に大事なことで、これをChatGPTに解析してもらい、今手元にあるディスプレイでESPHomeのファームが動いてくれるようになると期待できます。で、結局あれやこれや色々紆余曲折あったのですが、最終的にESPHomeのファームを動かせるようになりました。ふー、やれやれ、これで本プロジェクトを再開できます。

 

HomeTilesでは動画を表示できると言いましたが、かなり凝ったことをしているようです(ChatGPTが解析)。動画のスナップショットを撮り(JPEG)、これをESP32に送り、ESP32ではそれを表示する、というのを繰り返しているのです!なんという力技!調べた限り、ESP32で動画ストリームを直接表示する術は他にないようです。ならば、このHomeTiles (Bridge)のコードを使って、今回のディスプレイ上にも動画(とは言ってもパラパラ動画みたいなものです、結局のところ)を表示できないかと奮闘したのです。色々色々と試したのですが、結局、HomeTiles (Bridge)の動画表示部分だけを使うのはできませんでした。基本的な前提条件が違ったのです。うーん、悲しい。ならば、このHomeTilesのアイデアだけを頂いて、自前でパラパラ動画を作ろうということになりました。
で、動画を表示させるべくChatGPTと一緒に格闘していたところ、たまたまこんなのを見つけました。

tessera-maxgramser.on-forge.com

これはまだ試してはいません。今まで試した HomeTiles やESPControlと似てますが、こっちの方がより多くのESPディスプレイをサポートしてるようですし、UIもより洗練されている印象を受けました。何よりも動画も表示できるとのこと。うーん、今までの苦労が、、、。しかしながら、この手のものは、まあHAのダッシュボードも基本はそうなんですが、スクリーンに四角いタイル/カードを配置していくパターンです。


前回の記事で画面レイアウトのドラフトを載せましたが、色々調べるとダッシュボードに限らずプレゼンテーションのスライドでも、余白が大事なんだそうです。ついつい貧乏性が出て、あれやこれや詰め込んで余白を埋めてしまう性なのですが、どうもそれではダメなようです。これって、例えれば、高級レストランで大きなお皿に料理がこじんまりと載っている、そんな感じなんでしょうか?飛行機のコックピットのようにスイッチや計器が至る所にあるのではなく、乗用車のダッシュボードのように簡素で分かりやすい状態表示と、問題を知らせる警告表示だけを目指すべきなんでしょう。もっともっと表示の仕方を工夫して、無駄を削り、凝縮させて、洗練させなければ。結局、レイアウト設計はやり直しとなりました。

 

ということで画面レイアウトの設計はまだまだ続きそうです。動画の方は目処がついたので、せっかくなので自分が作ったものを使って表示させようと思います。うーん、道は長い、、、

ダッシュボードプロジェクト:画面レイアウトの設計-その1


そもそも私が長いあいだHome Assistant(HA)ダッシュボード専用ディスプレイの購入に躊躇っていた理由は、

  • リビングの目立つところに設置してひと目で状況が分かるようにする
  • リビンングなのであまり目立ちすぎてうるさくならないようにする

という二つの相反する条件をどうやって折り合いをつけるかという具体策を見つけられなかった(踏ん切りがつかなかった、の方が適切かも)からでした。結局、ChatGPTとも相談しながら(悲しいことに他に相談相手がいないもので...)、

  • 全てのデバイスを表示しようとせず、必要最低限の表示を心がける
  • 文字やグラフも最低限にし、アイコンやそのアニメーションを工夫をする

という方針に落ち着きました。文字やグラフは結局は「読む」必要があるんですよね。「読む」ではなく「見て理解する」ことが大切なのではないかと思った次第。

世の中のHAのダッシュボードってできるだけ多く(全て?)のデバイスを表示/操作できるように作られているような気がします。なので、グラフやらボタンがてんこ盛りです。これだと情報量が多すぎてうるさく感じられると考えました。私の場合、個々のデバイスの状態を知ったり、操作したりするのはパソコンやスマホから操作すれば良い、と割り切って、誰にでも「見て」分かる、本当に必要最小限のものを一目でわかるように表示させたいと考えたのです。

これが現時点での画面です。

 

 

画面は上から7つのセクションに分かれていて、

  1. 時刻と日付
  2. 警告アイコン(火災、電力、CO2、鍵、雨、雷、嵐、風)
  3. 室内外の温度湿度(バーはThermal Heat Indexの値、不快指数的なもの)
  4. 状態(郵便受けのドア、郵便、配達荷物、製氷器の水、乾燥機、トイレ)
  5. 監視カメラ(2台)
  6. コントロール(小屋裏ファン、iPhone2台)
  7. 最近のイベントメッセージ

となっています。5. のコントロールのところのアイコンにはまだ文字がありますが、今後これらも無くす予定です。それ以外のアイコンは、例えば、2. の警告アイコンにおいて、火災(煙検知)の時はアイコンが赤くなり、電力消費が多い時にはプラグがチカチカする、といった具合です。

3. の内外の温度湿度の表示は、画面をアイコンだらけにしたくなかったので、ここだけグラフ的なものにして変化をつけてます。

監視カメラはFrigateが人を検知した場合、画像できれば動画をポップアップで表示させるつもりです。できることなら動画を表示させたいのですが、ESP32で動画を表示させるのは簡単ではありませんので、できないかも、です。

このダッシュボードは状態を表示するのが一番の目的で、操作できるのは(今のところ)小屋裏のファンと、家人のiPhoneを鳴らすボタンだけです。

一番下はイベントメッセージ、チャッピー君が話をしたメッセージが表示されます。これは聞き逃した時用です。最新の数件が表示されます。

 

改めてみるとまだまだ無機質で面白味に欠けますね。もっと凝らなくては。