AMDのGPUでvLLMの投機的デコーディングを動かす
Hacker News
大規模言語モデルを高速に動かす推論ソフトウェアvLLMで、投機的デコーディングをAMD製GPUの上で動かす手法の解説がHacker Newsで125ポイントを集めています。投機的デコーディングは、小さく速いモデルに先に続きを予想させ、本命の大きなモデルがまとめて答え合わせをすることで応答を速くする技術です。注目点は、これがNVIDIA以外のGPUでの実装として共有されていることです。推論基盤の選択肢がNVIDIA一択でなくなれば、AIを動かすコストの構造そのものが変わってきます。
Engrim、AIのコマンドライン道具に共通の記憶を持たせる
Hacker News
Show HNで公開されたEngrimは、AI向けのコマンドライン道具に共通の記憶を持たせるためのエンジンで、Hacker Newsで81ポイントを集めています。データはSQLiteという小さなデータベース1ファイルに収まり、手元の端末に置いたまま使うローカルファーストの設計です。複数のAIツールを行き来するたびに文脈を説明し直す手間を減らすことを狙っています。会話の履歴や作業のメモを外部のサーバーに預けずに済む点が、業務利用では効いてきます。
スマホに吹き込むだけ、音声メモで送るカスタマーフィードバック
Wired AI
Wiredが、音声メモで企業に意見を届けられるサービスVoiceboxを取り上げています。メールのアンケートに回答したり、電話口で保留を待ったりする代わりに、スマートフォンに話しかけるだけで感想を送れる仕組みです。文字にすると削ぎ落ちてしまう言いよどみや温度感が、そのまま企業側に届くところが特徴とされます。音声を扱うAIが実用の水準に達したことで、顧客の声を集める手段そのものが組み替わりつつあります。