エンジニアリング実践 LLMの評価方法を自動化する実例、CI・LLM-as-a-judge・評価データセットで回し続ける仕組み 2026年9月11日 LLMの評価方法について、以前「デモでは動くが本番で使えない」を潰す評価設計で評価データセットの作り方と評価指標の分け方を書いた。今回はその続きで、「評価データセットを作った後、それをどう回し続けるか」という自動化の話を書く。 結論から言うと、私がやっていることは大掛かりではない。CIパイプラインに評価スクリプトを組み...
エンジニアリング実践 要件が固まっていない段階からPoCを始める進め方 2026年9月9日 結論から書く。要件が固まっていないことは、PoCを始めない理由にならない。むしろ「要件を固めるためにPoCを使う」という順序を選べば、要件が曖昧な段階の方が着手しやすいことすらある。FDEとして複数のAI導入案件に関わる中で、要件定義書が完成するのを待ってからPoCに入る進め方と、要件が固まる前にPoCを走らせてしまう...
エンジニアリング実践 AIエージェントをSlack・LINEなど現場のツールに組み込む設計 2026年9月9日 AIエージェントを業務に組み込む相談を受けるとき、最初のつまずきは「モデルの性能」ではなく「現場の入口をどこにするか」であることが多い。チャット画面を新しく作っても、現場の人はそこを開きにいかない。すでに使っているSlackやLINEの中にAIエージェントを差し込む方が、圧倒的に使われる。 ただし、この「差し込む」がや...
