- ログやプロファイルを取得していない状態。
機械学習システムに限らず、システムを運用するためにはログが必要です。ログを取得しない場合、エラー検知や障害対応、システム改善を行うことができず、ブラックボックスなシステムが醸成されていきます。特に機械学習システムでは、推論結果とその後のイベントをログから追跡することによって、推論モデルの効果をレビューすることが可能になります。
機械学習を実用化する面白くチャレンジングな点は、機械学習のアウトプットがビジネスやユーザ体験に密接に紐づくところです。推論は複雑な自動化を可能にします。頑張ってif-elseで記述することが難しいワークフローであっても、機械学習で解決できることがあります（解決できないこともあります）。そして実際のビジネスやユーザの行動、更には物理的な世界（IoTやEdge AI）に影響を与えるということは、変わり続ける環境にフィットしなければならないということで、機械学習やシステムの観点からすると、ログを収集して原因と結果と改善を続ける、ということになると思います。
- 強いて言えば、ログの費用が不要になる。
- システムを運用することができなくなる。
- 最低限、Fatal、Error、Warning、Infoレベルのログは取得する。
- 追跡可能なイベントログを定義し実装する。