Microsoft AI-102(Azure AI エンジニア アソシエイト)1-10

Azure AI Video Indexer（旧称: Azure Media Services Video Indexer）は、動画内の人物の顔を検出し識別する機能を提供します。
特定の人物を識別して検索可能にするには、アカウント内に人物モデルを作成し、そのモデルに顔を学習させる必要があります。
動画をアップロードまたは再インデックス化する際に人物モデルIDを指定すると、Video Indexerはそのカスタム人物モデルを使用して人物を識別します。
顔に名前を付けることで、その人物情報が人物モデルに追加され、以降の動画や過去の動画でも同一人物として認識されます。BはVideo Indexerの仕組みとは異なり、CやDは検索用の人物認識には関係ありません。Eの言語モデルも人物識別機能とは無関係です。
Video Indexer で人物モデルをカスタマイズする

IP ファイアウォール ルールは Azure Cognitive Search へのアクセス元 IP を制限する機能です。
しかし通信自体はパブリック エンドポイントを経由するため、トラフィックはインターネット経由になります。
そのため「パブリック インターネットを経由せずに接続する」という要件は満たしません。
この要件を満たすには Azure Private Link を使用してプライベート エンドポイントを作成し、仮想ネットワーク内のプライベート IP 経由でサービスへ接続する必要があります。
なお Azure Cognitive Search は現在 Azure AI Search という名称に変更されており、AI サービス群のブランド統一に伴う名称更新です。
Azure AI Search でプライベート エンドポイントを作成する

Azure OpenAI を使用したチャットボットの応答品質を短期間で向上させるには、モデルの再学習ではなくプロンプト設計を改善する方法が有効です。
根拠となるコンテンツを提供する方法は、外部データをモデルに参照させることで回答の正確性を高める手法であり、一般的に RAG（検索拡張生成）として実装されます。
これにより独自データを利用した回答が可能になり、誤った回答の発生を減らすことができます。
またサンプルのリクエストとレスポンスのペアをプロンプトに含める Few-shot プロンプティングは、望ましい回答形式や内容をモデルに示すことで品質を向上させます。
一方で微調整やモデル再学習、カスタム LLM の作成はデータ準備や学習プロセスが必要となるため開発工数が大きく、要件である開発労力の最小化に適していません。
プロンプト エンジニアリングの手法

この SSML には 3 つの voice 要素が含まれており、それぞれ異なる音声モデルが指定されています。
en-US-JennyNeural、en-GB-RyanNeural、en-US-ChristopherNeural は別々の音声モデルであるため、3 つの異なる声で文章が読み上げられます。
しかしアクセントは米国英語が 2 つ、英国英語が 1 つであるため、3 つすべてが異なるアクセントではありません。
また 3 つ目の音声では mstts:express-as style=”advertisement_upbeat” が指定されており、これは広告向けの明るい表現スタイルです。
そのためすべての文章がニュートラルなトーンで読み上げられるわけではありません。
Azure Speech の Text-to-Speech では SSML を使用することで音声、アクセント、話し方のスタイルなどを細かく制御できます。
音声合成マークアップ言語 (SSML) の概要

Azure AI Speech サービスで Microsoft Entra ID トークン認証を使用する場合は、リソースにカスタムサブドメインを設定する必要があります。
カスタムサブドメインによりサービス固有のエンドポイント URL が作成され、Entra ID トークンによる認証が可能になります。
さらに Speech リソースにはプライベートエンドポイントを構成する必要があります。
プライベートエンドポイントを使用すると、仮想ネットワークから Azure AI Speech サービスへ安全に接続でき、Entra ID による認証がサポートされます。
条件付きアクセスはユーザーアクセス制御の機能であり、サービス認証設定ではありません。
また X.509 証明書や仮想ネットワーク サービス エンドポイントは Speech サービスの Entra ID トークン認証の要件ではありません。
Azure AI Speech サービスのロールベース アクセス制御

チャットボットがポジティブメッセージとネガティブメッセージに応じて異なる応答を返すには、ユーザーの文章の感情を判定する必要があります。
Azure AI Language の感情分析機能を使用すると、入力テキストをポジティブ、ネガティブ、ニュートラルなどに分類し、信頼度スコアとともに結果を取得できます。
これによりメッセージの感情に応じた応答処理を実装できます。
また多言語チャットボットではユーザー入力の言語が不明な場合があるため、言語検出 API を使用してテキストの言語を識別する必要があります。
言語を特定した後に感情分析を実行することで、複数言語に対応した感情判定が可能になります。
なお Text Analytics API は現在 Azure AI Language サービスの一部として提供されています。
感情分析とオピニオン マイニングとは

Semantic Kernel では複雑なデータ構造をプロンプトに渡す場合、テンプレートエンジンを使用してオブジェクトのプロパティやコレクションを展開できます。
Liquid と Handlebars はどちらもテンプレート言語であり、ネストされたオブジェクトのサブプロパティへのアクセス、条件分岐、ループ処理などをサポートしています。
そのため複雑なオブジェクトをプロンプトに埋め込む用途に適しています。
一方 JSONL はデータセット形式でありテンプレート言語ではありません。
YAML は構成やデータ定義に使用されるフォーマットでありテンプレート処理機能はありません。
また Semantic Kernel はフレームワークでありテンプレート言語ではないため選択肢としては不適切です。
Semantic Kernel のプロンプト テンプレート構文

音声リクエストに対応するボットを最小の開発労力で実装するには、既存の音声対応チャネルを利用する方法が有効です。
Cortana は音声インターフェースを標準で提供しており、Bot Framework SDK を使用して統合することで音声入力と音声応答を自動的に処理できます。
そのため追加の音声処理ロジックを実装する必要がなく、開発作業を最小限に抑えることができます。
Direct Line Speech や Azure Functions を利用した方法では追加の構成やコード実装が必要になります。
また Microsoft Teams チャネルは主にテキストベースのボット対話を目的としているため、この要件には適していません。
Bot Framework SDK とは

Microsoft AI Foundry で Azure OpenAI を利用したプロジェクトを作成する場合、ユーザーは Azure OpenAI リソースを使用する権限を持つ必要があります。
Cognitive Services OpenAI ユーザー ロールは Azure OpenAI のモデルやエンドポイントを使用するための最小限の権限を提供します。
このロールを割り当てることで、ユーザーは Azure AI Foundry のツールから Azure OpenAI リソースを利用してプロジェクトを作成できます。
一方 Cognitive Services OpenAI コントリビューターや Azure AI 管理者はリソース管理権限を含むため、最小権限の原則を満たしません。
そのため必要最小限のアクセス権を提供する Cognitive Services OpenAI ユーザーが適切です。
Azure OpenAI Service のロールベース アクセス制御

Azure Face API の Find Similar 操作では検索対象の顔リストのサイズによって使用する識別子が異なります。
faceListId は最大 1,000 件の顔データまでしかサポートされません。
一方 LargeFaceListId は最大 1,000,000 件までの顔データを扱うことができ、大規模な顔リスト用に設計されています。
この問題では employeefaces に 60,000 枚の画像が含まれているため LargeFaceListId を使用する必要があります。
また mode パラメーターには matchFace と matchPerson があります。
類似する個々の顔を検索する場合は matchFace を使用します。
似た顔の検索