ルームクリップ株式会社と株式会社博報堂ＤＹメディアパートナーズ（本社：東京都港区、代表取締役社長：矢嶋弘毅、以下、博報堂ＤＹメディアパートナーズ）の研究開発プロジェクトAaaS Tech Labは、OpenAI社やMeta社などが開発・公開している複数のAIモデルを組み合わせ、写真や動画に写っている物体とその座標を検出する画像解析システムを開発しました。大規模言語モデル（LLM）と画像を物体ごとにセグメンテーションするAIモデルを組み合わせることで、従来の同様のシステムに比べて、検出したい物体をより柔軟に指定でき、写真内の座標や具体的な商品などの付加情報も合わせて取得できる仕組みを実現しました。

まずは当社が提供する住生活領域のソーシャルプラットフォーム「RoomClip（ルームクリップ）」に同システムを実装し、投稿されたユーザーの住まいの写真に写っているインテリアアイテムを抽出して、アイテムを取り扱うECサイトのリンクを自動で表示する機能を2024年4月に公開しました。今後、本システムを活用してRoomClipをより便利なサービスにしていくとともに、他企業のサービスへの本システムの応用も支援していく予定です。

当社は「人と人、人と企業が繋がる住生活の新しい産業と文化を築く」というビジョンを掲げています。今後は本システムを活用し、実際に人が住んでいる家の写真を参考にしながら、住生活領域の商品を簡単に導入できるサービスの構築を進めていきます。

【本システムの概要と開発について】

今回の新システムの開発においては、検出したい物体を言語によって柔軟に指定できること、そして検出した物体の構造データを取得可能にすることを目指しました。2023年6月から当社のエンジニアチームと博報堂ＤＹメディアパートナーズにて共同で開発を始めました。

従来の同様の座標を取得できる画像解析システム（下図の「オープンソース既存モデル」「既存APIサービス」）では、検出したい物体について同様の物体の画像を予めAIに大量に読み込ませて学習させることなどが必要でした（カスタムコスト△）。一方で、言語によって検出したい物体を指定するシステム（LLM）では、写っているかどうかの判定は可能なものの、画像内のどこに写っているのかの座標情報を取得することはできませんでした（出力形式△）。

本システムは、米Meta社が開発した画像をセグメンテーションするAIモデル「Segment Anything Model（SAM）」と、米OpenAI社が開発したLLMによる画像を言語化するモデル「CLIP」を組み合わせることで、その両立を実現しました。

RoomClipでの実装においては、本システムと米Google社が提供するVision API Product Searchを組み合わせ、画像のアイテムの座標に対して、ECサイトの商品リンクを表示するようにしました。これによりRoomClip内に蓄積された大量の住まいの実例写真から、インテリアアイテムを取り扱うECサイトにシームレスに移動できるようになりました。

【本システムを利用したRoomClipの機能について】

当社が開発・提供するRoomClipでは、本システムを活用した新機能を2024年から段階的に開始しています。本機能では、ユーザーがRoomClipに投稿した写真を自動で画像解析してアイテムを特定し、取り扱いのあるECサイトのURLリンクをカード形式で表示します。
下記のように、部屋写真の画像の中で、画像解析で商品が特定されたものには、白と黒の丸が表示されます。また部屋写真の右側には商品の写真と参考価格が表示され、クリックすると取り扱いサイトへと遷移します。 https://x.gd/mTpvG

【本システムを利用したサービス開発の問い合わせについて】

今後、本システムを活用したサービス開発の支援を実施する予定です。ご興味をお持ちの企業のご担当者様はルームクリップ株式会社ブランド室の担当、川本までメールにてご連絡ください。
お問い合わせ先メールアドレス：brand@roomclip.jp

【博報堂DYメディアパートナーズ　AaaS Tech Labについて】

従来の広告ビジネスやメディア・コンテンツを革新するために、テクノロジーの可能性を探求するプロジェクト。博報堂ＤＹグループの掲げる広告メディアビジネスの次世代型モデル「AaaS (Advertising as a Service)」の実現を目指し、「先進的なアルゴリズムでメディア・コンテンツ効果を分析/予測し、新しいプランニングやセールスにチャレンジする」こと、「データを駆使した次世代のコンテンツやメディアビジネスの仕組みを開発する」ことをミッションとしています。

本リリースに関する問い合わせ先

ルームクリップ株式会社　広報担当
mail：brand@roomclip.jp
お問い合わせ： https://corp.roomclip.jp/contact