【为生成AI应用程序的向量搜索】① 引言
首先
作为向量数据库,Apache Cassandra和DataStax Astra DB 的背景。
根据DataStax工程师的提案,针对于Apache Cassandra的强大兴起和2022年开始的生成AI潮流,已经在DataStax公司的Cassandra托管服务Astra DB中实现了对向量搜索功能的扩展。本文系列将根据该公司发布的白皮书内容作为这一趋势的一部分进行讨论。
出处及日文版
此系列文章的原始文献可以在下方获取。
在博客文章中,我们重视易读性而不是忠实翻译,因此对部分内容进行了省略。
如果您希望获取没有省略的日文版白皮书,请与info-jp@datastax.com联系,我们将提供给您。
为了生成AI应用程序,进行向量搜索。
关于这份文件
这个文档是为了开发者/架构师而准备的,旨在利用向量搜索来开发 AI 应用程序的指南。
这份文件是为了所有试图设计和构建生成型人工智能应用程序的人提供的指南。不仅涵盖了组织应理解的重要概念和考虑事项,还解释了使用向量搜索来大幅扩展LLM功能的简单而强大的方法。
前文承接:人工智能的崛起
AI的出现不仅改变了使用产品的方式,还改变了构建产品的方式。自从OpenAI在2022年11月30日发布了ChatGPT以来,对生成AI的兴趣在短短几个月内迅速席卷全球。在撰写本文时,麦肯锡估计生成AI的价值可能从全球经济总规模2.4万亿美元增至4.2万亿美元(1)。
在这场革命的核心是通过大规模语言模型(LLM:Large Language Model)实现的创新。作为展现这一最近趋势的例子,可以列举如下:
-
- マイクロソフトのOpenAIへの投資(下記、参考文献2を参照、以下同)
-
- Microsoft Azure OpenAI Serviceの立ち上げ(3)
-
- グーグルのAnthropicとの提携(4)
-
- PaLM 2(5)
-
- Bard(6)
-
- Huggingface(7) のような数十のモデルを持つ盛んなオープンソースコミュニティ
- Amazon Sagemaker(8) やグーグルのVertex AIとGenerative AI App Builder(9) のような生成AIアプリを構築するためのツールとサービスの登場
开发人员已经开始讨论新的语言模型堆栈(10)。出现了一些著名的新框架,如LangChain(11)和LlamaIndex(12),向量搜索已经成为生成AI应用程序构建技术堆栈的另一个重要组成部分。
以下是关于人工智能(AI)兴趣增加的其他事实和调查结果的一些介绍。
-
- ChatGPTは、3か月も経ずに月間アクティブ ユーザー数1億人を史上最速で達成しました(13)
-
- OpenAIプラグインは、その発表以来、21の異なるカテゴリにわたる400を超える規模のエコシステムに瞬く間に成長しました(14)
-
- 開発者の92%が生成 AI ツールを使用しています(15)
-
- ベンチャーキャピタルの支援を受けている企業の90%が生成AI製品の発売を計画しています(16)
-
- 経営幹部の65%が、生成AIは組織に対して非常に大きな影響力を持つと考えています(17)
- SEMRush社は、ChatGPTを2023年の最も利用されたGoogle検索語の第26位にランクしました(18)
这份文件所涉及的内容
在本文中,我们将对以下内容进行解释。
-
- 生成 AI が重要な理由
-
- 生成 AI を効果的に機能させるためのアーキテクチャとデザインパターン
- ベクトル検索が生成AIアーキテクチャの重要なコンポーネントとなった経緯
请参考这些引用文献。
-
- “生成型人工智能的经济潜力。” McKinsey, 2023年6月14日, https://www.mckinsey.com/capabilities/mckinsey-digital/our-insights/the-economic-potential-of-generative-ai-the-next-productivity-frontier#key-insights
“微软与OpenAI扩展合作伙伴关系-微软官方博客。”微软官方博客, 2023年1月23日, https://blogs.microsoft.com/blog/2023/01/23/microsoftandopenaiextendpartnership/
Hawk, Jessica. “在Microsoft Azure上构建下一代AI应用程序 |Azure 博客。” Microsoft Azure, 2023年5月23日, https://azure.microsoft.com/zh-cn/blog/build-next-generation-ai-powered-applications-on-microsoft-azure/
“Anthropic与Google Cloud合作。” Anthropic, 2023年2月3日, https://www.anthropic.com/index/anthropic-partners-with-google-cloud
“Google AI PaLM 2 – Google AI.” Google AI, https://ai.google/discover/palm2/
尝试 Bard,一个由Google开发的AI实验,https://bard.google.com/
“Open LLM 排行榜 – 由 HuggingFaceH4提供的Hugging Face Space。” Hugging Face, https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
Colmer, Paul. “使用Amazon SageMaker JumpStart在AWS上开始生成型AI | Amazon Web Services.” Amazon AWS, 2023年5月4日, https://aws.amazon.com/cn/blogs/machine-learning/get-started-with-generative-ai-on-aws-using-amazon-sagemaker-jumpstart/
“生成型AI。” Google Cloud, https://cloud.google.com/ai/generative-ai
Fradin, Michelle, and Lauren Reeder. “新的语言模型堆栈。” Sequoia Capital, 2023年6月14日, https://www.sequoiacap.com/article/llm-stack-perspective/
https://langchain-langchain.vercel.app/docs/get_started/introduction.html
https://gpt-index.readthedocs.io/en/latest/
Wodecki, Ben. “UBS:ChatGPT是有史以来增长最快的应用程序。” AI Business, https://aibusiness.com/nlp/ubs-chatgpt-is-the-fastest-growing-app-of-all-time
“调查揭示了人工智能对开发者体验的影响。” GitHub 博客, 2023年6月13日, https://github.blog/2023-06-13-survey-reveals-ais-impact-on-the-developer-experience/
“90% 的风险投资支持的公司计划在产品中推出生成型AI,64%计划在今年推出。” Productboard, 2023年6月6日, https://www.productboard.com/blog/generative-ai-and-products/
“KPMG生成型AI调查。” KPMG U.S., https://info.kpmg.us/news-perspectives/technology-innovation/kpmg-generative-ai-2023.html
“谷歌最常搜索的内容:2023年度谷歌热门搜索。” Semrush, 2023年6月13日, https://www.semrush.com/blog/most-searched-keywords-google/