非AI实用程序API
网页抓取 API
抓取URL内容并提取结构化数据
网页抓取 API 旨在从任何公开可访问的 URL 中提取结构化数据，以机器可读的 JSON 格式提供页面内容、元数据和结构的见解。此 API 非常适合需要自动数据提取的应用程序，例如 SEO、竞争分析、内容聚合或市场研究。
通过简单的 API 调用，您可以检索以下关键信息：
- 页面标题和元数据（描述、关键词、作者、开放图谱和 Twitter 卡片详细信息）
- 标题和元标记（内容类型、视口、规范 URL、字符集）
- 结构化内容提取（标题、段落、关键文本元素）
- 内部和外部链接 用于站点结构分析
- 语言检测 用于本地化和内容分类
- 带时间戳的结果 用于准确跟踪和记录
Endpoint
GET https://sharpapi.com/api/v1/utilities/scrape_url?url=YOUR_URL
Parameters
| Parameter | Type | Required | Description |
|---|---|---|---|
url |
string | Yes | 要抓取的 URL |
AI-Powered Processing
提取的数据可以无缝集成到 SharpAPI 的 AI 驱动端点 中，以便进行进一步分析和自动化。例如：
- 文本摘要和改写以有效地压缩内容。
- 关键词提取和 SEO 优化以增强营销效果。
- 情感分析用于理解用户生成的内容或评论。
- 翻译和语言处理用于多语言内容工作流。
在 SharpAPI AI Catalog 探索完整的 AI 驱动功能。
Example Request
curl -X GET "https://sharpapi.com/api/v1/utilities/scrape_url?url=https://sharpapi.com/" \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Accept: application/json"
Example Response
{
"url": "https://sharpapi.com/",
"timestamp": "2025-01-15T08:56:04.946195Z",
"scraped_data": {
"title": "AI 驱动的工作流自动化 API",
"detected_language": "en",
"headers": {
"charset": "utf-8",
"contentType": null,
"viewport": [
"width=device-width",
"initial-scale=1"
],
"canonical": "https://sharpapi.com/",
"csrfToken": "xxx"
},
"meta_tags": {
"author": null,
"image": null,
"keywords": [
"SharpAPI",
"AI",
"automation"
],
"description": "利用 AI API 在电子商务、营销、内容管理、人力资源技术、旅游等领域简化工作流。"
},
"open_graph": {
"og:title": "AI 驱动的工作流自动化 API",
"og:type": "website",
"og:URL": "https://sharpapi.com",
"og:image": "https://sharpapi.com/build/assets/sharpapi-website-preview-ARuIroBi.png",
"og:description": "利用 AI API 在电子商务、营销、内容管理、人力资源技术、旅游等领域简化工作流。",
"og:url": "https://sharpapi.com"
},
"twitter_card": {
"twitter:card": "summary",
"twitter:site": "@sharpapi",
"twitter:creator": "@a2zwebltd"
},
"content_structured": [
{
"tag": "h1",
"content": "使用 AI 驱动的 API 自动化工作流"
},
{
"tag": "h2",
"content": "利用 AI API 在电子商务、营销、\n 内容管理、人力资源技术、旅游等领域进行自动化。 [...]"
},
],
"content_lists": [
{
"type": "ul",
"items": [
"电子商务：",
"快速生成引人入胜的 [...]"
]
},
{
"type": "ul",
"items": [
"人力资源技术：",
"生成",
"复杂的职位描述 [...]"
]
}
],
"content_html": "<h1>使用 AI 驱动的 API 自动化工作流</h1>\n<h2>利用 AI API 在电子商务、营销、<br />\n 内容管理、人力资源技术、旅游等领域进行自动化。</h2> [...]",
"content_markdown": "# 使用 AI 驱动的 API 自动化工作流\n\n## 利用 AI API 在电子商务、营销、 \n 内容管理、人力资源技术、旅游等领域进行自动化。 [...]",
"content_keywords_index": [
"简化工作流",
"电子商务",
"营销",
"内容管理",
"人力资源技术",
"旅游 [...]"
],
"links": {
"internal": [
"https://sharpapi.com/register",
"https://sharpapi.com/en/blog/category/workflow-optimization",
"https://sharpapi.com/documentation",
"https://sharpapi.com/en/ai-automation-cheatsheet",
"https://sharpapi.com/policy",
"https://sharpapi.com/terms"
],
"external": [
"https://github.com/sharpapi/",
"https://github.com/sharpapi/sharpapi-laravel-client",
"https://www.nuget.org/packages/SharpApi.Service",
"https://twitter.com/SharpAPI",
"https://www.youtube.com/@SharpAPI"
]
}
}
}