在设计Python爬虫的数据库表结构时，需要考虑爬取的数据类型、数据量大小以及查询效率等因素。以下是一个基本的表结构设计示例，假设我们要爬取的是网页内容、网页标题和网页链接。
常用的数据库有MySQL、PostgreSQL、SQLite等。这里以MySQL为例进行说明。
计算
安全
数据库
网络和加速
企业服务
web_pages 表存储网页的基本信息。
CREATE TABLE web_pages (
id INT AUTO_INCREMENT PRIMARY KEY,
url VARCHAR(255) NOT NULL UNIQUE,
title VARCHAR(255),
content TEXT,
crawl_date DATETIME DEFAULT CURRENT_TIMESTAMP
);
id: 主键，自增。url: 网页的URL，唯一。title: 网页的标题。content: 网页的内容。crawl_date: 爬取日期，默认为当前时间。links 表存储网页中的链接信息。
CREATE TABLE links (
id INT AUTO_INCREMENT PRIMARY KEY,
page_id INT NOT NULL,
url VARCHAR(255) NOT NULL UNIQUE,
title VARCHAR(255),
FOREIGN KEY (page_id) REFERENCES web_pages(id)
);
id: 主键，自增。page_id: 所属网页的ID，外键关联到web_pages表的id。url: 链接的URL，唯一。title: 链接的标题。INSERT INTO web_pages (url, title, content) VALUES
('https://example.com/page1', 'Page 1', '<html>...</html>'),
('https://example.com/page2', 'Page 2', '<html>...</html>');
INSERT INTO links (page_id, url, title) VALUES
(1, 'https://example.com/page1/link1', 'Link 1'),
(1, 'https://example.com/page1/link2', 'Link 2'),
(2, 'https://example.com/page2/link1', 'Link 1');
SELECT
wp.id AS page_id,
wp.url AS page_url,
wp.title AS page_title,
wp.content AS page_content,
l.id AS link_id,
l.url AS link_url,
l.title AS link_title
FROM
web_pages wp
LEFT JOIN
links l ON wp.id = l.page_id
WHERE
wp.url = 'https://example.com/page1';
SELECT
wp.id AS page_id,
wp.url AS page_url,
wp.title AS page_title
FROM
web_pages wp
JOIN
links l ON wp.id = l.page_id
WHERE
l.url = 'https://example.com/page1/link1';
根据具体的爬虫需求，可以扩展和修改表结构，例如添加更多的字段、创建更多的关联表等。设计表结构时，需要考虑数据的完整性、查询效率和扩展性。
亿速云「云数据库 MySQL」免部署即开即用，比自行安装部署数据库高出1倍以上的性能，双节点冗余防止单节点故障，数据自动定期备份随时恢复。点击查看>>
推荐阅读：Python数据库操作怎样设计表结构
