 caoqianming
|
2fe9c4cd1f
|
fix(resm): download_pdf链改用独立锁downloading_pdf, 修复并发闸门被其他链卡死
send_download_fulltext_task 的 can_send_more 原来统计全库 fetch_status=downloading,
而 elsevier/openalex 保活链常驻十几个粗锁, 导致 download_pdf 永远发不出任务
(oa_url/Sci-Hub/Elsevier 主下载路径完全停摆)。现 download_pdf 用 downloading_pdf
独立锁, 闸门只数自己的在途任务; 各链查询改为 startswith 排除两种锁,
release_working_paper 同步释放两种锁。
另修复: download_pdf 遇已被其他链锁定的论文时, finally 中 fetch_end 会误清
别的链持有的锁; Paper.DoesNotExist 时 finally 引用未定义的 paper。
Co-Authored-By: Claude Fable 5 <noreply@anthropic.com>
|
2026-07-21 14:16:34 +08:00 |
|
caoqianming
|
c5636b5131
|
feat(resm): 期刊/关键词监控 PaperMonitor + 移除每日增量周期任务
- 新增 PaperMonitor model(type=journal/search/keyword、value、name、note、is_active、days、last_run、last_count)+ admin 管理
- 新增 monitor_papers 任务:遍历启用监控,journal→primary_location.source.issn / search→title_and_abstract / keyword→keywords.id,复用 _crawl_openalex_query 入库去重,每天 05:00 调度
- 迁移 0008 建表;0009 种子(8 本无机非金属材料期刊 + 5 英文方向词,note=无机非金属材料)并注册监控周期任务
- 移除 0007:update_paper_meta_from_openalex/elsevier 不再注册为每日周期任务(只需一次性回补,用 backfill_paper_meta_from_openalex);两任务函数保留供手动/回补调用
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-21 23:43:58 +08:00 |
|
caoqianming
|
33a6dbf431
|
feat: 增加d_scihub
|
2026-02-03 15:41:44 +08:00 |
|
caoqianming
|
1f5def2821
|
feat: 优化fetch_status
|
2026-01-30 10:37:29 +08:00 |
|
caoqianming
|
bfcc6d77fc
|
feat: 完善一些类型错误
|
2026-01-30 09:13:09 +08:00 |
|
caoqianming
|
aaa51f548b
|
feat: 采用fetch_status记录下载状态
|
2026-01-29 17:52:51 +08:00 |
|
caoqianming
|
5e9a66c69d
|
feat: 同步数据库
|
2026-01-28 16:26:30 +08:00 |
|
caoqianming
|
7183dfd590
|
feat: 增加download_pdf
|
2026-01-28 15:01:49 +08:00 |
|
caoqianming
|
90a54d2279
|
feat: 添加get_pdf_from_oa_url
|
2026-01-28 11:24:52 +08:00 |
|
caoqianming
|
f57f624b65
|
feat: 添加o_keywords 字段
|
2026-01-28 10:26:41 +08:00 |
|
caoqianming
|
d1f32bd9b0
|
feat: 增加get_pdf_from_elsevier
|
2026-01-27 16:29:05 +08:00 |
|
caoqianming
|
c39fd7d990
|
feat: 添加paper字段
|
2026-01-26 14:37:52 +08:00 |
|
caoqianming
|
9af30eccaf
|
feat: 添加resm app
|
2026-01-23 10:37:41 +08:00 |