REINVENT 4: Modern AI-driven generative molecule design
1.논문 제목: REINVENT 4: Modern AI-driven generative molecule design
2.저자명: Hannes H. Loeffler, Jiazhen He, Alessandro Tibo, Jon Paul Janet, Alexey Voronov, Lewis H. Mervin, Ola Engkvist
3.Publiush: 21 February 2024
5.Abstract: REINVENT 4 is a modern open-source generative AI framework for the design of small molecules. The software utilizes recurrent neural networks and transformer architectures to drive molecule generation. These generators are seamlessly embedded within the general machine learning optimization algorithms, transfer learning, reinforcement learning and curriculum learning. REINVENT 4 enables and facilitates de novo design, R-group replacement, library design, linker design, scaffold hopping and molecule optimization. This contribution gives an overview of the software and describes its design. Algorithms and their applications are discussed in detail. REINVENT 4 is a command line tool which reads a user configuration in either TOML or JSON format. The aim of this release is to provide reference implementations for some of the most common algorithms in AI based molecule generation. An additional goal with the release is to create a framework for education and future innovation in AI based molecular design. The software is available from https://github.com/MolecularAI/REINVENT4 and released under the permissive Apache 2.0 license.
6.한글 초록 요약본: REINVENT 4는 소분자 설계를 위한 현대적인 오픈소스 생성형 AI 프레임워크임. 본 소프트웨어는 recurrent neural network와 transformer architecture를 이용하여 분자 생성을 수행함. 이러한 생성기는 transfer learning, reinforcement learning 및 curriculum learning을 포함한 일반적인 machine learning optimization algorithm에 긴밀하게 통합되어 있음. REINVENT 4는 de novo design, R-group replacement, library design, linker design, scaffold hopping 및 molecule optimization을 지원하고 해당 작업의 수행을 용이하게 함. 본 논문은 REINVENT 4 소프트웨어의 전반적인 구성과 설계 방식을 설명하며, 적용된 알고리즘과 활용 방법을 상세하게 다룸. REINVENT 4는 TOML 또는 JSON 형식으로 작성된 사용자 설정 파일을 읽어 실행하는 command-line tool임. 이번 소프트웨어 공개의 목적은 AI 기반 분자 생성에서 일반적으로 사용되는 주요 알고리즘의 reference implementation을 제공하는 것임. 또한 AI 기반 분자 설계의 교육과 향후 기술 혁신을 위한 프레임워크를 구축하는 것을 추가적인 목표로 함. 소프트웨어는 GitHub에서 제공되며, 제약이 비교적 적은 Apache 2.0 license로 배포됨
7.한글 논문 요약본
7-1 Introduction: 신약 설계는 표적 결합력뿐 아니라 선택성, 물리화학적 특성, ADME, 독성, 안정성 및 합성 가능성 등 여러 조건을 동시에 충족하는 분자를 방대한 화학 공간에서 찾는 다중 목적 최적화 문제임. 생성형 AI는 기존 화합물의 구조 분포를 학습하여 새로운 분자를 생성할 수 있으나, 실제 신약 개발에 활용하려면 분자 생성뿐 아니라 transfer learning, reinforcement learning, scoring 및 다양성 관리 기능이 함께 필요함. 본 논문은 RNN과 transformer를 기반으로 de novo design, R-group replacement, linker design, scaffold hopping 및 molecule optimization을 지원하는 오픈소스 프레임워크 REINVENT 4의 구조와 활용 방법을 제시함
7-2 Method: REINVENT 4는 SMILES를 순차적으로 생성하는 autoregressive model을 사용하며, 목적에 따라 네 가지 generator를 제공함. Reinvent는 분자를 처음부터 생성하고, Libinvent는 주어진 scaffold에 R-group을 추가하며, Linkinvent는 두 fragment를 연결하는 linker를 설계함. Mol2Mol은 입력 분자와 일정한 유사성을 유지하면서 구조를 최적화함.
Transfer learning은 특정 표적의 활성 화합물이나 chemical series를 이용해 prior model을 fine-tuning하여 관련 구조를 더 자주 생성하게 함. Reinforcement learning은 생성된 분자의 score와 prior likelihood를 결합해 높은 점수를 갖는 구조의 생성 확률을 높임. Staged learning은 초기에는 물성이나 구조 alert처럼 계산이 빠른 기준을 적용하고, 후반에는 docking과 같은 고비용 평가를 순차적으로 추가할 수 있게 함.
Scoring subsystem은 QED, molecular weight, SLogP, TPSA, 수소결합 특성, SA score, 구조 유사도, SMARTS alert 및 QSAR model 등을 지원함. DockStream을 통해 AutoDock Vina, Glide, GOLD 등의 docking software와 연결할 수 있으며, 여러 score를 0–1 범위로 변환한 뒤 weighted mean으로 통합함. Diversity filter는 특정 scaffold가 반복 생성되는 것을 억제하고, inception 기능은 이전에 발견한 고득점 분자를 학습에 다시 활용함.
7-3 Results:
REINVENT 4는 sampling, scoring, transfer learning 및 staged learning을 TOML 또는 JSON configuration으로 실행할 수 있으며, 생성된 SMILES와 각 scoring component의 결과를 CSV와 TensorBoard로 확인할 수 있음. 단계별 목표 변경 실험에서는 매우 큰 분자를 생성하도록 학습한 agent가 scoring 기준을 작은 분자 생성으로 바꾸자 빠르게 새로운 목표에 적응하여 staged learning의 유연성을 보여줌.
PDK1 inhibitor 설계 사례에서는 docking score가 −8 kcal/mol 이하이고 QED가 0.7 이상인 분자를 hit로 정의함. 기본 prior에서 50 epoch의 RL을 수행하여 6,400개 분자 중 119개의 hit를 생성했으며, hit rate는 1.9%였음. Hit들은 103개의 서로 다른 generic scaffold에 분포해 구조적 다양성을 유지함. 이후 PDK1 활성 화합물 315개로 transfer learning을 수행한 뒤 동일한 RL을 적용한 결과, 222개의 hit와 3.5%의 hit rate를 얻어 기본 RL보다 약 두 배 높은 생산성을 보임. 생성된 hit는 176개의 unique scaffold에 분포했으며, 일부 분자는 알려진 ligand와 유사한 주요 결합 상호작용을 형성하는 것으로 예측됨.
7-4 Conclusion:
REINVENT 4는 다양한 분자 생성기와 transfer learning, reinforcement learning, staged learning 및 scoring 기능을 하나의 환경에 통합한 오픈소스 생성형 분자 설계 플랫폼임. PDK1 사례에서 표적 관련 transfer learning이 hit 생성 효율을 높이면서도 구조 다양성을 유지하는 데 도움이 됨을 보여줌. 다만 해당 결과는 계산 기반 사례이므로 생성 화합물의 실제 활성, 선택성 및 합성 가능성은 후속 실험으로 검증해야 함. 본 논문의 핵심 기여는 특정 후보물질의 효능을 입증한 것이 아니라, 생성형 AI 기반 분자 설계 알고리즘을 재현 가능하고 확장 가능한 reference implementation으로 제공한 데 있음.
8.대표 Figure
댓글