Christine's AI World

출처 : brunch.co.kr/@kakao-it/212

카카오i의 추천 엔진 루비스(RUBICS, real-time user behavior-based interactive content recommender system)

: 2015 6월 다음 모바일 메인 뉴스에 최초 적용되어 사용, 핵심 지표로 콘텐츠 클릭률(CTR, Click-through Rate) 사용

콘텐츠 클릭률(CTR)

: CTR = 총 클릭수 / 총 노출 수

온라인 콘텐츠나 광고의 성과를 측정하는데 사용 (클릭률 높을수록 트렌드 반영하는 시의적절한 콘텐츠)

콘텐츠 클릭률은 제목에서 결정

장점 - 클릭률 높은 콘텐츠를 빠르게 선별해 사용자에게 추천하면 서비스 페이지 조회수(PV, Page View)가 높아짐

단점 - 클릭률만으로는 사용자의 콘텐츠 만족도 알 수 없음 (내용 부실하면 돌아가기 버튼 or 서비스 종료)

↓

이를 보완할 추천 지표 : 열독률(DRI, Deep Reading Index)

(본래 - 신문사에서 브랜드 가치를 평가하기 위해 측정하는 지표)

카카오가 정의한 열독률(DRI)

: 사용자의 행동 로그를 기반으로, 콘텐츠의 특성에 따라 기대되는 체류 시간에 비해

사용자가 얼마나 오래 해당 컨텐츠에 머무르며 봤는지 측정

why 열독률 고려?

1) 본문에서의 상대적인 체류 시간이 높을수록 사용자의 콘텐츠 만족도가 높을거라는 가정

2) 클릭률 대비 본문 체류 시간이 현저히 낮은 컨텐츠 감별 위해

즉, 본문 만족도가 높은 콘텐츠를 추천하고 본문 만족도가 낮은 컨텐츠를 추천에서 제외하여

"사용자의 서비스 만족을 높일 수 있을 것"

한계 - 콘텐츠 본문을 구성하고 있는 정보의 특성에 따라 체류 시간에 대한 해석 달라짐 (본문의 양이 다 다르니까!)

따라서, 이를 고려해 열독률(DRI) = 실체류 시간 / 기대 체류 시간

콘텐츠 클릭률(CTR)과 열독률(DRI)을 적용한 카카오i 추천 엔진을 2017년 6월, 다음 모바일 메인 뉴스탭에 적용

(6~9월동안, 기존 추천 엔진(CTR 이용)과 새로 적용한 추천 엔진(CTR+DRI 이용)의 다양한 버전을 교차 테스트했으며 결과를 통해 CTR과 DRI 의 적정 조합 비율을 찾아냄)

성과 : 서비스 전체 체류 시간과 페이지뷰가 상승 

• AI 분야의 학회 및 저널 rank 및 일정 정리 되어 있는 사이

1. https://sites.google.com/site/lyangwww/resources?tmpl=%2Fsystem%2Fapp%2Ftemplates%2Fprint%2F&
2. https://www.guide2research.com/topconf/machine-learning
3. https://jackietseng.github.io/conference_call_for_paper/conferences.html

• 인공지능 관련 지식 및 기사, 정보 얻을 수 있는 사이트

1. 카카오 인공지능 정책산업 연구 브런치 : https://brunch.co.kr/magazine/kakaoaireport
2. 네이버 서치 & 테크 : https://blog.naver.com/PostList.nhn?blogId=naver_search
3. 카카오 테크 : https://tech.kakaoenterprise.com
4. 카카오 브레인 : https://www.kakaobrain.com/index
5. 스캐터랩 핑퐁팀 블로그 : https://blog.pingpong.us/
6. 최근우 블로그 : http://keunwoochoi.blogspot.com/2016/08/blog-post.html
7. 솔라리스의 인공지능 연구실 : http://solarisailab.com/deep-learning

• 논문 보기 좋은 사이트

1. nips paper : https://proceedings.neurips.cc//
2. 딥러닝 논문 모음 : https://github.com/terryum/awesome-deep-learning-papers#understanding--generalization--transf

• TOIS (ACM Transactions on Information Systems)
• AIJ (Artificial Intelligence)
• TKDE (IEEE Transactions on Knowledge and Data Engineering)
• Cl (Computational Linguistics)
• JMLR (Journal of Machine Learning Reseach)
• TPAMI (IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI)
• TIST (ACM Transactions on Intelligenct Systems and Technology)
• IPM (Information Processing & Management)
• IRJ (Information Retrieval)
• JASIST (Journal of the American Society for Information Science and Technology)

Reference

[1] AI 학회 목록, 일정 및 순위 - https://sites.google.com/site/lyangwww/resources?tmpl=%2Fsystem%2Fapp%2Ftemplates%2Fprint%2F&

• Machine Learning/Deep Learning Conferences
  • ICML (International Conference on Machine Learning) : 머신러닝 국제 학회
  • NIPS (Neural Information Processing Systems) : 신경세포 정보 처리 시스템 학회
  • AAAI (Conference on Artificial Intelligence) : 인공지능 관련 컨퍼런스
  • IJCAI (International Joint Conference on Artificial Intelligence)
  • ICLR (International Conference on Learning Representations) : 표현학습 관련 컨퍼런스

• Computer Vision and Image Processing Conferences
  • CVPR (IEEE Conference on Computer Vision and Pattern Recognition) : 세계 최대 '컴퓨터 비전 및 패턴 인식' 컨퍼런스
  • ICCV (International Conference on Computer Vision) : 컴퓨터 비전 컨퍼런스

• Data Mining Conferences

  • KDD (SIGKDD Conference on Knowledge Discovery and Data Mining) : 세계 최대 '데이터 사이언스' 컨퍼런스
  • WSDM (ACM Conference on Web Search and Data Mining) : 웹 검색과 데이터 마이닝 컨퍼런스
  • ICDM (The IEEE International Conference on Data Mining) : 데이터 마이닝 컨퍼런스

• NLP(Natural Language Processing) Conference

  • ACL (Annual Meeting of the Association for Computational Linguistics) : 자연어 처리
  • EMNLP (Conference of Empirical Methods in Natural Language Processing) : 자연어 처리
  • NAACL (NORTH American Chapter of the Association for Computational Linguistics)

• Information Retrieval/Web Conferences

  • SIGIR (Special Interest Group on IR, 시그아이알) : 정보검색 분야 대표 학회
  • CIKM (ACM International Conference on Information and Knowledge Management) : 정보와 지식 관리 컨퍼런스
  • RecSys (ACM Recommender Systems Conference) : 추천 시스템 전문 학회
  • WWW (International World Wide Web Conferences)
  • WSDM (ACM International Conference on Web Search and Data Mining) : 연구를 위한 연구보다는 실 서비스에 적용될 수 있는 연구들에 초점이 맞추어져 있어 산업계의 참여가 매우 높은 학회 중 하나

Reference

[1] 다크프로그래머 - http://darkpgmr.tistory.com/156

[2] poorman - https://poorman.tistory.com/353

[3] 라미 - [동기부여] 2017년도 학회 모음

[4] AI 학회 목록, 일정 및 순위 - https://sites.google.com/site/lyangwww/resources?tmpl=%2Fsystem%2Fapp%2Ftemplates%2Fprint%2F&

[5] AI 학회 순위 - https://www.guide2research.com/topconf/machine-learning

[6] AI 학회 목록 및 일정 정리(github) -  https://jackietseng.github.io/conference_call_for_paper/conferences.html

[7 ]NAVER Search& Tech 블로그 - https://m.blog.naver.com/PostView.nhn?blogId=naver_search&logNo=221213428267&proxyReferer=https:%2F%2Fwww.google.com%2F