**Cập nhật ngày 16 tháng 9: Tôi rất biết ơn JDH vì đã xuất bản các bài đăng này cùng với nhiều phản hồi khác nhau. Ngay sau khi bài đăng của tôi được xuất bản, JDH đã tiếp cận Roopika và tôi để hỏi liệu chúng tôi có chấp thuận xuất bản tất cả các thư từ hay không, với thông tin nhận dạng được biên tập lại. Chúng tôi đã hỏi những người đóng góp của chúng tôi cho ý kiến của họ, và như một nhóm đi đến quyết định rằng nó sẽ phá vỡ lĩnh vực của chúng tôi hơn nữa để làm cho tất cả các thư từ công khai.
Chúng tôi đã đề nghị khám phá tùy chọn đồng xuất bản một bài đăng về các thực tiễn và bài học tốt nhất được học với các hình thức xuất bản thử nghiệm với JDH, nhưng tùy chọn đã bị từ chối. Tuy nhiên, chúng tôi vẫn hy vọng rằng tùy chọn này để làm việc với JDH để làm việc trên một tác phẩm đồng tác giả sau này có thể có sẵn. Cảm ơn tất cả các bạn đã cân nhắc.
Đối với những người chỉ cần nhảy vào cuộc thảo luận, tôi đã xuất bản một bài đăng trên blog tiếp theo ở đây, “Crowdsourcing Thực tiễn tốt nhất cho thực hành thử nghiệm: Minh bạch.” Tôi hy vọng bạn sẽ tham gia và đưa ra các đề xuất.
Các vấn đề của đánh giá ngang hàng truyền thống đã được biết đến. Đánh giá ngang hàng không minh bạch; mất quá nhiều thời gian; sự mù quáng thực sự của đánh giá ngang hàng là đáng ngờ, đặc biệt là trong các lĩnh vực nhỏ; chức năng gác cổng của nó khuyến khích sự bảo thủ của học bổng. Để giải quyết những lo ngại này, Tạp chí Nhân văn Kỹ thuật số đã xuất bản số đầu tiên vào mùa đông năm 2011 như một nỗ lực để giải quyết một số vấn đề này. JDH vô địch một mô hình đánh giá “sau xuất bản”, nơi các biên tập viên của nó đối chiếu một số công việc DH tốt nhất hiện có và xuất bản nó dưới dạng tạp chí. Mô hình xuất bản này hoạt động tốt như thế nào trong thực tế?
Như cộng tác viên của tôi Roopika Risam và tôi đã phát hiện ra, mô hình JDH không minh bạch và, nếu có, có thể tăng cường một số vấn đề của đánh giá ngang hàng truyền thống bằng cách thổi phồng kỳ vọng xung quanh tính minh bạch. Trong khi làm việc với JDH để xuất bản một phần đặc biệt về nhân văn kỹ thuật số hậu thuộc địa (#dhpoco), chúng tôi đã học được rằng:
Tạp chí hứa hẹn với chúng tôi một quá trình để làm việc với họ, và một khi chúng tôi đã nộp tất cả mọi thứ, trình bày một quy trình hoàn toàn mới; và điều đó
Sự thay đổi đột ngột này cho thấy tạp chí không hoàn thành sứ mệnh của mình để cung cấp một sự cải tiến so với đánh giá ngang hàng truyền thống.
Tổng quan
Roopika Risam và tôi đã tiếp cận JDH để xuất bản một phần đặc biệt về nhân văn kỹ thuật số hậu thuộc địa (#dhpoco) vào tháng 7. Họ tỏ ra nhiệt tình, yêu cầu chúng tôi nhắm đến một thời hạn bốn tuần rất tham vọng. Nó đã được đồng ý rằng chúng tôi có bốn tuần để thu hút các phiên bản sửa đổi của tài liệu đã được xuất bản sẽ được gửi đến JDH trong bốn tuần để chỉnh sửa dòng và hiệu đính nhỏ. Ba tuần sau khi nộp, phần đặc biệt sẽ được xuất bản. (Xem hình ảnh ở cuối bài đăng cho quá trình thỏa thuận.) Thời gian ngắn, nhưng chúng tôi đã thúc đẩy các tác giả của chúng tôi hoàn thành công việc kịp thời, và họ đã làm.
Năm ngày sau khi gửi phần đặc biệt của chúng tôi, Roopika và tôi đã rất ngạc nhiên khi nhận được một email nói rằng tạp chí đột nhiên muốn chúng tôi gửi phần đặc biệt của chúng tôi đến một đánh giá bên ngoài mù quáng. Một mặt, chúng tôi sẽ rất vui khi xem xét, biết rằng nó sẽ chỉ làm cho công việc của chúng tôi tốt hơn. Nhưng khi thảo luận thêm, chúng tôi bắt đầu suy nghĩ về những điều sau đây:
Tại sao yêu cầu này không được đưa ra phía trước? Tôi đã có nhiều giao dịch với các phần / vấn đề đặc biệt của các tạp chí được đánh giá ngang hàng và nếu một cái gì đó được đánh dấu như vậy, nó không trải qua đánh giá ngang hàng bên ngoài trừ khi điều này được yêu cầu ngay từ đầu.
Vì JDH nhấn mạnh một mô hình “sau khi xuất bản”, và các bài tiểu luận của chúng tôi đã có sẵn trong các bài đăng trên blog và phản hồi diễn đàn, quá trình biên tập của chúng tôi không đóng vai trò là vòng đối chiếu và sau xuất bản thứ hai – như tạp chí tuyên bố vai trò thử nghiệm của nó? Từ việc nói chuyện với các biên tập viên phần đặc biệt khác, không ai đã trải qua một quá trình tương tự. Một người thậm chí còn liên quan đến việc cô nhận được một email từ JDH yêu cầu xuất bản bài đăng trên blog đã được xuất bản của mình trong một tuần và nếu cô ấy sẽ sửa đổi điều đó sẽ rất tuyệt, nếu không, họ sẽ xuất bản nó bằng mọi cách.
Tôi nêu lên những tuyên bố này để làm nổi bật sự thiếu minh bạch rõ ràng của JDH về các vấn đề sau:
Chúng tôi dường như là phần đặc biệt duy nhất từng được chỉ ra để đánh giá ngang hàng bên ngoài
JDH đã hứa với chúng tôi một quá trình, nhưng sau đó khăng khăng đòi một quá trình khác.
Tất cả các bài luận của chúng tôi đã được xuất bản trên Internet thông qua các bài đăng trên blog, trang web #dhpoco và trường học mùa hè. Điều này có nghĩa là bất kỳ đánh giá bên ngoài nào cũng khó có thể bị mù. Tại sao JDH nghĩ rằng điều này sẽ bị mù, vì tên và các hình thức bài luận trước đây của chúng tôi đã có sẵn miễn phí trực tuyến?
Nếu đánh giá ngang hàng mù là không thể, tại sao JDH muốn chỉ định một người đánh giá mù? Vì nó là một tạp chí thử nghiệm, chúng tôi sẽ có thể chấp nhận một đánh giá ngang hàng mở.
Mô hình sau xuất bản của JDH có phải là một cải tiến so với mô hình hiện tại để đánh giá ngang hàng không?
Điều này dẫn tôi đến câu hỏi sau: Mô hình sau xuất bản của JDH có phải là một cải tiến so với mô hình đánh giá ngang hàng hiện có không?
Kinh nghiệm của chúng tôi với JDH là bất cứ điều gì nhưng minh bạch. Vậy làm thế nào để tạp chí này tiếp tục tuyên bố về việc làm cho quá trình đánh giá ngang hàng minh bạch hơn?
JDH dường như xuất bản tác phẩm của cùng một người, nhiều lần – và từ những gì tôi đã nghe giai thoại, họ đã được yêu cầu sửa đổi tối thiểu và không có đánh giá bên ngoài. Kinh nghiệm của chúng ta có cho thấy một sự thiên vị vô thức hy vọng trong tạp chí không?
Nếu sự thiên vị này tồn tại, mô hình của JDH là một cải tiến so với đánh giá ngang hàng truyền thống như thế nào? Quy trình nào xác định những bài đăng nào cần phải trải qua đánh giá bên ngoài và những gì không?
JDH đã đưa ra bất kỳ biện pháp nào để đảm bảo rằng các chính sách của mình minh bạch, công bằng và không thiên vị?
Những loại vấn đề này không chỉ dành riêng cho JDH. Họ liên quan đến bất kỳ ấn phẩm nào cung cấp một mô hình thay thế cho đánh giá ngang hàng. Tôi tin rằng chúng ta cần phải khắc phục các vấn đề hiện có trong hệ thống đánh giá ngang hàng. Nhưng nếu những gì chúng tôi trải nghiệm là một mô hình thay thế, nó không cung cấp một cải tiến so với hệ thống ban đầu. Điều này thậm chí còn đáng lo ngại hơn bởi vì bằng cách là người tiên phong trong các hình thức đánh giá ngang hàng thay thế, JDH có thể đóng vai trò là hình mẫu cho các cửa hàng khác muốn thử nghiệm.
Những tạp chí thử nghiệm mới này sẽ cần phải tìm cách giải quyết những vấn đề này. Bằng cách đột nhiên thay đổi quy trình của họ, JDH đã lãng phí rất nhiều thời gian của chúng tôi và thời gian của những người đóng góp của chúng tôi, những người đã phải vội vã đặt các mảnh lại với nhau để đáp ứng thời hạn của họ. Nếu chúng tôi biết về đánh giá bên ngoài để bắt đầu, chúng tôi sẽ không phải vội vàng các nhà văn của chúng tôi. Sự đảo ngược đột ngột của họ đã phá vỡ niềm tin của chúng tôi vào quy trình của họ, một phẩm chất cần thiết để có cho bất kỳ hình thức đánh giá ngang hàng mới nào hoạt động.
Tôi hy vọng rằng tôi đã nhầm lẫn về JDH. Một lần nữa, tôi chắc chắn rằng các bài tiểu luận của chúng tôi – cũng như mọi tác phẩm đã được xuất bản – sẽ được hưởng lợi từ việc xem xét. Tuy nhiên, điều tôi không chắc chắn là tại sao chúng tôi được chỉ định để đối xử đặc biệt và tại sao tạp chí không minh bạch với chúng tôi ngay từ đầu. Điều này khiến tôi lo lắng về các hình thức đánh giá mới mà tạp chí tuyên bố là vô địch và về những cách không phù hợp mà nó có thể được đưa vào sử dụng. Tuy nhiên, chúng tôi tin rằng quá trình xem xét là một quá trình hữu ích. Chúng tôi đang đưa phần đặc biệt của chúng tôi đến một địa điểm khác, nơi nó sẽ được xem xét ngang hàng.
Trong tương lai, tôi hy vọng rằng JDH sẽ xem xét công khai các biện pháp công bằng và minh bạch, và thực hiện một số kiểm tra và cân bằng để cung cấp một số trách nhiệm giải trình cho các biện pháp này. Chúng ta cần phải làm tốt hơn.
Source: https://www.adelinekoh.org
Leave a Reply